zxgkScrawler 中国执行信息公开网爬虫

全球所有大学的信息，包括大学所在的国家、城市、大学名等

Python 整合Selenium+接口+mysql 爬取学信网个人学籍档案信息

corpredit crawler of the campany redit infomation 预计目标：爬取信用信息公示系统中指定企业的信用相关信息 实际目标：绕过反扒，同时结合requests包和cookie信息进一步进行请求，从而获得相关信息。 反爬系统：加速乐+极验验证码（滑动或文字点击） 主要使用包：selenium,chromdriver,requests,cv2,numpy,PIL,lxml 思路： 1、请求2次加速乐验证网址，第一遍获取gt和challenge的cookie，第二遍带cookie访问。 2、请求首页网址。 3、定位输入框，输入关键字查询。 4、定位验证框，根据验证码类型确定选用点击验证程序还是滑动验证程序。 5、如果是点击验证程序，将其验证框截图发送至打码平台（此处选用超级鹰）。 6、如果是滑动验证程序，则自己编写程序操控鼠标拖动破解。 7、破解失败的化

[TOC] 零、版本信息 版本：v1.0.20200424 启动方式：scrapy crawl spider.name 说明：阅读前可以点击原网址查看爬取的目标样式！成功抓取的数据样式在data_temp文件夹内。 本程序从天天基金网采集数据，目前包含下面5个爬虫，基本上涵盖了整个基金市场情况。可以根据实际需要，有选择性的爬取即可。 一、北向资金每日流向 二、北向资金每日前20大交易股 三、基金公司情况 四、基金排名每日涨跌情况 五、大盘（上证指数、深圳成指、创业板指）每日涨跌情况 一、北向资金每日流向 文件名：beixiang.py （上海MarketType=1, 深圳MarketType=3） 字段含义 爬取基本上按照原网址格式，理解起来简单。根据天天基金网提示，值得注意的有两点。1、当日资金流入today_in包含两个部分：已经成交的和已申报未成交的。2、当日净买额today_ne

该项目已不再维护 前提说明 1.拉勾网搜索页面一般都只展示30页、每页15个职位信息，一次搜索约450条 2.拉勾网反爬虫机制更新频繁，直接解析Ajax请求容易触发反爬虫机制（提示：”msg”:”您操作太频繁,请稍后再访问”），浏览器也无法访问。 3.解析这个Ajax请求前发起GET请求获取当前会话session, 可在某程度上解决第2点, 但在频繁请求后仍会触发反爬虫机制, 被Ban IP 开发设计 1.可构建大量代理IP池, 通过不断更换代理IP的方式, 解析Ajax请求进行爬取 2.亦可使用 selenium 浏览器自动化测试框架驱动谷歌浏览器, 模拟人使用浏览器查看网页的过程获取数据 3.此程序使用第2点解决方案, 使用 selenium 模拟人操作 4.搜索页和详情页请求过快便会跳出来登录页面, 连续请求10个详情页也会弹出登录页面, 因此此程序需要登录 5.在第一次登录后将保存

华南理工大学Python大作业 Python课程设计 太平洋汽车网爬虫，采用scrapy框架，内含源代码和课程设计报告，以及EXE封装，可以实现不依靠任何其他环境，可在任意计算机上仅凭一个.*.exe文件运行爬虫，一键式爬虫，非常方便 课程设计已于2021年7月3日提交，老师是田翔，代码留给学弟学妹们参考

使用Selenium爬取裁判文书网的文书

东方财富网爬虫.rar

飞卢小说网pyhon3爬虫爬取练习附件源码，练习写的不是很完善，欢迎交流