AwesomeForSpider

awesome-spider

---

IPIDEA 全球互联网大数据 IP资源服务商 优势： 1、覆盖220+的国家和地区，9000万真实住宅IP资源，汇聚成大规模代理服务池。

2、提供动态住宅代理、静态住宅代理、数据中心、移动代理等多种解决方案，满足电子商务、市场调查、抓取索引、网站测试、广告验证、seo监控优化等多个业务场景。

3、支持HTTP/HTTPS/Socks5协议

4、真实住宅IP，支持从制定国家城市访问目标网站，隐藏真实网络环境，保护隐私，24小时持续过滤并更新，IP纯净度高，快速响应，无限并发，99.9%的成功率，确保高效稳定连接，让您的业务得心应手

5、新用户最高可免费领取1GB

---

收集各种爬虫 （默认爬虫语言为 python）, 欢迎大家 提 pr 或 issue, 收集脚本见此项目 github-search

warning: 爬虫有时效性，如没法直接运行，请适当更改逻辑。

A

• 暗网爬虫(Go)
• 爱丝APP图片爬虫
• 1688以图搜货

B

• Bilibili 用户
• Bilibili 视频
• Bilibili 小视频
• Bing美图爬虫
• B站760万视频信息爬虫
• 博客园(node.js)
• 百度百科(node.js)
• 北邮人水木清华招聘
• 百度云网盘
• 琉璃神社爬虫
• Boss 直聘
• 贝壳网找房爬虫

C

• cnblog
• caoliu 1024

D

• 豆瓣读书
• 豆瓣爬虫集
• 豆瓣害羞组
• 豆瓣图书广度爬取
• DNS记录和子域名
• DHT网络磁力种子爬虫
• 抖音
• 抖音推荐

E

• E绅士

G

• Girl-atlas
• girl13
• github trending
• Github 仓库及用户分析爬虫
• 国家统计用区划代码和城乡划分代码爬虫

H

• HDOJ爬虫

I

• Instagram
• INC500 世界5000强爬虫

J

• 京东
• 京东搜索+评论
• 京东商品+评论
• 机票
• 煎蛋妹纸
• 煎蛋妹纸selenium版本
• 今日头条，网易，腾讯等新闻
• 计算机书籍控图书
• JK (制服写真) 爬虫

K

• 看知乎
• 课程格子校花榜
• konachan

L

• 链家
• 链家成交在售在租房源
• 拉勾
• 炉石传说
• leetcode
• 领英销售导航器爬虫 LinkedInSalesNavigator

M

• 马蜂窝 用户足迹
• MyCar
• 漫画喵 一键下载漫画~
• MM131性感美女写真图全爬取
• 美女写真套图爬虫 （一）（二）（三）
• 妹子图
• 猫眼网电影评分

N

• 新闻监控
• 你好污啊

O

• ofo共享单车爬虫

P

• Pixiv
• PornHub
• packtpub
• 91porn

Q

• QQ空间
• QQ 群
• 清华大学网络学堂爬虫
• 去哪儿
• 前程无忧Python招聘岗位信息爬取分析
• qqzhpt美女写真爬虫/批量下载

R

• 人人影视
• RSS 爬虫
• rosi 妹子图
• reddit 壁纸
• reddit

S

• soundcloud
• Stackoverflow 100万问答爬虫
• Shadowsocks 账号爬虫
• spider163 网易云音乐爬虫
• 时光网电影数据和海报爬虫

T

• tumblr
• 下载tumblr喜欢内容
• TuShare
• 天猫双12爬虫
• Taobao mm
• Tmall 女性文胸尺码爬虫
• 淘宝直播弹幕爬虫(node)
• 天涯论坛文章
• 天眼查爬虫

V

• Youtube字幕下载
• 视频信息爬虫
• 电影网站

W

• 乌云公开漏洞
• 微信公众号
• “代理”方式抓取微信公众号文章
• 网易新闻
• 网易精彩评论
• 微博图片爬虫
• 微博主题搜索分析
• 网易云音乐
• 新.网易热评
• 唯品会商品

X

• 雪球股票信息(java)
• 新浪微博
• 新浪微博分布式爬虫
• 心灵毒鸡汤
• 闲鱼最新商品爬取
• H 片下载工具（xvideos.com）

Y

• 英美剧 TV (node.js)

Z

• ZOL 手机壁纸爬虫
• 知乎(python)
• 知乎(php)
• 知网
• 知乎妹子
• 自如实时房源提醒
• 中国大陆高校列表爬虫
• 站酷（zcool.com.cn）图片爬虫

#

• 80s 影视资源爬虫 - JianSo_Movie

其他

• 各种爬虫
• DHT 爬虫
• SimDHT
• p2pspider

欢迎大家关注公众号