腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
《数据采集从入门到放弃》源码。内容简介：爬虫介绍、就业情况、爬虫工程师面试题 ；HTTP协议介绍； Requests使用 ；解析器Xpath介绍； MongoDB与MySQL； 多线程爬虫； Scrapy介绍 ；Scrapy-redis介绍； 使用docker部署； 使用nomad管理docker集群； 使用EFK查询docker日志
scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵（sentinel）连接模式 以及 集群（cluster）连接模式。
关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
Scrapy Redis with Bloom Filter，support redis sentinel and cluster
Python实战项目：爬取糗事百科、拉勾网、boss直聘等等知名网站实战，搭建响应式网站、Python web项目。
Python3爬虫Scrapy实战练习：Boss直聘、bilibili弹幕、链家二手房在售已售、知乎、拉钩...
基于scrapy-redis scrapy-splash的通用爬虫（包括ajax请求的数据）
第六届中软杯赛题 - 分布式爬虫系统（经纬度团队作品）
利用Fiddler抓包分析毒舌影评社区的APP api接口。单机版的scrapy爬虫，基于scrapy-redis
SearchForProgrammer（爬虫模块）
A parser engine born for scrapy
Add a description, image, and links to the scrapy-redis topic page so that developers can more easily learn about it.
To associate your repository with the scrapy-redis topic, visit your repo's landing page and select "manage topics."