Skip to content

Latest commit

 

History

History
21 lines (16 loc) · 786 Bytes

README.md

File metadata and controls

21 lines (16 loc) · 786 Bytes

PixivSpider

一个简单的、主要用于练手的Pixiv爬虫


已实现的功能:
爬取Pixiv每日排行榜第一页并保存原图;
抓取多张插画的页面; 用tomorrow模块完成简单的多线程requets;
多线程抓取图片;

(经过简单测试,在百兆华科有线网下,普通requests与简单多线程requests上限都在500Kbps(可以说相当低下了),但是多线程版的波动和平均速率均高于原版requests.get)

TODO:
http代理(由于可能国内代理不满足要求,暂不着急实现);
抓取排行榜并向后翻页;
抓取一个作者的所有作品;
希望加入进度条;

效果实例: