Skip to content

KiriKira/PixivSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

PixivSpider

一个简单的、主要用于练手的Pixiv爬虫


已实现的功能:
爬取Pixiv每日排行榜第一页并保存原图;
抓取多张插画的页面; 用tomorrow模块完成简单的多线程requets;
多线程抓取图片;

(经过简单测试,在百兆华科有线网下,普通requests与简单多线程requests上限都在500Kbps(可以说相当低下了),但是多线程版的波动和平均速率均高于原版requests.get)

TODO:
http代理(由于可能国内代理不满足要求,暂不着急实现);
抓取排行榜并向后翻页;
抓取一个作者的所有作品;
希望加入进度条;

效果实例:

About

A simple spider of Pixiv for study

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages