我的这个爬虫用到了scrapy框架和selenium,主要用来爬取github的commit的主要信息。主要提取了commit的标题,描述,所包含的修改文件的文件名,函数名和对应的代码的增加和删除部分。同时提供自动登录的,自动点击缓存的代码,自动下拉
-
Notifications
You must be signed in to change notification settings - Fork 0
FrankUSA2015/Crawl
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
Web Crawl
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published