Skip to content

cpython666/Spider-Project

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

57 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Spider-Project

爬虫实操项目合集代码及分析

目的:

  • 万变不离其宗

  • 在这个项目里,本人会分享一些自己做的爬虫项目,在整理自己学习过程的同时,以供大家参考学习指正,以达到相互帮助,共同进步的目的。

  • 对于大佬来说小菜一碟,对于大学生期末作业来说刚刚好~

开发语言:

  • Python

涉及到的包:

  • requests,selenium,lxml,pandas

项目特点:

  • 简单易上手,适合初学者,不涉及Scrapy框架及多线程知识,使用新的和简单的方法,摒弃了过时的方法。但对于小项目的数据需求以及个人办公收藏完全够用。该项目下均为入门操作,可能操作繁琐但逻辑简单且易理解,旨在抛砖引玉。

不足之处:

  • 显然,此项目目前为止所提供爬虫技术简单且至于表面,正如项目后面描述的1.0,后期随着个人的理解和学习可能会推出较高阶版本。
  • 当然,受限于作者本人的学习深度,可能代码或思维会有繁琐与幼稚之处,也望大神能够不吝赐教。

侵权声明:

  • 本项目由w-x-x-w制作,展示的所有项目均为个人练习使用,不含任何商业,推广及恶意成分,仅供交流学习。如有项目违反国家政策法规请联系(wx:xqwerasdfzxcvw,qq:2942581284),我会尽快删除。
  • 注意,该项目仅供学习和参考使用,任何非法行为均与项目作者无关。如果您想使用该项目,请遵守相关的法律法规,不要用于非法用途。学习目的请于下载24小时内删除。

目录

C

ChatGPT_bilibili_视频弹幕制作词云

D

抖音视频下载(无水印)1.0

G

公众号文章文本下载1.0

H

何同学视频弹幕爬取制作词云1.0

虎牙热舞视频爬取1.0

M

每日一文爬取

Q

七猫小说排行榜爬取及可视化

S

三方接口

W

wallhaven图片爬取1.0

wallhaven图片爬取1.5

问卷星seleniu批量填写1.0

Y

一言生成短语

Z

知乎评论爬取及分析

自建优质爬虫代理池

中国省份城市中英文映射表

数据类

澎湃新闻标题58460条 虎嗅新闻新闻标题87217条 原子回声1091条问答对

About

爬虫实操项目合集代码及分析

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published