Releases: shengchenyang/AyugeSpiderTools
Releases · shengchenyang/AyugeSpiderTools
ayugespidertools-3.4.1
ayugespidertools-3.4.0
aiohttp
超时参数由AIOHTTP_CONFIG
中的timeout
获取改为直接从DOWNLOAD_TIMEOUT
中获取。解决在aiohttp
超时参数值大于DOWNLOAD_TIMEOUT
时,与程序整体超时设置冲突,考虑程序的整体性,而不去根据aiohttp
的超时设置来更新项目的整体设置。aiohttp
添加allow_redirects
配置参数 ,优化对应文档示例。- 更新
scrapy
依赖版本为2.10.0
。
查看完整的变更日志,并查看对应文档内容。
ayugespidertools-3.3.3
ayugespidertools-3.3.2
- 增加贝塞尔曲线生成轨迹的示例方法。
- 将项目中有关文件的操作统一改为
pathlib
的方式。 - 根据
consul
获取配置的方式添加缓存处理,不用每次运行都多次调用同样参数来获取配置。减少请求次数,提高运行效率。 - 更新
README.md
内容,增加对应英文版本。
查看完整的变更日志,并查看对应文档内容。
ayugespidertools-3.3.1
优化 item
使用体验,完善功能及对应文档内容,具体请查看 readthedocs item
部分。
查看完整的变更日志,具体说明请查看其 item
部分内容。
ayugespidertools-3.3.0
重要说明,请注意:
- 此版本与旧版本不兼容,请一定在阅读发布说明后考虑是否升级使用!
简要说明:
- 优化了
Item
体验,升级为AyuItem
,使用更方便,但注意与旧版本写法并不兼容。 - 添加文件下载的示例,具体内容及示例请查看 readthedocs 或 DemoSpider 中的
demo_file
项目。
查看完整的变更日志,具体使用示例及说明请查看其 pipelines
部分内容和 DemoSpider 中对应项目。
ayugespidertools-3.2.0
添加了 kafka
推送模板,也包含删除了一些鸡肋方法,优化某些场景等。
查看完整的变更日志,具体说明请查看其 pipelines
部分内容和 DemoSpider 中对应项目。
ayugespidertools-3.1.0
添加了 RabbitMQ
推送模板。
查看完整的变更日志,具体说明请查看其 pipelines
部分内容。
ayugespidertools-3.0.1
这是一个 major
版本更新,含有 bug 修复、代码优化等。
由于更改了 item
的实现方式,所以 spider
中定义对应 item
时写法改变,最新 readthedocs
和 DemoSpider
中都有具体的示例及说明。
查看完整的变更日志,请一定要仔细查看后,再考虑是否升级使用。
ayugespidertools-2.1.0
这是一个主要更改了 scrapy
依赖库为 2.9.0
版本,含有 bug
修复。