Skip to content

Releases: shengchenyang/AyugeSpiderTools

ayugespidertools-3.4.1

07 Sep 09:46
Compare
Choose a tag to compare
  • fix issue10
  • 更新 scrapy 依赖版本为最新的 2.10.1

查看完整的变更日志,并查看对应文档内容。

ayugespidertools-3.4.0

10 Aug 08:46
Compare
Choose a tag to compare
  • aiohttp 超时参数由 AIOHTTP_CONFIG 中的 timeout 获取改为直接从 DOWNLOAD_TIMEOUT 中获取。解决在 aiohttp 超时参数值大于 DOWNLOAD_TIMEOUT 时,与程序整体超时设置冲突,考虑程序的整体性,而不去根据 aiohttp 的超时设置来更新项目的整体设置。
  • aiohttp 添加 allow_redirects 配置参数 ,优化对应文档示例。
  • 更新 scrapy 依赖版本为 2.10.0

查看完整的变更日志,并查看对应文档内容。

ayugespidertools-3.3.3

03 Aug 08:33
Compare
Choose a tag to compare
  • 修复安装过程中的依赖缺失问题。(issue 9
  • 修改 Mysql 添加表字段的处理逻辑。

查看完整的变更日志,并查看对应文档内容。

ayugespidertools-3.3.2

26 Jul 03:36
Compare
Choose a tag to compare
  • 增加贝塞尔曲线生成轨迹的示例方法。
  • 将项目中有关文件的操作统一改为 pathlib 的方式。
  • 根据 consul 获取配置的方式添加缓存处理,不用每次运行都多次调用同样参数来获取配置。减少请求次数,提高运行效率。
  • 更新 README.md 内容,增加对应英文版本。

查看完整的变更日志,并查看对应文档内容。

ayugespidertools-3.3.1

29 Jun 09:21
Compare
Choose a tag to compare

优化 item 使用体验,完善功能及对应文档内容,具体请查看 readthedocs item 部分。

查看完整的变更日志,具体说明请查看其 item 部分内容。

ayugespidertools-3.3.0

21 Jun 09:23
Compare
Choose a tag to compare

重要说明,请注意:

  • 此版本与旧版本不兼容,请一定在阅读发布说明后考虑是否升级使用!

简要说明:

  • 优化了 Item 体验,升级为 AyuItem,使用更方便,但注意与旧版本写法并不兼容。
  • 添加文件下载的示例,具体内容及示例请查看 readthedocsDemoSpider 中的 demo_file 项目。

查看完整的变更日志,具体使用示例及说明请查看其 pipelines 部分内容和 DemoSpider 中对应项目。

ayugespidertools-3.2.0

07 Jun 08:43
Compare
Choose a tag to compare

添加了 kafka 推送模板,也包含删除了一些鸡肋方法,优化某些场景等。

查看完整的变更日志,具体说明请查看其 pipelines 部分内容和 DemoSpider 中对应项目。

ayugespidertools-3.1.0

29 May 08:00
Compare
Choose a tag to compare

添加了 RabbitMQ 推送模板。

查看完整的变更日志,具体说明请查看其 pipelines 部分内容。

ayugespidertools-3.0.1

17 May 09:44
Compare
Choose a tag to compare

这是一个 major 版本更新,含有 bug 修复、代码优化等。

由于更改了 item 的实现方式,所以 spider 中定义对应 item 时写法改变,最新 readthedocsDemoSpider 中都有具体的示例及说明。

查看完整的变更日志,请一定要仔细查看后,再考虑是否升级使用。

ayugespidertools-2.1.0

09 May 05:37
Compare
Choose a tag to compare

这是一个主要更改了 scrapy 依赖库为 2.9.0 版本,含有 bug 修复。

查看完整的变更日志