Skip to content

XXL-CRAWLER v1.2.0,面向对象的分布式爬虫框架

Compare
Choose a tag to compare
@xuxueli xuxueli released this 14 Dec 09:30
· 70 commits to master since this release

版本新特性:

  • 1、爬虫Builder底层API优化;
  • 2、支持设置请求Headers;
  • 3、支持设置多UserAgent轮询;
  • 4、失败重试:支持请求失败后主动重试,并支持设置重试次数;
  • 5、动态参数:支持运行时动态调整请求参数;
  • 6、分布式支持:支持自定义RunData(运行时数据模型)并结合Redis或DB共享运行数据来实现分布式。默认提供LocalRunData单机版爬虫。