XXL-CRAWLER v1.0.0，面向对象的分布式爬虫框架

版本特性：

• 1、面向对象：通过VO对象描述页面信息，提供注解方便的映射页面数据，爬取结果主动封装Java对象返回；
• 2、多线程；
• 3、扩散全站：将会以现有URL为起点扩散爬取整站；
• 4、去重：防止重复爬取；
• 5、URL白名单：支持设置页面白名单正则，过滤URL；
• 6、异步：支持同步、异步两种方式运行；
• 7、自定义请求信息，如：请求参数、Cookie、userAgent等；
• 8、轻量级：底层实现仅依赖jsoup，简洁高效；
• 9、超时控制：支持设置爬虫请求的超时时间；
• 10、主动停顿：爬虫线程处理完页面之后进行主动停顿，避免过于频繁被拦截；
• 11、单个页面支持抽取多个PageVO；