GitHub - pywjh/proxy_pool: 爬虫，代理池，获取IP，以爬虫养爬虫

pywjh / proxy_pool Public

Notifications You must be signed in to change notification settings
Fork 0
Star 0

爬虫，代理池，获取IP，以爬虫养爬虫

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
__pycache__		__pycache__
Mongo_DB.py		Mongo_DB.py
Parser.py		Parser.py
ProxyCrawl.py		ProxyCrawl.py
Server.py		Server.py
config.py		config.py
readme.txt		readme.txt

Repository files navigation

# 代理池的使用，可以直接使用

Mongo_DB.py --> 将测试结果为可以使用的代理加入到数据库中进行保存
Parser.py -->  对config.py中的网站进行解析的解析步骤（按照一定规则）
ProxyCrawl.py --> 代理池的主逻辑代码
Server.py -->  利用flask将可用代理进行网页映射（访问网站即可获得可用的代理）
config -->  对网站的html进行解析的规则