白云岛资源网 Design By www.pvray.com
0. 前言
周日在爬一个国外网站的时候,发现用协程并发请求,并且请求次数太快的时候,会出现对方把我的服务器IP封掉的情况。于是网上找了一下开源的python代理池,这里选择的是star数比较多的proxy_pool
1. 安装环境
# 安装python虚拟环境, python环境最好为python3.6,再往上的话,安装依赖时会报错 sudo apt update sudo apt install python3.6 pip3 install virtualenv virtualenv venv --python=python3.6 source venv/bin/activate # 安装redis sudo apt install redis-server # 启动redis server redis-server
2. 安装依赖
git clone https://github.com/jhao104/proxy_pool.git cd proxy_pool pip install -r requirements.txt
3. 修改配置文件
# 修改setting.py # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5010 # 监听端口 # 配置数据库 # 以下为三个示例,根据redis的配置,选择其中一种即可 # 一般启动redis时如果没有配置文件,那么选择第一种即可 # 1. Redis IP: 127.0.0.1 Port: 6379 DB_CONN = 'redis://@127.0.0.1:6379' # 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB_CONN = 'redis://:123456@127.0.0.1:6379' # 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15 DB_CONN = 'redis://:123456@127.0.0.1:6379/15' # 配置 ProxyFetcher PROXY_FETCHER = [ "freeProxy01", # 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]
4. 启动
# 可以用tmux开三个窗口 # 启动调度程序 python proxyPool.py schedule # 启动webApi服务 python proxyPool.py server
5. 测试
import requests def get_proxy(): return requests.get("http://127.0.0.1:5010/get/").json() def delete_proxy(proxy): requests.get("http://127.0.0.1:5010/delete/".format(proxy)) # your spider code def getHtml(): # .... retry_count = 5 proxy = get_proxy().get("proxy") while retry_count > 0: try: html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)}) # 使用代理访问 return html except Exception: retry_count -= 1 # 删除代理池中代理 delete_proxy(proxy) return None
更多的用法和文档请参考:document 和 https://github.com/jhao104/proxy_pool
白云岛资源网 Design By www.pvray.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
白云岛资源网 Design By www.pvray.com
暂无评论...