Python基于scrapy采集数据时使用代理服务器的方法
本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下：
# To authenticate the proxy,
#you must set the Proxy-Authorization header.
#You *cannot* use the form http://user:pass@proxy:port
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
希望本文所述对大家的python程序设计有所帮助。
您可能感兴趣的文章:Python使用scrapy采集数据时为每个请求随机分配user-agent的方法Python爬虫_城市公交、地铁站点和线路数据采集实例Python使用scrapy采集数据过程中放回下载过大页面的方法influx+grafana自定义python采集数据和一些坑的总结Python采集猫眼两万条数据 对《无名之辈》影评进行分析
