Scrapy 代理IP

一、Scarpy使用代理IP

　　1.在setting.py 配置 代理服务器IP

 

　　2.在middlermares.py 配置 downloadmiddlermare(下载中间件)

 　　Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在setting.py同级目录下middlerwares.py文件中，包装所有请求。

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

　　3.在setting.py 配置下载中间件

 

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄