Scrapy框架的基本使用
安装
pip install scrapy
基础使用
1. 创建一个工程：scrapy startproject
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。
2. 在工程目录下创建一个爬虫文件
cd 工程
scrapy genspider 爬虫文件的名称 起始url
3. 对应的文件中编写爬虫程序来完成爬虫的相关操作
4. 配置文件的编写（settings）
USER_AGENT：伪装身份用的
ROBOTSTXT_OBEY：默认是True，改成False。True会严格遵从门户网站的robot协议
5. 执行
更多精彩
