1.创建爬虫: 

  scrapy genspider爬虫名 域名

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

  注意:爬虫的名字不能和项目名相同

2.  scrapy list    --展示爬虫应用列表

   scrapy crawl爬虫应用名称     ---运行单独爬虫应用

   使用scrapy框架爬取糗事百科段子:

      使用命令创建一个爬虫:

       scrapy gensipder qsbk ''qiushibaike.com''

      创建一个名字叫做qsbk的爬虫,并且能爬取的网页只会限制在qiushibaike.com这个域名下。

3.  name:这个爬虫的名字,名字必须是唯一的。

   allow_domains:允许的域名。爬虫只会爬取这个域名下的网页,其他不是这个域名的网页会被自动忽略。

    start_urls:爬虫从这个变量中的url开始。

    parse:引擎会吧下载器下载回来的数据扔给爬虫解析,爬虫在吧数据传给这个parse方法。这个是个固定的写法。这个方法的作用有两个,第一个是提取想要的数据。第二个是生产下一个请求的url.

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄