一个项目可能需要爬取多个网站，根据每个网站的数据量（处理方式）不同，可创建多个管道 pipeline

class SpideranythingPipeline(object):
    def process_item(self, item, spider):
        if spider.name == 'itcast':  # spider为爬虫实例  itcast是爬虫的名字，， 由此可区分多个爬虫
            print(item)
            return item

 

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。
扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄