4.爬虫去重策略 随笔

第1种，太麻烦，不常用

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

第2种，当1亿条url时，占用内存过大，达9G

第3种，是第2种的优化，scrapy 用的即是第3种方法，可成倍减少内存占用，且不会重复

第4种，会大幅节省内存，1亿条url，占用空间：12M。但会出现冲突，把多个url算到一个位上去

第5种，是对4条的优化，减少冲突

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄