urllib库的总结:

用ProcessOn(安利这个软件,够用了)根据前面的几节内容做了个思维导图。

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 3.爬虫 urlib库讲解 总结 随笔

urllib库一共有四个模块:

request:它是最基本的模块,可以用来模拟发送请求

error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其它操作以保证程序不会意外终止

parse:一个工具模块,提供了URL处理方法,比如拆分、解析、合并等

robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬、哪些网站不可以爬,用的比较少。

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄