pyppeteer初尝滋味

最近在爬几个电商平台网站用的selenium一登录就会有验证，目前这些网站对selenium检测很严格

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。 因为不少大网站有对selenium的js监测机制。比如 navigator.webdriver， navigator.languages， navigator.plugins.length,
美团，大众，淘宝这些大站点都有这种技术能力。正常情况下 window.navigator.webdriver的值为 undefined。

 

而当我们使用selenium 的时候-window.navigator.webdriver的值为True。 如下图

 

 

pyppeteer

中文翻译是：木偶

 

 

文档说明：

　　---https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

　

与selenium对比

selenium，不过是在服务器在第一次发送js并在本地验证的时候，做好‘第一次’的伪装，从而实现‘第一次登陆’有效

 

pyppeteer 加 asyncio 绕过selenium检测，实现鼠标滑动后自动登陆（代码很简单。主要熟悉异步模块及pyppeteer模块）　

　　　

爬某宝栗子：

 

 与selenium对比 可以进行输入框  但是再往下，还是要登录验证  ， 遂问题并没有解决，但是相对selenium  还是有一定优势 ，先记录一下

 

扫码关注我们

微信号：SRE实战

拒绝背锅 运筹帷幄