打开服务  mongod.exe --dbpath E:\Develop\mongodb_64\data\db

在安装和打开服务之前要建一个db  文件的存储位置

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

然后打开服务

 

打开服务之后  打开图形化界面连接  好像也没什么需要注意了

 

 

通俗来说， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。

当然，我们并不是在做搜索引擎，而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议



作者：一只小蜗牛Snail
链接：https://www.jianshu.com/p/1b5d7d904b21
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。     如何将信息保存包Mongo中呢？安装MongoDB打开服务器之后 python中有第三包是连接MongoDB用的 需要安装  pymongo 然后引包就可连接MongoDB了     但是在scrapy中我们该如何将数据保存到MongoDB中呢 那要是My sql呢？     奈斯 卧槽终于有一是可以关联上数据库了 妈耶 还有什么比这更好  

 Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

 

Docker类似于虚拟机那种环境     http://get.daocloud.io/

 

Splash是一个javascript渲染服务。它是一个带有HTTP API的轻量级Web浏览器，使用Twisted和QT5在Python 3中实现。QT反应器用于使服务完全异步，允许通过QT主循环利用webkit并发。
一些Splash功能：

  • 并行处理多个网页
  • 获取HTML源代码或截取屏幕截图
  • 关闭图像或使用Adblock Plus规则使渲染更快
  • 在页面上下文中执行自定义JavaScript
  • 可通过Lua脚本来控制页面的渲染过程
  • 在Splash-Jupyter 笔记本中开发Splash Lua脚本。
  • 以HAR格式获取详细的渲染信息

 

何为动态的页面：数据改变吧

 

虚拟化  任务管理 CPU查看是否开启

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄