找python爬虫小项目?github给你准备好了!
SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。
前言
即使我们都是程序员,但我们也并非都会修电脑,都会做酷炫的ppt,都会优化系统卡顿。其实程序员也是分行业、分专业的,就像医生也分内外科、呼吸科、神经科神的。
作为非专业的python选手,或者非专业的爬虫选手,即使我们有一些编程基础,有时想通过代码从网上获取一些信息,也不能徒手就能做,需要借鉴一些成熟的方案、代码。
这就是为什么GitHub现在这么流行的原因。作为小白的一番,今天找到一个非常不错的爬虫收集项目,推荐给大家。
GitHub搜索技巧
网上也有一些分享的再github上搜索项目的技巧,其实,很多都是从官方文档来的。所以,我们想真的精通Github搜索,那么就去给官网链接上查吧。
- GitHub帮助中心:『https://help.github.com/en/github/searching-for-information-on-github/searching-on-github』
如果觉得英文看着吃力,这里一番也找到一个部分翻译的文章:
- github 项目搜索技巧-让你更高效精准地搜索项目:『https://www.cnblogs.com/suwanbin/p/12113751.html』
比如,我们要搜爬虫相关的,2020年1月1日以后还有更新的,stars数超过100的,可以用这样的命令:
in:description spider pushed:>2020-01-01 stars:>100
再选择一下排序,会得到这样的结果:
awesome-spider
- awesome-spider:『https://github.com/facert/awesome-spider』
这其实是一个整理收集爬虫项目的项目,对于一番开篇说的非专业爬虫小户来讲,可以发现很多实用的项目。
不得不说,资源整合的能力有时比创造资源更重要。
我们来看下它收集了哪些项目,有没有你感兴趣的?
A
B
- Bilibili 用户
- Bilibili 视频
- Bilibili 小视频
- Bing美图爬虫
- B站760万视频信息爬虫
- 博客园(node.js)
- 百度百科(node.js)
- 北邮人水木清华招聘
- 百度云网盘
- 琉璃神社爬虫
- Boss 直聘
- 贝壳网找房爬虫
C
D
E
G
H
I
J
K
L
M
- 马蜂窝 用户足迹
- MyCar
- 漫画喵 一键下载漫画~
- MM131性感美女写真图全爬取
- 美女写真套图爬虫 (一)(二)(三)
- 妹子图
- 猫眼网电影评分
N
O
P
Q
R
S
T
V
W
X
Y
Z
#
其他
一番雾语:资源整合的能力有时比创造资源更重要。
免费知识星球:一番码客-积累交流 微信公众号:一番码客 微信:Efon-fighting 网站:http://www.efonmark.com |
更多精彩