常见搭建方式:

一、使用框架进行快速 搭建,常见CDH(Cloudera Manager)和HDP(Ambari

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html

二、使用docker或者kvm安装,见https://www.cnblogs.com/xuwujing/p/8150109.html

三、自用使用云平台

大数据集群常见接口:
https://blog.csdn.net/sheldonwong/article/details/79933787

Python 操作hadoop 常见包

1.MRJOB----> Mapreduce

2.Dumbo,Pydoop----->Mapreduce

3.hdfs --->hdfs  

from hdfs import InsecureClient

hdfs_client = InsecureClient(url, user)

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄