Hadoop+hive+sqoop采坑笔记

1 软件包下载

我是在hyper-v虚拟机安装centos进行学习的，以下为所需的软件下载地址：

  1. java下载，直接百度java到oracle官网下载即可,我是用的是java1.8
  2. hadoop下载，直接到hadoop下载2.7.1版本的就行了
  3. hive下载，不晓得什么原因，我到apache官网下载速度超级慢，所以选用清华大学镜像下载
  4. sqoop下载，同样是选择清华大学镜像下载的，速度杠杠的
  5. mysql下载，直接到官网下载对应的rpm包，然后安装就行了
    由于文件在windows系统上，将上述文件传输到centos系统
    scp hadoop-2.7.1.tar.gz hive-1.2.2.tar.gz sqoop-1.4.7.tar.gz java1.8.tar.gz root@远程主机:/usr/local

2 安装

2.1 java安装
解压缩java包到/usr/local下即可

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。 
tar -zxvf java1.8.tar.gz

通过vim /etc/profile配置环境变量,加入以下内容

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

2.2 hadoop安装
解压缩

tar -zxvf hadoop-2.7.1.tar.gz

2.3 配置
配置环境变量(vim /etc/profile)

 export HADOOP_HOME=/usr/local/hadoop
 export PATH=$PATH:$HADOOP/bin:$HADOOP_HOME/sbin

修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件中的JAVA_HOME配置想为
sh JAVA_HOME=/usr/local/java
以下为四个xml文件的修改

core-site.xml
xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml
xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapreduce-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml
xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄