查看一些配置:

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第1张

 

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第2张

 

用node01 控制node02:

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第3张

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第4张

 

 免秘钥控制的方法:

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第5张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第6张

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第7张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第8张

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第9张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第10张

 

 安装jdk:

 

 

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第11张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第12张

 

在usr目录下建立java安装目录



cd /usr


mkdir java


将jdk-8u152-linux-x64.tar.gz拷贝到java目录下



cp   /mnt/hgfs/linux/jdk-8u152-linux-x64.tar.gz    /usr/java/


解压jdk到当前目录



tar -zxvf jdk-8u152-linux-x64.tar.gz


得到文件夹 jdk1.8.0_152


安装完毕为他建立一个链接以节省目录长度


(我没用这一步)
ln -s /usr/java/jdk1.8.0_152/ /usr/jdk


编辑配置文件,配置环境变量



vim /etc/profile

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第13张

 

 

重启机器或执行命令 :source /etc/profile

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第14张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第15张

 

 

 安装Hadoop:hadoop-hdfs-伪分布式环境搭建-使用 随笔 第16张

配置Hadoop环境变量:

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第17张

 

 

 

规划配置:

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第18张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第19张

 

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第20张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第21张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第22张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第23张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第24张

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第25张

 

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>


etc/hadoop/hdfs-site.xml: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

 

 决定了namenode在哪启动hadoop-hdfs-伪分布式环境搭建-使用 随笔 第26张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第27张

 

设置副本数

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第28张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第29张

 

修改 DataNode

决定了DataNode在哪里启动

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第30张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第31张

 

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第32张

 

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第33张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第34张

 

为日志文件规划一个持久化的目录

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第35张

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第36张

 

决定了secondnamenode 在哪里启动

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第37张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第38张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第39张

 

 

 

 格式化分布式文件系统

 

 哈哈哈!!!!!!!!!!!格式化成功!!!!!!!!!!!

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第40张

 

 

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第41张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第42张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第43张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第44张

 

 

 namenode 和 datanode 集群ID必须相同

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第45张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第46张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第47张

 

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第48张

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第49张

 

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第50张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第51张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第52张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第53张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第54张

hadoop-hdfs-伪分布式环境搭建-使用 随笔 第55张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第56张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第57张

 

 上传文件:hadoop-hdfs-伪分布式环境搭建-使用 随笔 第58张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第59张

 

 hadoop-hdfs-伪分布式环境搭建-使用 随笔 第60张

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄