Hadoop记录-退役
一、datanode添加新节点
1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下
[白名单] [/app/hadoop/etc/hadoop/dfs.include]
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。2.在hdfs-site.xml文件中添加属性
<property>
<name>dfs.hosts</name>
<value>/app/hadoop/etc/dfs.include.txt</value>
</property>
3.在nn上刷新节点
hdfs dfsadmin -refreshNodes
4.在slaves文件中添加新节点ip（主机名）
5.单独启动新节点中的datanode
hadoop-daemon.sh start datanode
二、datanode退役旧节点
1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单
[/app/hadoop/etc/dfs.hosts.exclude]
2.配置hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/app/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
3.刷新nn的节点
hdfs dfsadmin -refreshNodes
4.查看WEBUI，节点状态在Decommission In Progress
5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成
6.从白名单删除节点，并刷新节点
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes
7.从slaves文件中删除退役的节点
8.hdfs-site.xml文件内容
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
三、yarn添加新节点
1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下
[白名单]
[/app/hadoop/etc/hadoop/dfs.include]
2.在yarn-site.xml文件中添加属性
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/soft/hadoop/etc/dfs.include.txt</value>
</property>
3.在rm上刷新节点
yarn rmadmin-refreshNodes
4.在slaves文件中添加新节点ip（主机名）
5.单独启动新节点中的资源管理器
yarn-daemon.sh start nodemanager
六、yarn退役新节点
1.添加退役节点的ip到黑名单 dfs.hosts.exclude,不要更新白名单
[/soft/hadoop/etc/dfs.hosts.exclude]
2.配置yarn-site.xml
<property>
<name>yarn-resourcemanager.nodes.exclude-path</name>
<value>/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
</property>
3.刷新rm的节点
yarn rmadmin -refreshNodes
4.查看WEBUI，节点状态在Decommission In Progress
5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成
6.从白名单删除节点，并刷新节点
yarn rmadmin -refreshNodes
7.从slaves文件中删除退役的节点
