安装Hadoop,Hadoop生态的配置
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223
1.安装Linux，MySql
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。(1)安装前准备
新建ubuntu
命名
分配内存
(二)安装
安装界面
准备安装，点击继续
点击其它选项，然后点击继续
点击“新建分区表”按钮
512m作为交换空间(最好不超过4g)，剩余空间作为过载点“/”的EXT4日志文件系统
点击完成后继续
设置用户名和密码，点击继续
安装完成，重启
(三)安装MySql
更新软件源
安装mysql
启动和关闭mysql服务器
确认是否成功
进入mysql shell界面
2.windows 与 虚拟机互传文件
安装VMware tools
启动vmware workstation软件，运行ubuntu虚拟操作系统，登陆进入ubuntu桌面。选择“虚拟机”->“安装vmware tools”VMware tools
双击桌面的“vmware tools”,打开vmware tools安装介质。右键选择vmwaretools的gz压缩包，选择“提取到....”.，这里选择的提取到位置为桌面。
进入桌面，右键选择刚才提取的文件夹，选择“在终端打开”，打开ubuntu系统终端。
在终端的命令窗口当中，输入sudo ./vmware-install.pl命令。输入用户密码回车开始安装。出现第一个画面时，选择“y”回车
安装完成
重启电脑，重新进入，安装vmware tools即生效。鼠标和复制粘贴就生效了，windows 与 虚拟机可以互传文件
3.安装Hadoop
还不能从windows复制文件的，可在虚拟机里用浏览器下载安装文件，课件：
提取文件：hadoop-2.7.1.tar.gz
链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg
提取码: 2thj
(1)解压
复制hadoop-2.7.1到/usr/local 重命名为hadoop
（2）创建hadoop用户
首先打开ctrl+alt+t打开终端窗口，输入如下命令创建新用户
接着使用如下命令设置密码，可简单设置为hadoop，按提示输入两次密码
可为hadoop用户增加管理员权限，方便部署，避免一些比较棘手的权限问题
最后注销当前用户，返回登陆界面。在登陆界面中选择刚创建的hadoop用户进行登陆
(3)更新apt
用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。按 ctrl+alt+t 打开终端窗口，执行如下命令
(4)安装SSH、配置SSH无密码登陆
Ubuntu默认已安装SSH client，此外还需要安装SSH server
安装后，可以使用如下命令登陆本机
配置无密码登陆
查看是否安装成功
(5)安装java环境
Linux终端中输入下面命令打开当前登陆用户的环境变量配置文件.bashrc或者用文本编辑器
让环境变量立刻生效并检验
进入下一步之前，再次确保：
(6)安装hadoop 2
解压及修改文件夹名与权限
修改文件夹权限
Hadoop生态的配置
老师的博客https://www.cnblogs.com/MissDu/p/8831525.html
复制配置文件代码。
(一)运行单机模式
运行grep
运行成功
注意，hadoop默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将./output删除
(二）hadoop伪分布式配置
修改配置文件
core-site.xml
hdfs-site.xml
文件配置完成后，执行 NameNode 的格式化
开启NameNode和DataNode
通过jps命令判断是否成功
(三)运行hadoop伪分布式实例
1.在 HDFS 中创建用户目录
2.创建目录 input，其对应的绝对路径就是 /user/hadoop/input
3.将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中
4.查看文件列表
5.伪分布式运行 MapReduce 作业
运行结果
将运行结果取回到本地
关闭hadoop
注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 开启 NameNode 和 DataNode 守护进程就可以
