CentOS7安装CDH 第十章：CDH中安装Spark2
相关文章链接
CentOS7安装CDH 第二章：CentOS7各个软件安装和启动
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。CentOS7安装CDH 第四章：CDH的版本选择和安装方式
CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章：CDH的管理-CDH5.12
CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置
CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作
1. CDH官网Spark2的安装教程网址
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
2. 下载对应的Spark2版本
1．查看CDH和Spark的对应版本列表（点击上述图片2中的地址即可跳转），在这里选择安装Spark的2.2和cloudera1版本，请注意，当前面选择cloudera1.jar时，后面对应的Parcel包也要选择cloudera1，不然会出错，特别是在版本升级方面，要格外注意，不要后面的Parcel包升级了，前面的cloudera.jar包就没升，会出问题：
查看网址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging
2．下载Spark2对应的Parcel包（以Spark2.2和cloudera1举例）：
下载网址：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/
3. 安装Spark2服务到CDH中
1、Spark2服务对其他服务有版本依赖要求：
查看网址：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html#cm_versions
2、给集群上所有节点的机器安装Scala2.11版本：
a) 执行如下命令，在所有机器上创建目录：
mkdir -p /opt/software
b) 将scala-2.11.8.tgz包上传到所有机器上：
c) 执行如下命令，解压所有机器上的scala包：
tar -zxvf scala-2.11.8.tgz
d) 执行如下命令，配置好Scala的环境变量，当能查看到版本时即可：
echo "export SCALA_HOME=/opt/software/scala-2.11.8" >> /etc/profile
echo "export PATH=$SCALA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile
3、将下载好的jar包和Parcel包上传到一台机器上，并配置好https：
4、使用下载好的jar包，给CDH上添加服务中加入一个添加Spark2的按钮：
a) 将下载好的jar包复制到CDH默认的csd目录下，并赋予好权限：
b) 重启CDH的server服务：service cloudera-scm-server restart
c) 进入到CDH的web界面，刷新界面，重新更新配置文件，重启CMS：
d) 此时点击cluster的添加服务，能看到Spark2的服务了：
5、配置Parcel，将Spark2的离线地址添加到Parcel的URL中：
a) 因为重启CDH的server服务，所以有很多默认的URL，将这些删除：
b) 将Spark2的离线地址添加进入：
6、对Spark2进行下载，分配，解压，激活：
7、安装Spark2服务：
a) 点击cluster的添加服务，添加spark2服务：
b) 因为安装了其他服务，Spark是一个内存计算服务，所以可以依赖其他服务，可以选择多服务的那一组，如下图：
c) 给Spark中的服务选择主机（history选一台，Gateway所有主机都要选）：
d) 对Spark2服务进行审核更改，清空配置即可：
e) 对Spark2进行安装：
f) 完成安装：
