新闻网大数据实时分析可视化系统项目——15、基于IDEA环境下的Spark2.X程序开发
1.Windows开发环境配置与安装
下载IDEA并安装，可以百度一下免费文档。
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。2.IDEA Maven工程创建与配置
1）配置maven
2）新建Project项目
3）选择maven骨架
4）创建项目名称
5）选择maven地址
6）生成maven项目
7）选择scala版本
8）新建Java 和 scala目录
9）编辑pom.xml文件
a）地址一
b）地址二
3.开发Spark Application程序并进行本地测试
1）idea编写WordCount程序
package com.spark.test
import org.apache.spark.{SparkConf, SparkContext}
object MyScalaWordCout {
def main(args: Array[String]): Unit = {
//参数检查
if (args.length < 2) {
System.err.println("Usage: MyWordCout ")
System.exit(1)
}
//获取参数
val input=args(0)
val output=args(1)
//创建scala版本的SparkContext
val conf=new SparkConf().setAppName("myWordCount")
val sc=new SparkContext(conf)
//读取数据
val lines=sc.textFile(input)
//进行相关计算
val resultRdd=lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
//保存结果
resultRdd.saveAsTextFile(output)
sc.stop()
}
}
4.Spark Application程序打包
1）项目打jar包，参考之前讲过的项目打包方式
2）spark-submit方式提交作业
bin/spark-submit --master local[2] /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt
