Spark基础篇(六) - IDEA开发Spark代码
一、Spark项目开发流程回顾
二、Spark应用程序开发
- 2.1、Hive下求用户访问量TopN && Spark-shell实现&&IDEA下实现
- 2.2、Spark-Core求平均年龄&&男女人数&&最低、最高身高
- 2.3、求男女人数、最低、最高身高
一、Spark项目开发流程
-
添加hadoop-client版本、添加cdh仓库、打包注意事项、上传服务器使用rz命令、spark-submit提交打的jar包进行运行、结果控制台输出&hdfs输出、多个文件输入、输入文件通配符匹配、输出结果排序
-
开发WordCountApp使我们了解到了一个完整的项目开发流程；测试可以直接在spark-shell中进行测试。
二、Spark应用程序开发
2.1、Hive下求用户访问量TopN && Spark-shell实现&&IDEA下实现
需求：求用户访问量的TOP5：
需求分析：
1）、把end_user_id拿出来
- 使用tab键进行分割 --> split("\t")
- 拿到userid --> split(5)
2）、拿到用户对应的访问量，使用map赋上一个1，使用reduceByKey统计
- 根据key进行统计，reduceByKey(+) --> (user_id,1)
- 肯定是要有一个x/y反转的，反转过后使用sortByKey排序，再反转
3）、Top5
- take(5)
需求拿到以后详细设计就是一个填空题目：
1、Hive下求用户访问量TopN：
1、打开Hive客户端，创建一张page_views表：
create table page_views(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fields terminated by '\t';
2、把本地准备好的数据加载进去：
load data local inpath '/home/hadoop/data/page_views.dat' overwrite into table page_views;
3、编写SQL，求的用户访问量的Top5：
select end_user_id,count(*) as cend_user_id c
NULL 60871
123626648 40
116191447 38
122764680 34
85252419 30 from page_views group by end_user_id order by c desc limit 5;
4、输出结果：
2、Spark-Core实现TopN：
hive (default)> select * from page_views limit 1;
OK
page_views.track_time page_views.url page_views.session_id page_views.referer page_views.ip page_views.end_user_id page_views.city_id
2013-05-19 13:00:00 http://www.taobao.com/17/?tracker_u=1624169&type=1 B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1 http://hao.360.cn/ 1.196.34.243 NULL-1
二、Spark-shell实现：
1、读入文件：
val textFile = sc.textFile("file:///home/hadoop/data/page_views.dat")
2、使用split为它进行分割顺带取出第五位，并使用map为它赋上1个1；使用take(5)取值验证：
val user_id = textFile.map(x =>(x.split("\t")(5),1))
scala> user_id.take(5)
res7: Array[(String, Int)] = Array((NULL,1), (134939954,1), (NULL,1), (NULL,1), (NULL,1))
3、使用reduceByKey为所有相同的key进行相加，把x/y顺序颠倒使用sortByKey进行排序，排序完成后顺序再搞回来，take(5)取出前5条数据：
scala> user_id.reduceByKey(_+_).map(x =>(x._2,x._1)).sortByKey(false).map(x =>(x._2,x._1)).take(5).foreach(println)
(NULL,60871)
(123626648,40)
(116191447,38)
(122764680,34)
(85252419,30)
三、IDEA下实现TopN：
1、IDEA的代码如下：
package com.ruozedata.bigdata.SparkCore01
import org.apache.spark.{SparkConf, SparkContext}
object TopApp {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf()
val sc=new SparkContext(sparkConf)
val page_views = sc.textFile(args(0))
// val page_views = sc.textFile("file:///home/hadoop/data/page_views.dat")
//获取到user_id，tab键是分割符，取出第5位，使用map进行赋值1
val user_id = page_views.map(x =>(x.split("\t")(5),1))
user_id.reduceByKey(_+_).map(x =>(x._2,x._1)).sortByKey(false).map(x =>(x._2,x._1)).take(5).foreach(println)
sc.stop()
}
}
2、同样的打jar包，上传到服务器中去，使用spark-submit进行提交，如上代码是直接在控制台上打印出来的
3、此处如何修改使得其打印到hdfs上的目录中去？
引申：在工作中，很多场景的统计，你都可以看到WordCount的影子。
拿到需求以后：
1）、分析
2）、功能拆解：中文描述 《-- 详细设计说明书
3）、代码的开发：代码的实现 《–码农干的事情
2.2、Spark-Core求平均年龄&&男女人数&&最低、最高身高
1、求平均年龄：sum(age)/count(ID)
- 拿到年龄、拿到人数、年龄之和/人数
1、key-value这样的数据格式：
1 24
2 34
2、代码如下
package com.ruozedata.bigdata.SparkCore01
import org.apache.spark.{SparkConf, SparkContext}
object AvgApp {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf()
val sc = new SparkContext(sparkConf)
//读取文件
val textFile = sc.textFile("file:///home/hadoop/data/sample_age_data")
//split取出年龄数据：
val ageData = textFile.map(x =>x.split(" ")(1))
//求出年龄总和：
val totalData = ageData.map(x =>x.toInt).reduce(_+_)
//计算出总人数：
val countPeople = textFile.count()
//计算出平均年龄 --> 总年龄/总人数
val avgData = totalData/countPeople
sc.stop()
}
}
IDEA中的每一步都可以在相应的spark-shell中进行测试，但是公式中不能定义和算子同名的变量，否则运行的时候系统会识别不了。
求男女人数 && 最低和最高身高
数据源：id、性别、身高
| id | 性别 | 身高 |
|---|---|---|
| 1 | F | 185 |
分析：
1）、取出性别：一个分组groupBy
RDD ⇒ MRDD + FRDD（一个RDD拆分男RDD + 女RDD）
2）、max min由于结构的特殊性，直接使用max、min就行
在Spark-shell中测试实现：
1、读取数据：
val lines = sc.textFile("file:///home/hadoop/data/people.txt")
2、拿到MRDD，得到最高身高和最低身高：
scala> val FRDD = data.map(x => x.split(" ")).map(line => {val gender = line(1); val height = line(2); (gender,height)}).filter(x => (x._1) =="M")
FRDD: org.apache.spark.rdd.RDD[(String, String)] = MapPartitionsRDD[46] at filter at <console>:25
3、获取最高、最低身高
FRDD.map(x =>(x._2)).max
FRDD.map(x =>(x._2)).min
在spark-shell中这样开发测试是没有问题的，解析：先spilt(" ")使用空格进行分割，取出性别和身高共两列，filter过滤出性别中是M的数据；
IDEA中进行开发：
import org.apache.spark.{SparkConf, SparkContext}
object InfoApp {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[2]").setAppName("Info")
val sc = new SparkContext(sparkConf)
// val data = sc.textFile("hdfs://hadoop004:9000/data/input/people.txt")
val data=sc.textFile("C:/Users/Administrator/Downloads/people.txt")
val MRDD = data.map(x =>x.split(" ")).map(line =>
{
val gender = line(1)
val height = line(2)
(gender,height)}
).filter(x =>(x._1)=="M")
println("男生中身高最高的：" + MRDD.map(x =>(x._2)).max)
sc.stop()
}
}
//我在IDEA启动的时候出现了报错
- 参考博客：https://www.jianshu.com/p/c96a4ec33ff9