Spark优化工具:Sparklens实操

前言

该文发布时间是2022年1月11日。为什么要说时间呢？因为我测试的数据湖iceberg和deltaLake，10个月时间就更新好多新东西，之前测试的基本没啥参考价值了。下面进入正题。

我们Spark版本是2.3.2,每天跑的程序嗷嗷多，占的资源也嗷嗷多。为了方便统计，我做了个资源排行榜看板。

排行榜前10占的资源实在太大了。我想着找个工具来检查一下使用情况。所以找到了Sparklens，这个工具去年我有看到过。只不过当初没考虑这个优化的问题，所以拖到现在。这软件测试完发现很是好用。

言归正传，相信大家的集群都是网络隔离的吧。这两天我看了一下有关这个工具的文章，给我气的啊。都是复制粘贴别人的，身为技术人员就不能自己写一套试试？CSDN上看到复制粘贴气不过骂了几句之后，冷静下来干脆自己写吧。 

什么是Sparklens？

相关文章帖子在CSDN上搜下看吧。理论知识都是复制粘贴或者官网搬过来，没一个自己测试的。

需要提醒的是，截止2022-01月，这个工具已经4年没更新了。

GitHub：GitHub - qubole/sparklens: Qubole Sparklens tool for performance tuning Apache Spark​​​​​​

官网(后面解析json用):http://sparklens.qubole.com/

Sparklens实操

先说我们集群版本

Spark	2.3.2
hadoop	2.8.4
Sparklens	github上最新master
sbt	1.3.0

1、首先编译(坑多)

从git上把最新版本拉下来之后，需要手动编译成jar包。 

因为这玩意儿，是4年前更新的，所以很多网址和包都不好下。我填了很多坑。最后依然没有很好解决。所以我按照目前sbt最新编译方式编译通过了。目前我的方法是以下。

注释掉这个。因为sbt-assembly已经不好下载了。sbt-spark-package已经6年没更新了。

build.sbt文件只留有用的

注意的是版本一定对应自己集群的版本号。现在可以编译了。

不知道怎么写的可以从maven仓库找一下(传送门)

sbt环境OK的情况下，执行 package。编译完就得到了包。

 2、如何使用Sparklens？

根据github上的操作使用(我实在懒得翻译了，截图给你们)

所以我在执行的时候加上参数。

--jars /data/tmp/liyalong/jar/sparklens_2.11-0.3.2.jar --conf spark.extraListeners=com.qubole.sparklens.QuboleJobListener

//经测试，spark-submit和spark-sql提交任务，都可以
spark-submit --jars /data/tmp/liyalong/jar/sparklens_2.11-0.3.2.jar 
--conf spark.extraListeners=com.qubole.sparklens.QuboleJobListener 
--class Model.User_Cz_Bl_Prob_model 
--master yarn 
--deploy-mode client 
--driver-memory 8G 
--executor-memory 16G 
--executor-cores 6 
--num-executors 15 
--conf spark.default.parallelism=450 
--conf spark.sql.shuffle.partitions=450 
--driver-java-options "-Xss60m" 
--queue bi 
/data/source/data_warehouse/model/jar/smzdm_2.11-0.1.jar 2022-01-09 yc

跑完之后会生成json日志。在HDFS的 /tmp/sparklens/ 目录下

3、如何查看日志?

这时候我们需要打开官网，向下翻。输入自己的邮箱，然后把咱们服务器上的json传进去。

 然后点击发送等邮件里得到解析地址

 打开这个链接就看到官网为我们解析好的报表了。

链接我就不隐藏了，方便其他人观摩，不知道啥时候过期。

查看可优化空间(下图) 

(我这个随机森林模型优化空间这么大么？好尴尬)

模拟出每个核数下跑批时间和集群利用率(下图)

 每个stage下的资源使用情况(下图)

实际执行的executor的数量和设置的数量(下图) 

显示了应用程序中所有阶段和作业中所有任务的每个值的最小值、最大值、总和和平均值等摘要信息(下图，当然这个图Spark-ui也是有的)

 还是非常棒的。

有的集群json文件不好拿下来。当然也可以直接跑spark程序去获取信息。

4、集群Spark解析日志

spark-submit 
--jars /data/tmp/liyalong/jar/sparklens_2.11-0.3.2.jar 
--class com.qubole.sparklens.app.ReporterApp 
qubole-dummy-arg /tmp/sparklens/application_1635837258039_866933.sparklens.json

执行完是这样子滴。

 

 

如何优化参数呢？请到Sparklens参数优化查看。传送门

我这个应该是CSDN上唯一自己测试Sparklens的文章了吧，觉得好就收藏。

可以转载但是别抄袭。转载请标明转载地址。