Spark问题记录

问题1

问题描述
项目中使用CDH 5.8,在测试环境上使用 spark-sql 将数据写到Mysql 时，一直报错如下
java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

根据错误应该是Mysql 问题，两种可能

• 存在节点上没有 MySQL驱动 Jar
• Jar 路径未指定对

由于我对测试环境集群组件配置不了解，于是去 CM上看了一下Spark的配置，几乎都没有找到 驱动包，于是给每个节点下这两个路径放置了Jar
/opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/，/opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/lib/hadoop-yarn/
提交参数：
--jars /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/mysql-connector-java.jar
--driver-class-path /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/mysql-connector-java.jar

完整参数如下

spark2-submit \
--num-executors 2 \
--executor-memory 2g \
--executor-cores 2 \
--driver-memory 1G \
--driver-cores 1 \
--jars /opt/cloudera/par