Spark中常见的错误以及修改方案

1、在Windows中运行，缺少模拟Hadoop的运行环境，报这样的错是因为你windows下的hadoop中没有hadoopzaiwindows下执行所需要的插件：winutils.exe解决方式：

配置一下就可以解决。文件位置随便设置，这里是在D:\soft\hadoop3\bin,注意在配置路径时，bin目录不需要添加。配置完成后重启idea

2、  ERROR spark.SparkContext: Error initializing SparkContext.

因为更改过spark/conf目录里面的spark-defaults.conf这个文件，所以在每次启动spark的submit模式或者是shell窗口都会先把日志写在hadoop的hdfs里面

所以解决方式：

        1.spark的历史服务器日志配置在本地Linux文件系统上

        2.依旧使用hdfs文件系统作为写入日志的地方，不过开启spark之前需要开启hadoop

3、在连接MySql的时候，出现没有Driver驱动，具体错误如下所示，只需要在Maven中添加MySql的依赖

4、在将数据写入到MySql中的时候出现的乱码的错误

解决方式：需要观察MySql的客户端和服务端的编码方式是否统一，对于服务端可以通过修改该配置文件，将编码方式默认为utf8

    /**
     *
     * 修改MySQL默认的编码：
     * vim /etc/my.cnf
     *
     * [client]
     * default-character-set = utf8mb4
     * [mysqld]
     * character-set-server = utf8mb4
     * collation-server = utf8mb4_general_ci
     *
     * 重启MySQL服务：systemctl restart mysqld
     * */

修改后，如果使用第三方的工具连接，需要重新连接