spark application里使用logback发送日志到graylog2

网上能搜到的方案都是，使用logback.xml去替换spark/conf/log4j.properties。但是我们的spark集群已经运行很长一段时间，进行全局替换，不太合适。

当前spark环境默认使用的log4j1.*, 应用程序里默认日志是存储在spark.log 和stderr、stdout三个文件里，要进行日志统一搜索不太方便，所以最近准备把日志迁移到graylog2 服务器上。

graylog: http://docs.graylog.org/en/2.4/

 

1 本地测试

添加gradle依赖包,版本自己确定：

compile “org.slf4j:slf4j-api:1.7.12”
compile "org.slf4j:log4j-over-slf4j:1.7.14"
compile “ch.qos.logback:logback-core:1.0.9”
compile “ch.qos.logback:logback-classic:1.0.9”
compile “me.moocar:logback-gelf:0.12”

最后一个是gelf模式的appender包。

logback.xml

    
        
            %-4relative [%thread] %-5level %logger{35} - %msg %n
        
    

    
        127.0.0.1
        12201
        applicationId:_application_id
        logback-gelf
        true
        %m%rEx
        %.-100(%m%rEx)
    

    
    

    
        
        
    

本地测试通过。

 

2 部署到spark集群

hadoop 环境：

CDH 5

5.10.2-1.cdh5.10.2.p0.5

spark环境：

1.6.0 

运行模式yarn-cluster.

默认使用spark-submit提交的时候，不能加载logback相关的类，slf4j自动绑定到slf4j-log4j-*.jar使用系统默认的log4j.properties，这样logback的配置失效。需要添加下面的配置：

--jars “youUsedJars including list above”   \
--conf "spark.driver.userClassPathFirst=true" \
--conf "spark.executor.userClassPathFirst=true" \

添加这三个配置参数以后，日志可以发送到graylog2服务器了，但是抛出异常：

java.lang.UnsatisfiedLinkError: org.xerial.snappy.SnappyNative.maxCompressedLength(I)I at 

解决方案：https://blog.csdn.net/adorechen/article/details/80109625

至此所有问题解决。

 

spark依赖包加载顺序总结:

 

1. 默认情况下，spark优先使用/etc/spark/conf/classpath.txt里自带的依赖包；
2. 若是找不到则查找用户通过 --jar 提交的依赖包(位于driver、executor的classpath里)；
3. 若是两个路径下都有相同名字的依赖包（版本不同），则抛出linked exception用户解决冲突；

 

 

• 使用 --spark.{driver,executor}.userClassPathFirst = true 优先启用用户提供的依赖包；
• 使用 --spark.{driver,executor}.extraClassPath = conflict-jar 来解决同名冲突的包依赖；

 

参考：

https://www.cnblogs.com/jojo276/p/6498572.html spark logback replace log4j

http://spark.apache.org/docs/latest/configuration.html#runtime-environment    spark runtime configuration

http://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Override-libraries-for-spark/td-p/32125 override class path of spark

https://github.com/broadinstitute/gatk/issues/1873 solve snappy maxLength exception