spark出现 Unable to load native-hadoop library for your platform 解决方案

启动Spark on YARN

首先进入到bin目录下，在控制台输入命令：

spark-shell --master yarn --deploy-mode client

出现下面的错误：

报错原因：
内存资源给的过小，yarn直接kill掉进程，则报rpc连接失败、ClosedChannelException等错误。

解决方法：

先停止YARN服务，然后修改yarn-site.xml，增加如下内容：

                yarn.nodemanager.vmem-check-enabled
                false
                Whether virtual memory limits will be enforced for containers
        
        
                yarn.nodemanager.vmem-pmem-ratio
                4
                Ratio between virtual memory to physical memory when setting memory limits for containers
        

将新的yarn-site.xml文件分发到其他Hadoop节点对应的目录下，最后在重新启动YARN。

重新执行以下命令启动spark on yarn

启动成功的界面如下：