Mac下安装Hadoop 3.0 (防坑)

最近在学习数据处理方面的知识,一直没有实践。闲来无事装个Hadoop玩玩,结果不小心掉坑里了。

安装步骤(因为懒不想写详细步骤,称不上教程,就叫做步骤吧)

  1. 下载Hadoop

            官网下载链接:http://mirror.bit.edu.cn/apache/hadoop/common/

    2. 参考官网教程

            官网单机版Hadoop 安装指导链接:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node        


   3.掉坑

        a. java jdk 版本。

                Mac自带jdk是1.7,Hadoop 3.0需要1.8以上版本。用brew cask install java, 太慢,还容易断网安装失败。(PS:墙内还是手动到官网下载,手动安装比较方便)

        b.  缺失 javax.activation.jar

                 启动dfs正常,启动yarn 报错 如下:

                    java.lang.NoClassDefFoundError: javax/activation/DataSource

             解决:下载javax.activation.jar, 然后copy到Hadoop的lib目录下

                       我的目录是   hadoop-3.0.0/share/hadoop/common/lib/



你可能感兴趣的:(Hadoop,大数据,数据挖掘)