阿里云服务器伪分布式hadoop安装

CentOS 7.3 64位

jdk 1.8.0_40

hadoop 2.6.5

1、在服务器上安装jdk

下载jdk-8u40-linux-x64.gz，解压后配置Java环境变量

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

PATH=$JAVA_HOME/bin

把这些添加到etc/profile 中，并更新：source profile

java -version如果显示java版本则安装成功

2、在服务器上安装hadoop,下载hadoop解压后配置hadoop环境变量（opt/hadoop是hadoop解压目录）

export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin

把这些添加到etc/profile 中，并更新：source profile

hadoop version如果显示java版本则安装成功

3、配置hadoop

想要外网也能访问hdfs,配置的时候就不要用localhost,内网IP是什么，就用什么，否则虽然用localhost也能搭建成功，但没办法在外网上访问，如果你在windows下写的Java程序也无法访问hdfs。

修改core_site.xml    xxx.xxx.xxx.xxx是你的服务器的内网IP

        fs.defaultFS

        hdfs://xxx.xxx.xxx.xxx:9000

   

   

        hadoop.tmp.dir

        file:/hadoop/tmp

   

修改hdfs-site.xml

        dfs.namenode.name.dir
        file:/hadoop/hdfs/name
   
   
        dfs.datanode.data.dir
        file:/hadoop/hdfs/data
   
   
        dfs.replication
        3
   
   
        dfs.namenode.secondary.http-address
        xxx.xxx.xxx.xxx:9001
   
   
dfs.webhdfs.enabled
true


    dfs.permissions
    false
 

 

修改mapred-site.xml

        mapreduce.framework.name

        yarn

   

   

        mapreduce.jobhistory.address

        xxx.xxx.xxx.xxx:10020

   

   

        mapreduce.jobhistory.webapp.address

        xxx.xxx.xxx.xxx:19888

   

       
             mapreduce.framework.name
             yarn
       

修改yarn-site.xml

        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
        yarn.nodemanager.auxservices.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
   
   
        yarn.resourcemanager.address
        xxx.xxx.xxx.xxx:8032
   
   
        yarn.resourcemanager.scheduler.address
        xxx.xxx.xxx.xxx:8030
   
   
        yarn.resourcemanager.resource-tracker.address
        xxx.xxx.xxx.xxx:8031
   
   
        yarn.resourcemanager.admin.address
        xxx.xxx.xxx.xxx:8033
   
   
        yarn.resourcemanager.webapp.address
        xxx.xxx.xxx.xxx:8088
   
   
        yarn.nodemanager.resource.memory-mb
        6078
   

在slavers里删除localhost,添加内网IPxxx.xxx.xxx.xxx

在hadoop-env.sh里添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

完成。

hadoop namenode -format 格式化

在hadoop/sbin目录下 sh start-all.sh

jps查看

26277 DataNode
26696 NodeManager
26409 SecondaryNameNode
30109 Jps
26606 ResourceManager
26191 NameNode