Linux搭建Hadoop伪分布式环境

环境准备

jdk-8u201-linux-x64.tar.gz

hadoop-3.1.2.tar.gz

 

安装jdk

机器免密通讯 

Hadoop配置

1. 解压

   tar -zxvf hadoop-3.1.2.tar.gz

   

2. 修改配置，在${HADOOP_HOME}/etc/hadoop目录下

   hadoop-env.sh 配置JAVA_HOME 

   export JAVA_HOME=/opt/tools/java/jdk1.8.0_201

   core-site.xml 

   
     fs.defaultFS
     hdfs://192.168.80.128:9000
   

   hdfs-site.xml 

   
   
     dfs.replication
     1
   
   
   
     dfs.namenode.name.dir
     file:///dev/extends/hadoop/hdfs/name1,file:///dev/extends/hadoop/hdfs/name2
   
   
   
     dfs.datanode.data.dir
     file:///dev/extends/hadoop/hdfs/data
   
   
   
     dfs.namenode.checkpoint.dir
     file:///dev/extends/hadoop/hdfs/second1,file:///dev/extends/hadoop/hdfs/second2
   
   
   
     dfs.namenode.datanode.registration.ip-hostname-check
     false
   

   workers 

   192.168.80.128

    

3. 格式化namebode

   hdfs namenode -format

   备注：这里需要切换到${HADOOP_HOME}/bin目录下执行，或者配置环境变量

4. 启动HDFS，在${HADOOP_HOME}/sbin目录中

   ./start-dfs.sh

    Hadoop3.x中会出现以下错误

    

   需要指定用户，这里为root用户，在start-dfs.sh 和 stop-dfs.sh中添加以下语句 

   HDFS_NAMENODE_USER=root
   HDFS_DATANODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root
   

    

5. 测试访问 

   jps

    

    浏览器输入 http://192.168.80.128:9870，Hadoop2.x  webui端口为 50070