hadoop扫盲

阅读更多

# 创建新用户hadoop

useradd -m hadoop -s /bin/bash 

passwd hadoop 

密码是Dw.2016%

 

tar -zxvf hadoop-3.0.3.tar.gz 

 

cd /usr/local/hadoop-3.0.3/etc/hadoop

 

1.修改hadoop-env.sh，配置java jdk路径

export JAVA_HOME=/usr/local/java

 

2.修改core-site.xml，配置内容如下

    

   fs.default.name

    

   hdfs://localhost:9000

    

   HDFS的URI，文件系统://namenode标识:端口号

 

 

 

    

   hadoop.tmp.dir

    

   /usr/local/hadoop-3.0.3/tmp

    

   namenode上本地的hadoop临时文件夹

 

 

3、修改hdfs-site.xml，修改配置如下

   dfs.name.dir

   /usr/local/hadoop-3.0.3/hdfs/name

   namenode上存储hdfs名字空间元数据  

   dfs.data.dir

   /usr/local/hadoop-3.0.3/hdfs/data

   datanode上数据块的物理存储位置

   dfs.replication

   1

   副本个数，配置默认是3,应小于datanode机器数量

 

4、修改mapred-site.xml

    mapreduce.framework.name

    yarn

 

5、修改yarn-site.xml，修改内容如下

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    yarn.resourcemanager.hostname

    10.10.11.69

 

6、将hadoop添加到环境变量

export HADOOP_HOME=/usr/local/hadoop-3.0.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 

source /etc/profile

 

四、启动hadoop

cd /usr/local/hadoop-3.0.3/bin

1.格式化hadoop

hadoop namenode -format

 

2.启动NameNode 和 DataNode 守护进程及secondary namenodes

cd /usr/local/hadoop-3.0.3/sbin

./start-dfs.sh

 

如果运行脚本报如下错误,

ERROR: Attempting to launch hdfs namenode as root

 

vim start-dfs.sh

顶部空白处

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

 

3.启动ResourceManager 和 NodeManager 守护进程

./start-yarn.sh

如果运行时报错

ERROR: Attempting to launch yarn resourcemanager as root

 

vim start-yarn.sh

顶部空白处

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

 

4、验证是否成功，使用命令：jps，输出如下即表示配置成功。

JobTracker

SecondaryNameNode

NodeManager

ResourceManager

NameNode

DataNode

 

5、可以在浏览器中查看hdfs和mr的状态.

   hdfs管理界面：http://10.10.11.69:50070

   MR的管理界面：http://10.10.11.69:8088/

 

报错请参考这篇博客

https://blog.csdn.net/coffeeandice/article/details/78879151