Hadoop环境搭建

更改主机名

hostnamectl set-hostname master

配置host

192.168.1.88 master

配置主机名与ip的映射关系

hadoop伪分布式安装

1. 软件安装目录：/usr/local/hadoop-2.6.2/
2. 解压
   tar -zxvf /home/afei/hadoop-2.6.2.tar.gz -C /usr/local/
3. 配置环境变量

[root@master bin]# vi /etc/profile

66  ##Java
67  export JAVA_HOME=/usr/local/jdk1.8.0_102
68  export PATH=$PATH:$JAVA_HOME/bin
   
69  ##Maven
70  export MAVEN_HOME=/usr/local/apache-maven-3.3.9
71  export PATH=$PATH:$MAVEN_HOME/bin

使用 source /etc/profile生效

4 .关闭防火墙和SELinux

tips:CentOS 7跟老版本稍有不同，在老版本中是service iptables status

 service firewalld status 查看防火墙状态
 service firewalld stop 关闭防火墙
 chkconfig iptables off 永久关闭防火墙

？ 这是干啥的 #vim /etc/sysconfig/selinux 设置SELinux=disabled ？

5 .最后配置hadoop环境

1. hadoop-env.sh
[root@master bin]# vi /usr/local/hadoop-2.6.2/etc/hadoop/hadoop-env.sh 
 在文本中配置
export JAVA_HOME=/usr/local/jdk1.8.0_102

2. 这些我没配置
a. yarn-env.sh
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
b.mapred-env.sh
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

3. core-site.xml
[root@master bin]# vi /usr/local/hadoop-2.6.2/etc/hadoop/core-site.xml 
15  
16      
17          fs.defaultFS
18          hdfs://master:9000
19      
20  

4. hdfs-site.xml
 [root@master bin]# vi /usr/local/hadoop-2.6.2/etc/hadoop/hdfs-site.xml 
15  
16      
17          dfs.replication
18          1
19      
20  

5. yarn-site.xml
[root@master bin]# vi /usr/local/hadoop-2.6.2/etc/hadoop/yarn-site.xml
15  
16      
17          yarn.nodemanager.aux-services
18          mapreduce_shuffle
19      
20  

6.编辑mapred-site.xml.template
15  
16      
17          mapreduce.framework.name
18          yarn
19      
20  

格式化 HDFS

$ bin/hdfs namenode -format

开启 HDFS 文件系统

$ sbin/start-dfs.sh

创建目录

[root@master bin]# ./hdfs dfs -mkdir /test-dir

上传文件到HDFS

[root@master bin]# ./hdfs dfs -put /home/afei/some-world.txt /test-dir

列出目录

[root@master bin]# ./hdfs dfs -ls /test-dir

列出 HDFS 中创建的目录