Hadoop伪分布式集群安装笔记

系统常用配置文件及含义：

1、/etc/inittab 用于开机是否选择使用图形界面

2、/etc/sysconfig/network-scripes/ifcfg-ens33 用于配置ip地址

3、/etc/hosts 设置IP地址与主机名映射，（类似解析域名）

4、/etc/profile 用于配置环境变量（用于当前机器全局用户）

5、/etc/bashrc 配置环境变量只用于当前用户

在Hadoop配置文件中

Hadoop-env.sh 环境变量

Core-site.xml 公共的配置参数

Hdfs-site.xml 与hdfs相关配置参数

Yarn-site.xml 与yarn相关的配置参数

、、、、

安装Hadoop集群

首先确定安装jdk,因为Hadoop需要Java环境支持

Java -pversion

1. 将安装包下载到centos中（通过yum或者Windows远程发送）然后解压hadoop安装包：

命令：tar –zxvf hadoop-2.9.2.tar.gz(根据自己下载版本)

1. 进入Hadoop目录，配置hadoop-env.sh如图：

3、设置系统环境变量

vi /etc/profile

4、vi  core-site.xml

fs.defaultFS:指定namenode的文件系统hdfs 的通信地址

hadoop.tmp.dir：hadoop工作时储存的文件或目录存放地址

5、vi hdfs-site.xml

 

6、vi mapred-site.xml此处若配置文件中没有mapred-site.xml,需要将mapred-site.xml.template修改为mapred-site.xml 命令：cp mapred-site.xml.template mapred-site.xml

 

指定MapReduce放到哪个文件系统中运行，不指定默认在本地,

 

 

 

 

 

7、vi yarn-site.xml

前者表示制定yarn的老大（resourcemanager）的地址为xmaster

后者表示指定reducer获取数据的方式

 

8、vi works

9、配置hadoop环境变量

图片在第三步

 

10、格式化namenode:命令 ：hadoop namenode –format（不能多次格式化）

11、启动hadoop集群

 

 

11、jps查看