Mac下利用vmware fushion安装centos服务器，然后搭建Hadoop集群。
准备工作
- 安装好三台 Linux 虚拟机，配置好静态ip，关闭防火墙，关闭selinux，更改主机名，同步时间，配置好hadoop用户，并设置免密登录，最好安装好JDK。详细参考：Zookeeper三节点集群搭建。
- 安装过程中涉及到的软件：
hadoop-2.6.0-cdh5.14.2.tar.gz，下载地址
安装过程
- 上传hadoop安装包，进行解压
mac命令行中执行：
cp hadoop-2.6.0-cdh5.14.2.tar.gz hadoop@node01:/kkb/soft
ssh hadoop@node01
cd /kkb/soft
tar -xzvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /kkb/install
- 配置hadoop环境变量
- 配置环境变量
vim /etc/profile
# 增加：
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
# PATH增加：
$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 验证环境变量
source /etc/profile
hadoop version
- 配置hadoop-env.sh
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hadoop-env.sh
# 找到JAVA_HOME，并设置为：
export JAVA_HOME=/kkb/install/jdk1.8.0_141
- 配置core-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/core-site.xml
# 修改其内容为：
fs.defaultFS
hdfs://node01:8020
hadoop.tmp.dir
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
io.file.buffer.size
4096
fs.trash.interval
10080
检查点被删除后的分钟数。 如果为零，垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。 如果垃圾箱被禁用服务器端，则检查客户端配置。 如果在服务器端启用垃圾箱，则会使用服务器上配置的值，并忽略客
户端配置值。
fs.trash.checkpoint.interval
0
垃圾检查点之间的分钟数。 应该小于或等于fs.trash.interval。
如果为零，则将该值设置为fs.trash.interval的值。 每次检查指针运行时，
它都会从当前创建一个新的检查点，并删除比fs.trash.interval更早创建的检查点。
- 配置hdfs-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hdfs-site.xml
# 修改其内容为：
dfs.namenode.secondary.http-address
node01:50090
dfs.namenode.http-address
node01:50070
dfs.namenode.name.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
dfs.datanode.data.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
dfs.namenode.edits.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
dfs.namenode.checkpoint.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
dfs.namenode.checkpoint.edits.dir
file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits
dfs.replication
3
dfs.permissions
false
dfs.blocksize
134217728
- 配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/mapred-site.xml
# 修改其内容为：
mapreduce.framework.name
yarn
mapreduce.job.ubertask.enable
true
mapreduce.jobhistory.address
node01:10020
mapreduce.jobhistory.webapp.address
node01:19888
- 配置yarn-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/yarn-site.xml
# 修改其内容为：
yarn.resourcemanager.hostname
node01
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.log-aggregation-enable
true
yarn.log.server.url
http://node01:19888/jobhistory/logs
yarn.log-aggregation.retain-seconds
2592000
yarn.nodemanager.log.retain-seconds
604800
yarn.nodemanager.log-aggregation.compression-type
gz
yarn.nodemanager.local-dirs
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/yarn/local
yarn.resourcemanager.max-completed-applications
1000
- 编辑slaves
此文件用于配置集群有多少个数据节点,我们把node2，node3作为数据节点,node1作为集群管理节点.
配置/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop目录下的slaves
vim slaves
# 将localhost这一行删掉，并且增加：
node01
node02
node03
- 创建文件存放目录
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits
- 远程复制hadoop到集群各个机器
- 分发hadoop安装文件到node02，node03
cd /kkb/install
scp -r hadoop-2.6.0-cdh5.14.2 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 node03:$PWD
- 分发全局环境配置文件/etc/profile到node02，node03
sudo scp /etc/profile node02:/etc/profile
sudo scp /etc/profile node03:/etc/profile
- 使集群中所有机器的环境变量生效
ssh node02
source /etc/profile
hadoop version
exit
ssh node03
source /etc/profile
hadoop version
exit
- 格式化hadoop
注意格式化hadoop只用在namenode上进行，也即node01上进行。
hdfs namenode -format
启动集群
在node01上启动hadoop集群
start-all.sh
# 启动完成后，可以执行 jps查看进程
jps
在浏览器界面中输入：http://192.168.2.100:50070/，查看namenode的web界面。
namenode
运行hello, world!
mapreduce程序(行话程为词频统计程序(中文名),英文名：wordcount)，就是统计一个文件中每一个单词出现的次数，也是我们学习大数据技术最基础，最简单的程序，入门必须要会要懂的第一个程序，其地位和java，php，c#，javascript等编程语言的第一个入门程序HelloWorld(在控制台打印“hello world！”等字样)程序一样，尤为重要,不同的是它们是单机应用程序，我们接下来要运行的程序(wordcount)是一个分布式运行的程序，是在一个大数据集群中运行的程序。wordcount程序能够正常的运行成功，输入结果，意味着我们的大数据环境正确的安装和配置成功
hdfs dfs -ls /
# 在hadoop目录下创建测试文件
hdfs dfs -mkdir /test
# 在本地创建一个文件
touch words
vim words
# 编辑内容如下：
i love you
you love him
# 将测试文件上传到hadoop上的测试目录
hdfs dfs -put words /test
#/ test/words 是hdfs上的文件存储路径 /test/output是mapreduce程序的输出路径，
# 这个输出路径是不能已经存在的路径，mapreduce程序运行的过程中会自动创建输出路径
# 数据路径存在的话会报错
hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/words /test/output
# 查看运行结果：
hdfs dfs -cat /test/output/part-r-00000
停止集群
stop-all.sh