一、集群环境及安装：
1.1 集群环境
- 系统： Ubuntu Kylin 14.04 LTS
- Hadoop版本：Apache Hadoop-2.6.0
| 节点类型 |
网络地址 |
机器名 |
配置信息 |
| Master |
192.168.0.100 |
master |
CPU：4核，内存：8G |
| Backup&Slave |
192.168.0.99 |
backup |
CPU：4核，内存：8G |
| Slave |
192.168.0.101 |
datanode1 |
CPU：2核，内存：4G |
| Slave |
192.168.0.102 |
datanode2 |
CPU：4核，内存：4G |
| Slave |
192.168.0.103 |
datanode3 |
CPU：2核，内存：4G |
| Slave |
192.168.0.104 |
datanode4 |
CPU：4核，内存：4G |
1.2 集群系统安装
1）首先使用U盘启动盘将Ubuntu Kylin系统直接安装到硬盘上，安装时SWAP分区大小设置为内存大小，即master/backup的swap为8192M，其余节点为4096M，并且设置合适的硬盘分区大小挂载到“/”路径下。
2）在安装过程中，可以设置用户名、机器名等。如果在该步骤中设置，可跳至步骤4。
3）创建hadoop用户组和用户：
$ sudo addgroup hadoop //创建hadoop用户组
$ sudo adduser -ingroup hadoop hadoop //创建hadoop用户
4）给hadoop用户添加权限：
$ sudo gedit /etc/sudoers //打开/etc/sudoers文件
给hadoop用户赋予root用户同样的权限。在root ALL=(ALL:ALL) ALL下添加： hadoop ALL=(ALL:ALL) ALL
二、安装JDK
2.1 配置环境变量
2.1.1 解压JDK
$ sudo mkdir /usr/lib/jvm
$ sudo tar zxvf jdk-8u05-linuxX64.tar.gz /usr/lib/jvm
2.1.2 添加环境变量
$ sudo gedit /etc/profile
在文件的末尾加上如下内容，保存并关闭文件
# for java
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
使设置生效：
$ gedit ~/.bashrc
在文件最后加上: source /etc/profile, 保存并退出。
2.2 修改默认JDK
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.8.0_05/bin/jar 300
然后执行：
sudo update-alternatives --config java
若是初次安装 JDK，将提示
There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java/bin/java
无需配置。
最后进行简单的测试：$ java –version
若出现：
java version "1.8.0_05"
Java(TM) SE Runtime Environment (build 1.8.0_05-b13)
则表示JDK的配置已经完成。
三、ssh与免密码登陆
3.1 安装openssh-server：
$ sudo apt-get install ssh openssh-server
3.2 ssh无密码登录本机
首先要转换成hadoop用户，执行以下命令：
$ sudo su - hadoop
采用rsa方式创建ssh-key
$ ssh-keygen -t rsa -P "" (直接回车生成的密钥对：id_rsa和id_rsa.pub，默认存储)
2. 创建授权文件authorized_keys，复制 id_rsa.pub 为 authorized_keys
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3. 登录localhost;
$ ssh localhost
4. 执行退出命令(exit或CTRL+D);
权限要求：hadoop目录 755，.ssh目录700，authorized_key文件600
3.3 ssh无密码登录集群
3.2.1 配置hosts文件
在每台机器上都完成3.2步骤，然后修改每台机器的hosts文件：
$ sudo gedit /etc/hosts
修改后的/etc/hosts文件如下：
127.0.0.1 localhost 192.168.0.99 backup 192.168.0.100 master 192.168.0.101 datanode1 192.168.0.102 datanode2 192.168.0.103 datanode3 192.168.0.104 datanode4
3.2.2 追加授权
将master在3.2 步骤中生成的.ssh文件夹分发至集群每一台机器：
$ scp –r ~/.ssh hostname:/home/hadoop
权限要求：hadoop目录 755，.ssh目录700，authorized_key文件600
至此，集群内任意两台机器可以免密码登陆。
问题集：
1、Agent admitted failure to sign using the key
解决方法：在当前用户下执行命令：ssh-add
四、安装hadoop
4,1安装Hadoop
1）解压Hadoop至用户目录：
$ sudo tar zxvf hadoop-2.6.0.tar.gz
2）配置HADOOP_HOME
$ sudo gedit /etc/profile:
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.2 配置Hadoop集群
1）hadoop-env.sh
增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
2）编辑配置文件core-site.xml
3）编辑配置文件hdfs-site.xml
4）编辑配置文件mapred-site.xml
5）编辑配置文件yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
masters文件：主节点master，
slaves文件：数据节点，一行一个。
运行hadoop
1. 进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作，
$ cd ~./Hadoop-yarn
$ bin/hadoop namenode -format
2. 启动sbin/start-all.sh
$ sbin/start-all.sh //关闭：同目录下./stop-all.sh
3. Web查看
http://localhost:50070 集群概况
http://localhost:8088 集群任务
五、服务端配置
修改文件副本数和block大小。
1) 指定连接超时大小：(core-site.xml)
2) 指定副本数：(hdfs-site.xml)
3) 指定block大小（1M）：(hdfs-site.xml)
服务端程序通过读取SRC文件夹下的hadoop配置文件来读取配置信息：
在编写应用程序时，需要将配置文件添加到应用程序的classpath中，或者通过以下方法手动读取下配置文件就可以了。
conf.addResource(new Path("/usr/local/hadoop/conf/hdfs-site.xml"));
运行hadoop自带的wordcount程序
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt /tmp/wordcount/out
4、查看运行结果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果，发现有两个文件夹和一个文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。
注意：如果出现java.net.NoRouteToHostException: No route to host，关闭防火墙
/etc/init.d/iptables stop