[大数据研发]Hadoop集群搭建详细教程（自行手动搭建）

        Hadoop集群的搭建一是选用商用工具CDH，该工具不必担心各个组件的之间的版本兼容问题，而且配有监控工具（后序介绍）。为了入门或者了解配置文件中各个配置的意思，本文采用传统的搭建方法，建议搜一下各个组件（jdk，hadoop，hive，hbase，zookeeper等之间的版本兼容关系，选择最合适的版本），本文选用jdk1.8，hadoop2.6。

1,采用虚拟机centerOS7

下载地址。

2.修改虚拟机固定ip

使得虚拟机和主机VMnet8网卡在同一个网段，虚拟机上网方式NAT。我的用户名，主机名，别名，ip如下：

别名	主机名	用户名	ip
h1	hadoop1	hadoop	192.168.246.100
h2	hadoop2	hadoop	192.168.246.102
h3	hadoop3	hadoop	192.168.246.104

别名修改： vi/etc/hosts（ 使得别名和ip对应）

3.ssh免密登录设置

①在h1,h2和h3生成本主机的公钥和私钥

ssh-keygen -i rsa (连续Enter)，则在.ssh目录下生成id_rsa 和 id_rsa.pub。

②将h1,h2和h3公钥各自拷贝到authorized_keys文件

cat id_rsa.pub >> authorized_keys

③将h1，h2自己的公钥发送给h3主机，本机便能免密访问其他主机（免密原理：其他主机带有本主机的公钥）

ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@h3

公钥在authorized_keys文件中，h3的该文件包含h1和h2的公钥。注：修改authorized_keys的文件权限为600，负责不能实现免密访问。

④将授权文件从h3发送到h1和h2，实现三台主机之间的免密访问

scp /home/hadoop/.ssh/authorized_keys h1:/home/hadoop/.ssh/

scp /home/hadoop/.ssh/authorized_keys h2:/home/hadoop/.ssh/

⑤查看各主机是否可以进行免密访问

4.安装jdk1.8

①卸载主机自带的openjdk

查找是否具有openjdk

rpm -qa |grep openjdk

卸载

rpm -e --nodeps xxx.openjdk.xxx

②下载jdk1.8，利用ftp等工具发送到虚拟主机。

下载地址

③解压到/home/hadoop/soft/目录下

tar -zxvf xxx.jdk

④配置环境变量（vi /etc/profile）

export JAVA_HOME=/home/hadoop/soft/jdk1.8
export CALSSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

生效环境变量 source /etc/profile

⑤检查环境变量是否配置好

未完待续....