Hadoop集群安装和搭建
Hadoop集群安装和搭建
前言
Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试。
一、虚拟机的安装
VMware (Virtual Machine ware）是一个“虚拟PC”软件公司，提供服务器、桌面虚拟化的解决方案。
可以自己安装
二、Linux系统安装
1.环境准备
Centos7镜像文件(mini)
我使用的：CentOS-7-x86_64-DVD-2009.iso
清华大学开源软件镜像站
2.虚拟机安装
2.1 新建虚拟机，选择典型
2.2 选择安装程序光盘映像文件（iso）
2.3 虚拟机名称和位置
需要空的文件夹
2.4 指定磁盘容量
2.5 虚拟机配置如下
三、Centos系统安装
1.开启虚拟机
2.安装 CentOS7
直接回车
3.选择语言（默认为English）
拉到最下面，选择中文->简体中文->继续。
4.日期和时间亚洲/上海（这里默认为最小）
5.安装位置
点进去，点击完成就可以了
6.系统网络和主机名
7.开始安装
8.设置ROOT密码和用户
设置较弱时要点击两次确认
设置用户时，可以不用设置用户全名，
9.安装完成后重启即可
10.使用root权限登录
四、静态网络配置
1.查看网络是否连通
ping www.baidu.com
按 Ctrl+C 可以退出
2.安装net-tools
yum upgrade
yum install net-tools
时间较长，遇到要输入的地方，输入 y 就行。有多处输入。除此之外，如果遇到没反应，又没有让输入的，不要操作。
3.查看Mac地址（enter后面）
ifconfig
记下inet 和 ether 的值，后面有用
4.查看ip地址的起始和结束地址
编辑 -> 虚拟网络编辑器 ->选中vMnet8 ->DHCP设置 -> 可以看到 ip 地址的起始和结束
5.修改网络配置文件
修改文和照片相同的，相同则不改。
vi /etc/sysconfig/network-scripts/ifcfg-ens33
1.输入到一定数量按 Tab 键会自动补全
2. 进入文件后 按 i 键进入编辑状态。
3. 按 Esc 键退出编辑状态。
4. 输入 :wq 保存并退出
5. 输入 :q! 不保存退出
mac地址为2步骤的 ether 值
ip地址参照4步骤自行选择（必须在起始和结束的范围内）
子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1：8.8.8.8
WADDR="00:0c:29:c3:86:d4"//写自己的
IPADDR="192.168.30.101"//改为自己想要的
GATEWAY="192.168.30.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
6.重启网络服务，查看是否配置成功
systemctl restart network
ping www.baidu.com
7.重启虚拟机后，查看是否连通网络
reboot
ifconfig
ping www.baidu.com
8. 关闭虚拟机
关闭命令
poweroff
五、虚拟机克隆配置
1.克隆虚拟机（右键相应虚拟机->管理->克隆）
2.创建完整克隆
3.克隆虚拟机名称和位置（等待克隆完成）
4.开启yy2，修改主机名
hostnamectl set-hostname yy2
reboot //修改主机名后需重启虚拟机
5.查看mac地址
ifconfig
记下ether 的值
6.网络配置文件修改（标红需要修改，IP自己设置,mac用步骤5查到地址，网关为ip地址最后改为2）
vi /etc/sysconfig/network-scripts/ifcfg-ens33
7.重新启动网络配置（查看网络是否可用）
systemctl restart network
ping www.baidu.com
红线处会和刚刚改的相同
8.按照以上步骤，再克隆另外一台虚拟机yy3
六、配置hosts文件和ssh免密登录
启动所有虚拟机
1.修改hosts配置文件（所有虚拟机都需要配置此文件）
vi /etc/hosts
2.生成密钥文件（四次回车）（每个虚拟机都要操作）
ssh-keygen -t rsa
千万别输入，回车到底就行。
2.将本机公钥文件复制到其它虚拟机上,在yy1上执行，先输入yes，后输入对应主机的密码，多台虚拟机配置操作相同
ssh-copy-id yy1
ssh-copy-id yy2
ssh-copy-id yy3
3.在虚拟机 yy2,yy3 都需要执行，保证三台主机都能够免密登录
ssh-copy-id yy1
ssh-copy-id yy2
ssh-copy-id yy3
3.查看是否成功免密登录
在每个虚拟机下面都相互登录，输入 exit 则退出。
保证没问题，必须都要登录尝试。
ssh yy2
七、Hadoop集群配置
1.在所有虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件
创建的文件夹可以按要求更改，但要记住路径。
会在这几个文件下配置，改环境变量时要正确输入。
删除文件夹 rm -rf 名字
mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software
2.准备安装包
hadoop-2.7.4.tar.gz
jdk-linux-x64.tar.gz
**3.下载安装软件Xshell **
打开Xshell后点击文件并选择新建，名称填yy1，主机填写yy1的IP地址，再点击用户身份验证，把yy1的账号，密码输入，就可以通过Xshell控制虚拟机，方便后续软件的传输。（重复步骤新建会话控制yy2,yy3）
我点击的是这个，中间那个我的不管用，你们可以试试。
4.在Xshell先进入software文件内，然后下载rz命令，并使用rz命令进行文件上传，此时会弹出上传的窗口，选择要上传的文件，点击确定即可将本地文件上传到Linux上。
每个虚拟机都做。
cd /export/software
yum -y install lrzsz
rz
如果半天没反应，可以取消，重新操作。
输入 ls 可以查看该目录下的文件
5.安装JDK（所有虚拟机都要操作）
5.1 解压jdk
tar -zxvf jdk-linux-x64.tar.gz -C /export/servers/
5.2 重命名jdk目录
cd /export/servers
mv jdk1.8.0_131 jdk1.8
5.3 配置环境变量
Centos
ubuntu