Hadoop+eclipse大数据开发环境开发搭建

一 虚拟机安装centos7

1

然而…成功得到一个大大的红色叉叉，emmm…,咱不怕，看见红色箭头指向的文件夹名称没有，在上面的安装目录上notepad++打开它

人家长这样式儿哟，不要看错人家
将vmci0.present = ‘TRUE’修改成’FALSE’
将图形界面更改为命令行界面
1、查看当前的默认界面形式：
systemctl get-default
结果出现：
graphical.target(图形化界面)
multi-user.target(命令行界面)

2、设置系统默认的界面形式（需要进入到root模式）
设置为图形化界面：systemctl set-default graphical.target
设置为命令行界面：systemctl set-default multi-user.target
最后可以重启系统reboot进行相应的认证！！！

固定虚拟机IP
进入root，否则报错：

Linux：readonly option is set (add ! to override)错误

该错误为当前用户没有权限对文件作修改，这种情况可以强制退出:q!,先取得root权限后进行修改（root的权限取得命令是:su root然后输入你的登录密码即可）

虚拟机VMnet子网IP后缀为0，NAT设置网关后缀为2，主机后缀为1
Vmware虚拟机网络配置(固定IP)
CentOS7设置静态IP而且还可以上网
1 设置虚拟机的网络连接方式
2 配置虚拟机的NAT模式具体地址参数
（1）编辑–虚拟网络编辑器–更改设置
（2）选择VMnet8–取消勾选使用本地DHCP–设置子网IP–网关IP设置（记住此处设置，后面要用到），如下图
说明：修改子网IP设置，实现自由设置固定IP，若你想设置固定IP为192.168.2.2-255，比如192.168.2.2，则子网IP为192.168.2.0；若你想设置固定IP为192.168.1.2-255，比如192.168.1.2，则子网IP为192.168.1.0；意思就是192.168这两段固定，最后一段必须是0，中间第三段任意0-255之间

（3）点击上图的“NAT 设置(S)…”按钮后，会弹出如下图所示的界面，我们把网关IP(G)修改为"192.168.174.2"，这个IP在后面的配置中会用到。记下这个IP后，点击“确定”按钮关闭当前界面，然后点击上图的“确定”按钮关闭父界面。
说明：前三段必须和前一步前三段一致，最后一段必须是2
3 修改虚拟机中的CentOS 7系统为固定IP的配置文件
（1）进入centos7命令行界面，修改如下内容：
cd /etc/sysconfig/network-scripts/
vi ifcfg-ens33
ifcfg-ens33这个文件不同的电脑可能文件名字不一样
[root@itcast06 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICE=“eth0”
BOOTPROTO=“static”
HWADDR=“00:0C:29:83:7F:54”
IPV6INIT=“yes”
NM_CONTROLLED=“yes”
ONBOOT=“yes”
TYPE=“Ethernet”
UUID=“aae85c0a-42db-4772-b940-0fc9c875afd2”
IPADDR=192.168.174.10
GATEWAY=192.168.174.2
NETMASK=255.255.255.0
DNS1=192.168.174.2
（2）重启网络服务

service network restart

4 检验配置是否成功
（1）查看修改后的固定IP为192.168.119.135，配置正确；
（2）测试虚拟机中的CentOS 7系统是否能连外网，有数据返回，说明可以连接外网；
若域名无法ping通，IP可以ping通，则说明DNS没有配置好
（3）测试本机是否能ping通虚拟机的固定IP，有数据返回，说明可以使用终端工具正常连接；

二 安装配置JDK

1 安装JDK之前首先要卸载openjdk !!!

2 查看openjdk版本, rpm -qa | grep jdk

3 su切换成root用户，才能删除，否则报错，除.noarch,其余全部删除
备注：（ 从root用户切换至普通用户
普通用户切换到root用户：
1）su->回车->输入root密码
2）su -root->回车->输入root密码
root用户切换到普通用户：su+“普通用户名”）

4 新建java文件夹

5 下载JDK并用xftp上传至centos

notice:修改java文件夹权限，要不然显示错误，传不上去
网上的方法一，选中文件夹，右键，修改文件权限，这种方法不行，及时修改了权限，没法保存，下次打开还是没有权限。方法二：需要进入命令行，进入root权限，cd /usr,然后chmod 777 java/，再按照上图，将jdk拖拽到java
6 解压文件并打印jdk安装路径

7 配置JDK,进入配置文件

最后面添加如下：
注意将JAVA_HOME里的jdk版本换成自己的

JAVA_HOME=/usr/java/jdk1.8.0_241
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

.输入 source /etc/profile文件即可生效

验证配置成功

三 克隆配置出三台虚拟机

以下所有工作最好都在root权限下操作
1 克隆
上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;

重复上述1-6步骤克隆出另外一台slave1.如图

2 参数确定(IP地址,主机名称)(三台虚拟机都要操作)
2.1 修改Slave1、Slave2 IP地址：
进入root用户–>cd /etc/sysconfig/network-scripts–>vi ifcfg-ens33–>修改IP 192.168.119.***–>service network restart–>验证ping www.baidu.com
同理，修改Slave2 IP

修改主机名称，三个都改

2.2 修改 vim　/etc/hosts文件

点击i进入编辑模式,加入三台机器的参数,:wq 保存退出（复制别人得图像，ip和名字参考自己得）
检查三台虚拟机是否ping通，以master为例,都能ping通.

四 给3台虚拟机配置密钥

1 配置密钥文件(三台虚拟机都要操作，必须是root用户)
生成密钥文件，红色箭头处直接回车
在另外两台子机上重复1.1和1.2

2 创建authorized_keys 文件(三台虚拟机都要操作,这里采用xftp6完成，由于xftp报错，时间紧，任务重，改天研究，都用命令行完成)
2.1 创建文件
解决 Xftp“无法显示远程文件夹”问题
hadoop集群搭建的无密登陆(密钥)
2.2 将三台虚拟机的id_rsa.pub内容全部保存至mater的authorized_keys文件内(我们先将master，slave1和slave2的公钥加入master的authorized_keys，然后将它再复制给slave1,slave2)

cat id_rsa.pub >> authorized_keys #将公钥内容复制到authorized_keys文件重
rm id_rsa.pub #删除公钥文件
scp id_rsa.pub master:/root/.ssh/#分别将slave1,slave2的公钥传送给master的.ssh文件

验证配置成功：