hadoop3.0.3安装

本文是概括版的hadoop安装心得,详细步骤大部分历史帖子都说明了。

安装环境:Windows10+centos7+vm14+hadoop3.0.3+java1.8

  1. 环境配置部分

虚拟机里的网络NAT,其实你装好了之后,Windows下使用ipconfig/all 会看到一个VMnet8网络,这里是设置好的网关。所以,设置集群静态IP时那个192.168.X.X是不能乱写的。然后,ping不通外网尽量重启虚拟机,甚至是台式机。

Vim 里面的命令wq是在esc键后取消insert状态先加冒号:才能用的(按i可以进入编辑状态)。不然你老是返回不了上一行。

配置环境里面##都是注释符号啊哥,看到这些你就是没写,例如Hadoop-env.sh里面

Centos里面装个Java和Windows一样的只是用命令行操作而已。在profile文件中,JAVA_HOME用绝对路径比较好。

长时间停在那不动,命令都会失效,vim等都说找不到。重新再来一遍

虚拟机不要直接关VM,会导致下一次开机界面黑屏,百度有解决方法,好像比较复杂。

#BOOTPROTO=dhcp  这句话,我是将一个虚拟机配好了再克隆的slave,但是克隆结果的这个属性是none的。无法上网。

SSH部分

rpm -qa | grep ssh%%%用来查看装了ssh没有(收藏夹里有个很详细的操作说明,)

今天下午发现了新的问题,那就是网关会跳,从192.168.74.2自己变成了192.168.74.1.并且手动的Ipv4也自己变成了自动DHCP。

只有master才需要格式化format NameNode。

webUI的实现需要把NameNode的结点及其tmp结点的数据文件放在不同于hadoop安装目录的文件夹里。不然会出现50070界面访问不了。

Hadoop3.0里面slaves变成了workers文件。这里不写的话workers会是默认值为localhost的。(这里很重要)

你可能感兴趣的:(大数据学习)