启动hadoop 2018-09-30

启动hadoop
1、 格式化HDFS分布式文件系统

hadoop namenode –format

启动Hadoop

start-all.sh

停止Hadoop

stop-all.sh

jps命令可以看到Hadoop的所有守护进程

image.png

用hdfs dfsadmin -report 命令来检查，能看到DataNode状态才是正常

image.png

可以通过Hadoop NameNode和JobTracker的Web接口来查看集群是否启动成功，其访问地址如下

http://192.168.96.128:8088/cluster

image.png

NameNode为http://192.168.96.128:50070/dfshealth.html#tab-overview

image.png

JobTracker为http://localhost:50030/

到此仅仅是在linux上布置成功

在eclipse上运行hdfs

很多博客说要下载插件hadoop-eclipse-plugin-2.6.0.jar，我下载后也放在eclipse安装文件夹的插件plugins下了，那头小象始终不见出来，发现不装插件也可以运行wordCount，与版本有关，但是不是必须对应的，

1、下载hadoop.dll和winutils.exe

https://github.com/steveloughran/winutils/blob/master/hadoop-2.8.3/bin/hadoop.dll

winutils.exe放在hadoop-2.8.4\bin

image.png

hadoop.dll放在C:\Windows\System32

image.png

2、 环境变量

访问hdfs时报权限错误
Permission denied: user=administrator, access=WRITE,

配置环境变量

image.png

image.png

配置服务器上的hadoop用户，因为执行login.login的时候调用了hadoop里面的HadoopLoginModule方法，会先读取HADOOP_USER_NAME系统环境变量，然后是java环境变量，如果再没有就从NTUserPrincipal里面取

image.png

配置好环境，重启Eclipse

3、 Maven中配置
1、 Maven中配置

[图片上传失败...(image-84ad15-1538309383486)]

2、 wordCount Demo

[图片上传失败...(image-655714-1538309383486)]

[图片上传失败...(image-22d86f-1538309383486)]

[图片上传失败...(image-d6c85d-1538309383486)]

3、 配置文件

主机名要替换成IP

[图片上传失败...(image-b8a322-1538309383486)]

4、 运行结果

image.png

Hdfs dfs –mkdir /hi