阿里云主机搭建Hadoop伪分布,支持windows上上传文件

问题产生

1.我是使用阿里云的公网ip搭建,NameNode搭建不起来
2.查看logs中的namenode日志,日志上让我去confluence中查看
3.个人感觉是下图红色标注的问题
阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第1张图片
4.总结就是说,云服务器Hadoop伪分布式就别用公网ip了。

使用内网ip搭建Hadoop伪分布

我省略ssh,hadoop包的下载解压。

1.修改hosts 文件

将主机名映射到 内网ip
在这里插入图片描述

2.修改Hadoop的core-site.xml

阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第2张图片

3.修改Hadoop的hdfs-site.xml

阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第3张图片

4.修改slaves

在这里插入图片描述

5.格式化namenode并启动hdfs即可

hdfs namenode -format
start-dfs.sh

6.来到你的windows,(阿里控制台中把50070,50075,50010开放)

阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第4张图片
1.发现Datanodes中的node和http中的地址都有主机名 gaoxi
2.此时我们尝试上传。走
阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第5张图片
3.结果就是上传不上去,咱们打开network
阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第6张图片
访问的是 gaoxi 这个地址
所以

7.在自己的windows下配置hosts,云主机公网ip:gaoxi(主机名)

阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第7张图片

1.再走一个
阿里云主机搭建Hadoop伪分布,支持windows上上传文件_第8张图片

你可能感兴趣的:(大数据)