云服务器搭建伪分布式hadoop实现远程连接

云服务器搭建伪分布式hadoop实现远程连接

环境配置概述

本文章基于腾讯云服务器环境进行安装部署hadoop3.1.3伪分布式环境,
前提是默认服务器已经配置好了JDK和SSH免密

安装配置

1.下载压缩包

可以去官网下载,也可领取我的百度云链接文件
链接:https://pan.baidu.com/s/1424B3OYg35A47b-R3CIZ0Q
提取码:1234

2.解压

进入压缩包路径进行解压:

tar -zxvf hadoop-3.1.3.tar.gz

文件重命名:

mv hadoop-3.1.3 hadoop

3.主机映射

1.服务器上修改/etc/hosts内容:
vi /etc/hosts

这里很关键,要配置远程访问云服务需要对服务器内外网ip都要映射
格式就是ip 加上空格,加上主机名,你可以自定义主机名,也可以像我一样使用默认的主机名,查看主机的主机名使用命令 hostname,并且我把其他一样的127.0.0.1后面有相同主机名都注释掉了
云服务器搭建伪分布式hadoop实现远程连接_第1张图片#### 2.本地添加映射
我使用的是Windows10系统,本地远程连接云服务器前,在本地添加上云服务外网的IP映射

windows系统找到hosts文件,一般在这个路径:
C:\Windows\System32\drivers\etc
将hosts文件用记事本打开,添加上你的云服务器外网ip和名称即可,记得保存再退出
主机映射

4.修改配置文件

1.环境配置

打开配置文件:

vi ~/.bashrc

如果你之前配置了PATH,在这里就把hadoop下sbin的路径添加进去即可,注意不同的软件配置用冒号分隔开
云服务器搭建伪分布式hadoop实现远程连接_第2张图片
使文件生效:

source ~/.bashrc
2.core-site.xml修改

core-site.xml位于hadoop路径下./etc/hadoop 中

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/root/usr/local/usr/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ip:9000</value> 
    </property>
</configuration>

注意这里的ip填的是服务器内网的ip,记得修改为你的服务器ip,别直接复制就没了

3.hdfs-site.xml修改
  • 注意这里的名称节点和数据节点的位置要改成你自己的文件位置
    ,其他的复制就好不用改
<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/root/usr/local/usr/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/root/usr/local/usr/hadoop/tmp/dfs/data</value>
    </property>
<property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
</property>
<property>
        <name>dfs.secondary.http.address</name>
        <value>0.0.0.0:50090</value>
    </property>
<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
<property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value> </property>
</configuration>
4.workers 修改

workers文件里面就填服务器外网的ip即可,把原来存在的localhost删掉
云服务器搭建伪分布式hadoop实现远程连接_第3张图片

5.启动

进入hadoop路径后
启动命令:./sbin/start-dfs.sh
停止命令:./sbin/stop-dfs.sh
查看进程,出现NameNode,DataNode,SecondaryNameNode表示启动成功
云服务器搭建伪分布式hadoop实现远程连接_第4张图片

6.远程访问服务器端口

直接在本机浏览器输入服务器外网ip:50070,出现下面的显示就OK了,
访问此端口的时候记得把防火墙的这个端口打开~~~
云服务器搭建伪分布式hadoop实现远程连接_第5张图片

你可能感兴趣的:(环境配置,hadoop)