CentOS 7搭建Hadoop伪分布模式

配置文件:
链接:https://pan.baidu.com/s/1rYvnxbyqXOG1DjI63dxbAw
提取码:6e1l
复制这段内容后打开百度网盘手机App,操作更方便哦

1.1修改IP地址

在虚拟机的命令行中输入下面的命令,修改网卡的配置文件

vi /etc/sysconfig/network-scripts/ifcfg-ens33

配置以下信息

TYPE=Ethernet             #类型为以太网
BOOTPROTO=static          #静态ip地址,即手动分配ip地址
NAME=ens33                #网卡名称
DEVICE=ens33              #网卡的设备名称为eth0
ONBOOT=yes                #开机启动网络
IPADDR=192.168.59.138    #指定具体的ip地址,要与上面配置为的NAT网络在同一个网段
NETMASK=255.255.255.0     #配置子网掩码
GATEWAY=192.168.59.2     #配置网关,VMware NAT网络的网关是该网段ip地址为2
DNS1=114.114.114.114      #配置国内的一个域名解析器
DNS2=8.8.8.8              #国外google的一个域名解析器

1.2 修改主机名

hostnamectl set-hostname bigdata(主机名)

1.3 修改IP地址和主机名的映射关系

用vi编辑器修改/etc/hosts文件

vi /etc/hosts

添加一行新的映射,然后保存退出

192.168.100.101 bigdata(主机名字)

1.4 关闭防火墙

systemctl stop firewalld      #关闭防火墙服务网
systemctl disable firewalld   #设置防火墙服务开机不启动

2.安装JDK

.2.1 利用远程连接工具将安装包上传到CentOS上
2.2 解压JDK安装包,进入/usr/local目录下

tar -zxvf (安装包)
ln -s  安装包解压后的名字  简写
例如
ln -s jdk-1.8.0_161 jdk

2.3修改环境变量

vi /etc/profile

在文件的最后添加JAVA_HOME并将JAVA_HOME下的bin目录添加到PATH中

export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
环境变量写法:
环境变量最下面的PATH是以‘:’分割,
指示安装包目录下的bin目录,
JAVA_HOME的bin目录名为sbin所以为:$JAVA_HOME/bin:,
结尾以:与$PATH分割。记得‘配置PATH前后每个路径前后以:分割,开头有$符号。

然后重新加载环境变量,执行如下命令

source /etc/profile

2.4:配置免密登录

生成秘钥 ssh-keygen -t rsa 4个回车

拷贝秘钥 ssh-copy-id -i bigdata(主机名字) 进行安装

注意:迷你版安装没有此命令,执行 yum -y install openssh-clients* 进行安装

2.5 显示java版本

java -version

如果显示openjdk参考:(http://www.blogjava.net/toby/archive/2011/06/17/352498.html)

主要看删除命令,把含有openjdk的配置全部删除。

显示此图,即为安装成功CentOS 7搭建Hadoop伪分布模式_第1张图片

3. 安装Hadoop
3.1上传hadoop安装包到/usr/local目录下
**
**
3.2解压JDK安装包,进入/usr/local目录下

tar -zxvf (hadoop安装包)

3.3 建立hadoop软连接

ln -s (解压后的安装包) (别名)

3.4 修改环境变量
进入文件,在最后,修改路径,hadoop自指定bin目录时会有一个bin目录和一个sbin目录

3.5 修改Hadoop的配置文件(百度云盘里有的几个hadoop的配置文件)使用Natepad++软件
CentOS 7搭建Hadoop伪分布模式_第2张图片

CentOS 7搭建Hadoop伪分布模式_第3张图片
CentOS 7搭建Hadoop伪分布模式_第4张图片
CentOS 7搭建Hadoop伪分布模式_第5张图片
CentOS 7搭建Hadoop伪分布模式_第6张图片
CentOS 7搭建Hadoop伪分布模式_第7张图片
CentOS 7搭建Hadoop伪分布模式_第8张图片
上传
CentOS 7搭建Hadoop伪分布模式_第9张图片

文件目录:

 /usr/local/hadoop-2.10.0/etc/hadoop/ 在这个目录下上传你修改的七个配置文件。

之后
3.6格式化namenode

hdfs namenode -format

CentOS 7搭建Hadoop伪分布模式_第10张图片

CentOS 7搭建Hadoop伪分布模式_第11张图片
3.7访问Web页面CentOS 7搭建Hadoop伪分布模式_第12张图片
(虚拟机ID):50070 访问namenode

hadoop伪分布搭建成功

你可能感兴趣的:(hadoop,linux,centos)