centos7安装Hadoop单机版

一、准备工作

1.安装虚拟机并配置网络，建议配置成固定ip，不然后期ip地址容易跳来跳去，远程连接很头疼（虽然单机版没啥可远程的） VMtool也可以装一下 方便后期直接从本地拖文件进去

2.安装Java环境（centos7上自带的Java环境很乱建议直接卸掉）

Java不会装的可以百度 centos7如何安装Java

3.配置ssh无密码登陆（这里只配置一台机器）

(1).输入ssh-keygen -t rsa 之后一直默认回车即可

(2).输入        cd ~/.ssh
                    cat id_rsa.pub>>authorized_keys

二、配置环境变量

１.java环境变量配置

>vim /etc/profile

JAVA_HOME=/opt/java/jdk1.8.0_181（自己的Java目录）
JRE_HOME=/opt/java/jdk1.8.0_181/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=.:$JAVA_HOME/bin:$PATH

>source /etc/profile  使配置生效

２.hadoop环境变量配置

>vim /etc/profile

export HADOOP_HOME=/hadoop/hadoop-2.8.4（自己的Hadoop目录）

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

>source /etc/profile  使配置生效

３.hadoop配置文件修改

在修改配置文件之前，创建hadoop临时目录

[root@master ~]# mkdir /root/hadoop（这个位置随自己的喜好更改）
[root@master ~]# mkdir /root/hadoop/tmp
[root@master ~]# mkdir /root/hadoop/var
[root@master ~]# mkdir /root/hadoop/dfs
[root@master ~]# mkdir /root/hadoop/dfs/name
[root@master ~]# mkdir /root/hadoop/dfs/data

三、配置Hadoop参数

>cd .......（自己的hadoop目录下）hadoop-2.8.4/etc/hadoop  切换到hadoop配置文件目录

１）修改core-site.xml文件

1 2 3 4 5 6 7 8 9 10 11

<configuration>         <property>                 <name>hadoop.tmp.dirname>                 <value>/root/hadoop/tmpvalue>                 <description>hadoop tmp dirdescription>         property>         <property>                 <name>fs.default.namename>                 <value>hdfs://master:9000value>         property> configuration>

２）修改 hadoop-env.sh

>vi hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}中${JAVA_HOME}修改成java具体安装目录

export JAVA_HOME=/opt/java/jdk1.8.0_181

３）修改hdfs-site.xml

>vi hdfs-site.xml

   dfs.name.dir
   /root/hadoop/dfs/name
   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.


   dfs.data.dir
   /root/hadoop/dfs/data
   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.


   dfs.replication
   2


      dfs.permissions
      true
      need not permissions

dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true

４）修改mapred-site.xml

1 2 3 4 5 6 7 8 9 10 11 12

<property>     <name>mapred.job.trackername>     <value>master:9001value> property> <property>       <name>mapred.local.dirname>        <value>/root/hadoop/varvalue> property> <property>        <name>mapreduce.framework.namename>        <value>yarnvalue> property>

　　

配置文件配置完成。

四、启动Hadoop

1.首次启动，需要初始化

>cd /hadoop/hadoop-2.8.4/bin   切换到安装bin目录

>./hadoop namenode -format

初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。

２.启动hadoop：主要是启动HDFS和YARN

切换到sbin目录

>cd /hadoop/hadoop-2.8.4/sbin/

>start-dfs.sh    　　启动HDFS

启动YARN

>start-yarn.sh

通过　jps命令查看hadoop服务是否启动成功：看到下图进程都有说明成功 如果少了则有问题

然后在浏览器中访问虚拟机的ip地址的8088和50700端口 能成功就是部署完成了