Ubuntu Kylin 安装和部署Hadoop（伪分布式）

2019独角兽企业重金招聘Python工程师标准>>>

####一、配置用户信息 1.添加用户到sudo组（用户名以实际情况为准，这里使用Kevin举例）：

sudo adduser Kevin sudo

2.添加到hadoop，并将用户添加到hadoop：

su
addgroup hadoop
usermod -a -G hadoop Kevin

####二、配置ssh免密码登录 1.安装ssh server：

sudo apt-get install openssh-server

2.ssh免密配置：

cd ~/.ssh/          #若没有该目录，请先执行一次ssh localhost               
ssh-keygen -t rsa              
cat id_rsa.pub >> authorized_keys

3.检测是否能直接登录：

ssh localhost

####三、配置JDK 参考文章《Ubuntu Kylin 安装和配置JDK》。

####四、安装和配置Hadoop环境变量 1.下载Hadoop2.7.3：

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/

2.解压Hadoop压缩文件：

sudo tar -zxvf  /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local

3.重命名Hadoop文件夹：

cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop

4.修改文件权限：

sudo chown -R Kevin ./hadoop

5.配置Hadoop环境变量：

执行以下命令：

sudo nano /etc/profile

打开界面后，在之前配置的JAVA_HOME后面输入：

export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

使配置立即生效：

source /etc/profile

6.检测Hadoop安装是否成功：

hdfs

####五、配置Hadoop伪分布式 1.切换至配置文件目录：

cd /usr/local/hadoop/etc/hadoop

2.配置 core-site.xml：

执行命令：

nano core-site.xml

将文件中的替换为：


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000

3.配置 hdfs-site.xml：

执行命令：

nano hdfs-site.xml

将文件中的替换为：


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data

4.配置yarn-site.xml：

执行命令：

nano yarn-site.xml

将文件中的替换为：


  
      yarn.nodemanager.aux-services
      mapreduce_shuffle
  
  
      yarn.nodemanager.aux-services.mapreduce.shuffle.class
      org.apache.hadoop.mapred.ShuffleHandler

5.配置mapred-site.xml：

从模板文件复制一个xml，执行命令：

mv mapred-site.xml.template mapred-site.xml

再执行命令：

nano mapred-site.xml

将文件中的替换为：


  
      mapreduce.framework.name
      yarn

6.配置hadoop-env.sh：

执行命令：

nano hadoop-env.sh

配置文件中的JAVA_HOME（JDK路径以实际情况为准）：

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

7.配置完成后，执行格式化：

hdfs namenode -format

出现Exitting with status 0 表示成功，若为 Exitting with status 1 则是出错。

8.启动hadoop所有的进程：

start-all.sh

9.查看各个进程是否正常启动：

执行命令：

jps

执行结果：

5385 Jps
2422 NameNode
2538 DataNode
2742 SecondaryNameNode
3008 NodeManager
2892 ResourceManager

10.在网页上查看Hadoop信息：

http://localhost:50070

####六、参考文章 1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1（伪分布式）(http://www.linuxidc.com/Linux/2015-09/122873.htm)

Ubuntu Kylin 安装和部署Hadoop（伪分布式）

你可能感兴趣的:(Ubuntu Kylin 安装和部署Hadoop（伪分布式）)