Hadoop伪分布式搭建及wordcount实验详细步骤

目录

一、准备

二、安装jdk

三、安装Hadoop

四、文件配置

五 、wordcount

---

文件下载hadoop-2.7.3.tar，vm15p，ubuntu-16.04.6-server-amd64，jdk-8u171-linux-x64.tar，Xftp-6.0.0169p，Xshell-6.0.0175p等为安装软件，请提前安装，下载地址链接：下载地址  提取码：s33d。
 

一、准备

1.1创建Hadoop用户
    sudo useradd -m hadoop -s /bin/bash
    sudo passwd hadoop
    sudo adduser hadoop sudo
    su - hadoop
    sudo apt-get update
1.2安装ssh，设置ssh无密码登陆
    sudo apt-get install openssh-server
    ssh localhost
    exit
    cd ~/.ssh/
    ssh-keygen -t rsa
    连续回车三次
    cat ./id_rsa.pub >> ./authorized_keys  #授权
    ssh localhost     #登陆localhost

二、安装jdk

    sudo tar zxvf jdk-7.....   #解压
          mv  ***   **                   #重命名
    sudo vi ~/.bashrc       #修改配置文件，吧Java路径键入
#Java
export JAVA_HOME=/home/qwe/java
export PATH=$JAVA_HOME/bin:$PATH
       上面是我的，同学们很据自己的做修改，
    source ~/.bashrc      #生效
    Java -version           #查看是否安装成功

三、安装Hadoop

    sudo tar zxvf Hadoop-7.....   #解压
          mv  ***   **                   #重命名
    sudo vi ~/.bashrc       #修改配置文件，吧Hadoop路径键入
#Hadoop
export HADOOP_HOME=/home/qwe/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
       上面是我的，同学们很据自己的路径做修改，
    source ~/.bashrc      #生效
    hadoop version           #查看是否安装成功

四、文件配置

    1，修改hadoop-env.sh
    cd /home/qwe/hadoop/etc/hadoop
    sudo vi hadoop-env.sh
    将java_home追加到hadoop-env.sh
    export JAVA_HOME=/home/qwe/java
    
    2，修改core-site.xml
    cd /home/qwe/hadoop/etc/hadoop
    sudo vi core-site.xml
    将以下内容追加进去

  
        hadoop.tmp.dir
        /home/qwe/hadoop/tmp
  
  
        fs.defaultFS
        hdfs://localhost:9000
  

    hadoop.tmp.dir，临时文件的存储位置，创建文件夹
    
    mkdir -p /home/qwe/hadoop/tmp

    3、修改hdfs-site.xml配置文件
    cd /home/qwe/hadoop/etc/hadoop
    ls
    sudo vi hdfs-site.xml
    将以下内容追加进去

 
     dfs.namenode.name.dir
     /home/qwe/hadoop/hdfs/name
 
 
     dfs.datanode.data.dir
     /home/qwe/hadoop/hdfs/data
 
 
     dfs.replication
     1
 
 
     dfs.permissions.enabled
     false
 

    
    mkdir -p /data/tmp/hadoop/hdfs

    4，因为家目录下有权限限制，因此追加权限
    sudo chmod -R a+w /home/qwe    #在哪个目录无所谓。
    5，打开slaves配置文件，将集群中slave角色的节点的主机名，添加进slave是文件中，目前只有一台节点，所以slaves文件内容为:
    localhost
    6，格式化HDFS文件系统。
    hadoop  namenode -format
    7，切换到hadoop/sbin目录下，启动hadoop的hdfs相关进程
    ./start-dfs.sh

成功标志    jps（6个）
jps
datanode
secondarynamenode
namenode

五 、wordcount

    1，新建test.txt，并利用xshell将其传输到home/qwe/hadoop/hdfs目录中
    2，在hadoop/hdfs目录下，新建input文件夹
                      hdfs dfs -mkdir -p /data/input
    3，将test.txt传输到hdfs中的input文件夹
         hdfs dfs -put test.txt /data/input
    4，查看是否传输成功
         hdfs dfs -ls /data/input
    5，进入MapReduce目录,ls即可看到
         home/qwe/hadoop/share/hadoop
         cd /mapreduce
        ls
    6，ls命令查看Mapreduce里面的文件，运行jar包
    hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/ou
    7，查看output文件夹下的文件，有两个，最后的结果在part-r-00000中，用cat命令查看结果。
    hdfs dfs -ls /data/output
    hdfs dfs -cat /data/output/part-r-00000