hadoop伪分布式安装

一、配置Java环境，推荐使用jdk1.7以上。

1、下载安装jdk包并解压
tar -zxvf jdk-8u161-linux-x64.tar.gz
2、移动jdk并重命名
sudo mv jdk-8u161-linux-x64.tar.gz /usr/app/jdk
3、配置系统变量，编辑.bashrc文件

export JAVA_HOME=/usr/app/jdk

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

4、使系统变量生效
source .bashrc
5、检查Java环境是够配置成功

java -version
javac

二、配置免密码登录

1、测试是否能否无密码远程连接到本地
ssh localhost
2、安装ssh服务
sudo apt install openssh-server
3、配置免密码登录

ssh-keygen -t rsa -P '' 
cat ~/.ssh/id_rsa.pub >> authorized_keys

三、安装Hadoop.

这里采用cloudera公司发行版hadoop-2.6.0-cdh5.6.0.tar.gz版本

1、解压并移动\重命名到指定位置

tar -zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
sudo mv hadoop-2.6.0 /usr/app/hadoop

2、配置Hadoop中相应的文件

需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：
1>hadoop-env.sh

...
# The java implementation to use.
export JAVA_HOME=/usr/app/jdk

# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
...

2>core-site.xml

 
    fs.default.name
    hdfs://localhost:9000
    HDFS的URI，文件系统://namenode标识:端口号



    hadoop.tmp.dir
    /usr/hadoop/tmp
    namenode上本地的hadoop临时文件夹

3>hdfs-site.xml

    dfs.name.dir
    /usr/hadoop/hdfs/name
    namenode上存储hdfs名字空间元数据  



    dfs.data.dir
    /usr/hadoop/hdfs/data
    datanode上数据块的物理存储位置



    dfs.replication
    1
    副本个数，配置默认是3,应小于datanode机器数量

4>配置mapred-site.xml文件

    
        
            mapreduce.framework.name
            yarn
        
    

5>配置yarn-site.xml

    
        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
            
    

注明：在伪分布式下4,5可不用配置yarn启动

3、配置Hadoop系统环境变量

    export HADOOP_HOME=/usr/app/hadoop
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

4、格式化文件系统

bin/hdfs namenode -format

5、启动守护进程

sbin/start-dfs.sh

6、启动yarn

sbin/start-yarn.sh 

启动yarn之前，需要先执行过 sbin/start-dfs.sh

至此，hadoop伪分布式环境搭建完成，生产环境使用cloudera manager进行分布式安装。
接下来，将依次进行hive,hbase,sqoop,spark的安装。