hadoop 伪分布式安装流程

1.首先创建一台虚拟机 内存设置最好要大一些 要不玩不起来 我的设置为100g 然后内存线程什么的根据自己电脑配置来

2.然后配置文件 安装jdk什么的 前边有已经写好的shell脚本 可以直接用 或者自己配置也可以 

3.准备工作完成后下载hadoop安装包

 4.我的是已经下载好了 先放在/opt 目录下 

5.然后解压 文件

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择 我的是 解压到已经创建好的

/opt/soft/hadoop260 文件夹下

6.解压完成后配置环境 

vi /etc/profile

#hadoop environment
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后把 配置文件粘贴进去 

然后 source /etc/proflie 使文件生效

7.打开 hadoop 解压好的 文件包 进入etc目录下的hadoop文件 

cd etc/hadoop/

编辑 hadoop-env.sh 目录 添加你的jdk文件目录 我的jdk文件 解压好放在soft目录下 

 8. 配置 vi core-site.xml  添加以下配置文件  写在configuration 中 要不然不会生效

        
                fs.defaultFS
                hdfs://192.168.80.181:9000
        
         
                hadoop.tmp.dir
                /opt/soft/hadoop260/tmp
        
         
                hadoop.proxyuser.root.groups
                *
        
        
                hadoop.proxyuser.root.hosts
                *
        
         
                hadoop.proxyuser.root.users
                *
        

9. vi hdfs-site.xml 

        
                dfs.replication
                1
        

10.cp mapred-site.xml.template mapred-site.xml 复制文件然后修改 

11. vi mapred-site.xml

        
                mapreduce.framework.name
                yarn
        

12.vi yarn-site.xml

        
                yarn.resourcemanager.localhost
                localhost
        
         
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

13.hadoop namenode -format 格式化文件 

14.start-all.sh 启动文件  期间会不断让你输入密码 这个密码是 虚拟机密码  因为没有配置 ssh 这个我后边会有配置 

启动文件 后 一直到结束 

15 输入 jps 查看任务

 看到启动这5个任务 就算你配置成功了 

期间会报错的话就是文件 配置出错 可以自己查看log 目录下日志文件 看看报错在哪 

16 stop-all.sh 关闭文件 查看 jps 任务 全部关闭才行   然后配置ssh 

 首先创建公匙

17.

 你可以自己看看是什么样

18.

 然后输入 ssh-copy-id root@自己主机名 再次输入密码  ssh hc 查看 确认出现last login后配置成功

exit退出

全部配置完毕  快乐玩耍吧 

source /etc/profile