hadoop安装

1、安装jdk环境 

安装包如下：

链接：https://pan.baidu.com/s/1Y__XyvHJuKlsaBPmBot2qQ?pwd=65we 
提取码：65we 

把安装包放入/data/soft ,然后解压 tar -zxvf jdk-8u202-linux-x64.tar

 配置环境变量JAVA_HOME

  vi /etc/profile 后在文件中添加

export JAVA_HOME=/data/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH

 最后验证即可：

 二、安装hadoop（伪集群安装）

安装包：链接：https://pan.baidu.com/s/1IjmhR3v48EMyw6LDE84Nsg?pwd=x9o4 
提取码：x9o4 
--来自百度网盘超级会员V1的分享

1.修改hadoop-env.sh 文件（ /data/soft/hadoop-3.2.0/etc/hadoop）

1. 添加JAVA_HOME :指定java安装位置
2. 添加 HADOOP_LOG_DIR:hadoop的日志存放目录

2.修改core-site.xml文件 （ /data/soft/hadoop-3.2.0/etc/hadoop）

 3、修改hdfs-site.xml文件，修改hdfs中文件副本的数量（ /data/soft/hadoop-3.2.0/etc/hadoop）

4、 修改mapred-site.xml，设置mapreduce使用的资源调度框架（ /data/soft/hadoop-3.2.0/etc/hadoop）

 5、修改yarn-site.xml （ /data/soft/hadoop-3.2.0/etc/hadoop），设置yarn上支持运行服务和白名单

 6、修改workers，设置群集中从节点的主机名称信息

 7、格式化HDFS

• cd /data/soft/hadoop-3.2.0
• bin/hdfs namenode --format

注意格式化只能执行一次，要是想重复执行，需要把/data/hadoop_repo目录中的内容全部删除，然后再格式化

8、在启动脚本start-dfs.sh和stop-dfs.sh脚本上添加用户信息

在start-yarn.sh和stop-yarn.sh添加

 9、启动sbin/start-all.sh

 通过jps即可确定服务都已经启动

10、web管理页面

HDFS 界面：http://192.168.221.131:9870/

 

YARN界面 ：http://192.168.221.131:8088/