新人初识Hadoop,从0配置+完成官方demo

新人初识Hadoop,从0搭建+完成官方单机demo,暂时只完成到这里,待我继续学习ing,继续更新。。。

  • 1 环境准备
  • 2 Jdk环境安装
  • 3 Hadoop环境安装
  • 4 Hadoop启动
  • 5 测试单机hadoop

1 环境准备

(1)准备一个VM安装3个虚拟机or准备3个云服务器(集群准备)(一个内存2GB就够,如果是云服务器请保证不要启动别的进程,我学生机运行个tomcat,nginx再跑hadoop就跑不动)
(2)关闭防火墙
(3)配置网络映射例如(
192.168.xxx.1 hadoop001
192.168.xxx.2 hadoop002
192.168.xxx.3 hadoop003 )
(4)配置三台虚拟机之间的ssh免密登录。
(5)下载linux版本的jdk和hadoop(链接:https://pan.baidu.com/s/1CdBWty8QhUdQ7K6J0KUQuA
提取码:0ypl 复制这段内容后打开百度网盘手机App,操作更方便哦)(如果侵权请联系本人)

2 Jdk环境安装

(1)上传jdk安装包
(2)解压安装包
(3)配置环境变量 /etc/profile (详情步骤网上搜一下很多)

3 Hadoop环境安装

(1)上传HADOOP安装包
(2)解压安装包
(3)修改配置文件 hadoop-3.1.1/etc/hadoop/

vi hadoop-env.sh

export JAVA_HOME= /jdk完整路径/

vi core-site.xml (虚拟机自己ip :命令行ifconfig)


fs.defaultFS
hdfs://虚拟机自己IP(ifconfig):9000


hadoop.tmp.dir
/root/hadoop/hadoop-3.1.1/tmp

vi hdfs-site.xml


dfs.namenode.name.dir
/root/hadoop/hadoop-3.1.1/name


dfs.datanode.data.dir
/root/hadoop/hadoop-3.1.1/data


dfs.replication
3


   dfs.secondary.http.address
   0.0.0.0:50090


   dfs.webhdfs.enabled
   true


  dfs.http.address
  0.0.0.0:50070

vi mapred-site.xml


mapreduce.framework.name
yarn


        mapreduce.admin.user.env
        HADOOP_MAPRED_HOME=/root/hadoop/hadoop-3.1.1


        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=/root/hadoop/hadoop-3.1.1

vi yarm-site.xml


yarn.resourcemanager.hostname
虚拟机自己IP(ifconfig)


yarn.nodemanager.aux-services
mapreduce_shuffle

(4)修改启动和关闭文件:
#将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/env bash

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

#还有,start-yarn.sh,stop-yarn.sh顶部也需添加以下:
#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

4 Hadoop启动

(1)初始化HDFS

hadoop namenode -format

(2) 启动hdfs(进入到hadoop的sbin目录下)

./start-dfs.sh

(3) 启动yarn(进入到hadoop的sbin目录下)

./start-yarn.sh

5 测试单机hadoop

详细步骤查看:https://blog.csdn.net/qq_36367789/article/details/81605652 (转载自Fant_J大佬文章,大佬博客https://me.csdn.net/qq_36367789)

==================================================
注意事项:
1名称
2永久关闭防火墙
3配置ip和用户名映射
4网络NAT动态
5配置文件(4个)并设置自己对应的虚拟机ip
6savles文件
7配置ssh免密登录
8修改start-XXX.sh ,stop-XXX.sh 几个文件

==================================================
本次为本人CSDN第一篇博客,搞Java后端的应届毕业生初学hadoop,希望有大数据方面的大佬可以给初学者一些意见。
个人其他博客:poohbear.club
技术交QQ流群:226514402

你可能感兴趣的:(技术,hadoop)