hadoop

hadoop

  • 1.hadoop部署
  • 2.伪分布式部署
  • 3.分布式 部署
  • 4.YARN管理器配置
  • 5.hadoop 高可用
    • 部署 zookeeper集群 下载安装包 解压
    • hdfs高可用
    • yarn高可用
    • hbase分布部署

1.hadoop部署

创立一个 hadoop用户 切换hadoop_第1张图片
**下载 解压 安装包 和 jdk **
在这里插入图片描述
在这里插入图片描述
安装后 修改 配置文件hadoop_第2张图片
hadoop_第3张图片
创建目录 复制一些文件hadoop_第4张图片
直接调用 java压缩包在这里插入图片描述

2.伪分布式部署

修改配置文件hadoop_第5张图片
hadoop_第6张图片给localhost设置免密认证hadoop_第7张图片
格式化hadoop_第8张图片
调用 启动脚本

更改下环境变量hadoop_第9张图片
hadoop_第10张图片
可以使用网页 9870端口打开 hadoop_第11张图片
使用命令更改分布式发布目录在这里插入图片描述
上传input hadoop_第12张图片
网页可以看到hadoop_第13张图片
上传outputhadoop_第14张图片hadoop_第15张图片可以通过命令查看 下载 删除
hadoop_第16张图片

3.分布式 部署

准备 两台 虚拟机 做 数据节点 一台 名称节点 全部安装 nfs
hadoop_第17张图片
**修改配置文件 将hadoop目录共享出去 **
hadoop_第18张图片在这里插入图片描述在所有节点上 挂接
在这里插入图片描述在这里插入图片描述
名称节点 上修改配置 如果有host解析 可以填写域名 也可以填写ip不需要解析
hadoop_第19张图片
hadoop_第20张图片hadoop_第21张图片
重新格式化hadoop_第22张图片启动在这里插入图片描述
网页成功显示hadoop_第23张图片
上传 可正常显示hadoop_第24张图片
hadoop_第25张图片hadoop_第26张图片hadoop_第27张图片

4.YARN管理器配置

修改配置文件hadoop_第28张图片
hadoop_第29张图片使用脚本 开启 成功hadoop_第30张图片网页 可以从8088端口访问hadoop_第31张图片

5.hadoop 高可用

准备 五台虚拟机 两台 名称节点 三台 数据节点 通过nfs 传输hadoop_第32张图片

部署 zookeeper集群 下载安装包 解压

在这里插入图片描述用一台数据节点 修改配置文件>hadoop_第33张图片
hadoop_第34张图片
分别创建目录 以及 . 后的数字在这里插入图片描述
在这里插入图片描述
hadoop_第35张图片
zookeeper集群 部署完毕 接下来 接入到 hadoop

hdfs高可用

hadoop配置
修改配置文件在这里插入图片描述
hadoop_第36张图片hadoop_第37张图片hadoop_第38张图片hadoop_第39张图片hadoop_第40张图片
在三个 数据节点 上依次启动 journalnode在这里插入图片描述
格式化 名称节点
bin/hdfs namenode -format

hadoop_第41张图片
格式化 zookeeper在这里插入图片描述启动hdfs集群
hadoop_第42张图片在这里插入图片描述
网页端可以访问hadoop_第43张图片
另一台为standbyhadoop_第44张图片
上传inputhadoop_第45张图片
网页成功看到hadoop_第46张图片
故障切换在这里插入图片描述存储端进入zook hadoop_第47张图片
另一台主机 迅速接管hadoop_第48张图片
hadoop_第49张图片重新启动 进入 standby在这里插入图片描述hadoop_第50张图片

yarn高可用

编辑 yarn文件hadoop_第51张图片
hadoop_第52张图片hadoop_第53张图片
启用 yarn成功hadoop_第54张图片
**网页可以访问 测试高可用 **在这里插入图片描述关闭后 立即切换hadoop_第55张图片
hadoop_第56张图片重新启动 进入 standby模式在这里插入图片描述hadoop_第57张图片

hbase分布部署

安装解压在这里插入图片描述
修改配置文件在这里插入图片描述
在这里插入图片描述hadoop_第58张图片修改vim hbase-site.xmlhadoop_第59张图片
hadoop_第60张图片vim regionservers hadoop_第61张图片启动hbase 成功
hadoop_第62张图片另一个主机需要脚本启动hadoop_第63张图片
可以从默认端口 16010网页访问
hadoop_第64张图片
添加表格做实验hadoop_第65张图片
在这里插入图片描述
出现问题后 立马切换hadoop_第66张图片
命令重启
在这里插入图片描述数据切换完成 在这里插入图片描述

你可能感兴趣的:(笔记,hadoop,大数据,java)