hadoop

1.hadoop部署

创立一个 hadoop用户 切换
**下载 解压 安装包 和 jdk **


安装后 修改 配置文件

创建目录 复制一些文件
直接调用 java压缩包

2.伪分布式部署

修改配置文件
给localhost设置免密认证
格式化
调用 启动脚本

更改下环境变量

可以使用网页 9870端口打开
使用命令更改分布式发布目录
上传input
网页可以看到
上传output可以通过命令查看 下载 删除

3.分布式 部署

准备 两台 虚拟机 做 数据节点 一台 名称节点 全部安装 nfs

**修改配置文件 将hadoop目录共享出去 **
在所有节点上 挂接

名称节点 上修改配置 如果有host解析 可以填写域名 也可以填写ip不需要解析


重新格式化启动
网页成功显示
上传 可正常显示

4.YARN管理器配置

修改配置文件
使用脚本 开启 成功网页 可以从8088端口访问

5.hadoop 高可用

准备 五台虚拟机 两台 名称节点 三台 数据节点 通过nfs 传输

部署 zookeeper集群 下载安装包 解压

用一台数据节点 修改配置文件>

分别创建目录 以及 . 后的数字


zookeeper集群 部署完毕 接下来 接入到 hadoop

hdfs高可用

hadoop配置
修改配置文件

在三个 数据节点 上依次启动 journalnode
格式化 名称节点
bin/hdfs namenode -format

格式化 zookeeper启动hdfs集群

网页端可以访问
另一台为standby
上传input
网页成功看到
故障切换存储端进入zook
另一台主机 迅速接管
重新启动 进入 standby

yarn高可用

编辑 yarn文件

启用 yarn成功
**网页可以访问 测试高可用 **关闭后 立即切换
重新启动 进入 standby模式

hbase分布部署

安装解压
修改配置文件
修改vim hbase-site.xml
vim regionservers 启动hbase 成功
另一个主机需要脚本启动
可以从默认端口 16010网页访问

添加表格做实验

出现问题后 立马切换
命令重启
数据切换完成