hadoop安装链接Linux安装Hadoop软件 -
## HADOOP 安装步骤
````
1. tar -zxvf hadoop_2.7.1 -- 解压hadoop
2. pwd -- 查看当前路径
3. ln -s hadoop_2.7.1 hadoop -- 创建软连接
4. vi ~/.bashrc -- 设置环境变量
5. 编辑并保存 wq | shift ZZ
export HADOOP_HOME='hadoop的安装位置'
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6. source /.bashrc -- 环境变量生效
7. -- 校验环境变量是否配置成功
whereis hdfs && whereis start-all.sh
8. hadoop 的目录结构
bin -- 存放操作命令
etc/hadoop 存放所有的配置文件
lib -- 本地库 java 程序员都懂
logs -- 日志
sbin -- 集群的命令,如启动停止
share /doc|hadoop 所有依赖的jar包
````
## hadoop 单机模式安装
```
vi hadoop-env.sh -- 编辑配置
export JAVA_HOME='jdk 安装路径'
```
## hadoop 伪分布式安装
```
1. hostname -- 查看主机名称
2. vi /etc/hostname -- 修改主机名称
3. reboot -- 重启生效
4. vi /ect/hosts -- 编辑ip [ip地址 192.168.1.101 node1]
5. 免密登录设置
1) ssh-keygen -t rsa -- 生成免密登录
2) ll ~/.ssh/ -- 查看免密文件位置
3) ssh-copy-id -i ~/.ssh/id_rsa.pub node1 -- 追加免密 node1 为自己的主机名
6. ssh node1 -- 免密登录验证
7. 设置hadoop配置文件 hadoop-env.sh / core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml
1) cd ${HADOOP_HOME}/etc/hadoop 进入配置文件目录
2) vi hadoop-env.sh 设置hadoop-env.sh 与单机一样 配置jdk路径
3) vi core-site.xml 配置core-site.xml 文件
4) vi hdfs-site.xml
-- 默认为3 默认伪分布式只有一个节点所以改为1
5) cp mapred.site.xml.tmplate mapred.site.xm -- 复制文件
vi mapred.site.xm
6) vi yarn-site.xml
7) hdfs namenode -format -- 格式化 hdfs 只需格式化一次 下次启动再次格式化会丢失dataNode
8) 启动hadoop
start-dfs.sh -- 启动hdfs
start-yarn.sh -- 启动yarn
start-all.sh 启动所有
stop-all.sh 停止所有
jps 查看是否启动
9) 浏览器 查看hadoop http:ip:50070 namenode datanode 信息 50090 查看 secondNamenode信息 8088 查看集群所有的应用信息
```
## 安装完全分布式
```
1. node1 node2 node3 同分布式一样 修改hostname 文件 reboot 生效
2. xxx.xxx.x..xxx node1 添加hosts 映射 将三台机器都加进来
3. 免密登录设置
1) ssh-keygen -t rsa 在node1 生成密钥
2) 将node1 的公钥 复制到 node1 node2 node3 的主机上
ssh-copy-id -i ~/.ssh/id_rsa.pub node1
ssh-copy-id -i ~/.ssh/id_rsa.pub node2
ssh-copy-id -i ~/.ssh/id_rsa.pub node3
4. 安装ntp 防止分布式服务器时间不同步
yum install ntp
5. 配置文件同伪分布式一样 hdfs-site.xml 不同 及 salves
vi hdfs-site.xml hdfs.replication ---- value 为2 节点数
vi slavers 将原有内容删除 添加 node2 node3
6. 分发配置
cd ~/hadoop/etc
scp -r hadoop root@node2:~/hadoop/etc/
scp -r hadoop root@node3:~/hadoop/etc/
7. 格式化 hdfs namenode -format
```
```
## hbase 安装
vi hbase-env.sh # 编辑配置
## vi hbase-site.xml
启动
./start-hbase.sh
```