Centos7.6部署hadoop

1.修改主机名，/etc下hosts文件里面要写集群内所有节点的ip和主机名。(root用户)
2.所有节点安装jdk
#cd /mnt
#rpm -ivh jdk-8u151-linux-x64.rpm
#vim /etc/profile
加入export JAVA_HOME=/usr/java/jdk1.8.0_151-amd64
export PATH=$PATH: $JAVA_HOME/bin
#source /etc/profile
#yum install -y libtirpc*
3.所有节点关闭防火墙，selinux
#systemctl stop firewalld
#systemctl disable firewalld
#vim /etc/selinux/config enforced 改为disabled
#setenforce 0
4.manager节点配置SSH 免密码登录
#ssh-keygen
#cd ~/.ssh
#cat id_rsa.pub >> authorized_keys
#chmod 600 ~/.ssh/authorized_keys
#ssh-copy-id root@namenode
#ssh-copy-id root@datanode1
对于其他数据节点，把1改为2，3等等即可
5.manager节点搭建yum源
如果有iso文件可以：
#cd /mnt
#mkdir cdrom
#mount -o loop iso文件名 /mnt 若没有iso文件则#mount /dev/sr0 /mnt, sr0就是光驱
#df -h查看是否挂载成功
#cd /etc/yum.repos.d/
#rm -rf *
#vim local.repo
[cdrom]
name=cdrom
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=0
若实际工作环境当中在其他虚拟机上有配置好的yum源，可将yum源文件复制到/etc/yum.repos.d/下，修改baseurl为http://虚拟机ip/该虚拟机上yum源的位置

搭建完成后
#yum clean all
#yum makecache
#yum repolist all 搭建的yum源启用，没有报错即可，若生成了多余的重复yum源，删掉重复的。
6.manager节点安装httpd服务
#yum install -y httpd
#systemctl enable httpd
#systemctl start httpd
#cd /var/www/html
#mkdir ambari
#mkdir HDPUtil
#mkdir cdrom
#mkdir HDP
7.manager节点 将安装包移动到文件夹下，可用winscp等工具，也可从其他虚拟机上scp命令复制
#tar -zxvf 命令解压安装包到各个目录下
#mount /dev/sr0 /var/www/html/cdrom
#df -h 查看挂载情况
8.manager节点配置http yum源
ambari.repo
[ambari]
name=ambari
baseurl=http://manager节点ip/ambari/ambari/centos7/
enabled=1
gpgcheck=0

HDP.repo
[HDP]
name=HDP
baseurl=http://manager节点ip/HDP/centos7/
enabled=1
gpgcheck=0

HDP-UTILS.repo
[ambari]
name=HDP-UTILS
baseurl=http://manager节点ip/HDPUtil/centos7/
enabled=1
gpgcheck=0

HDP-UTILS.repo
[ambari]
name=HDP-UTILS
baseurl=http://manager节点ip/HDPUtil/centos7/
enabled=1
gpgcheck=0
具体url位置可以在/var/www/html下查看，不一定为上面写的这些
#yum clean all
#yum makecache
#yum repolist all
9.用scp把yum源复制到各个节点上
#cd /etc/yum.repos.d
#scp * 节点ip:/etc/yum.repos.d
10.manager节点安装ambari-server
#groupadd postgres
#useradd -g postgres postgres
#passwd postgres 输入一个密码
#yum -y install postgresql96-libs-9.6.10-1PGDG.rhel7.x86_64.rpm postgresql96-9.6.10-1PGDG.rhel7.x86_64.rpm postgresql96-server-9.6.10-1PGDG.rhel7.x86_64.rpm postgresql96-contrib-9.6.10-1PGDG.rhel7.x86_64.rpm
#yum install ambari-server -y
11.初始化数据库
cd /usr/pgsql-9.6/bin
./postgresql96-setup initdb
12.修改远程连接数据库的访问权限
#vim /var/lib/pgsql/9.6/data/pg_hba.conf
host all all 0.0.0.0 trust
#vim /var/lib/pgsql/9.6/data/postgresql.conf
listen_addresses = '’
13.启动数据库
#systemctl enable postgresql-9.6.service
#systemctl start postgresql-9.6.service
14.安装相应数据库
#su - postgres
psql
postgres=#create database ambari;
postgres=#\c ambari;
ambari=#create user ambari with password ‘bigdata’;
ambari=#alter database ambari owner to ambari;
postgres=#create database hive;
postgres=#\c hive;
hive=#create user hive with password ‘hive’;
hive=#alter database hive owner to hive;
hive=#\q;
postgres=#\l;
显示ambari，hive且owner为ambari，hive即为成功
#ambari-server setup
出现界面以后，回车，选custom JDK，输入jdk安装路径，/usr/java/jdk1.8.0_151, 选项都选yes，然后选择postgresql(embedded), 之后都选择默认选项
#ambari-server start
不报错即可
然后在浏览器输入http://managerip:8080/
账号admin密码admin，输入后进入页面，ambari安装成功
15.页面下安装
给集群起名字，然后下一页
选择安装的HDP 版本 下一页
输入所有节点主机名，并将id_rsa.pub文件内容复制到秘钥内容里 安装
显示success，则进入下一步，安装需要安装的组件，一般会选择HDFS，zookeeper，HBase，Yarn等
然后选择安装这些组件的节点，一般分配平均一些，NameNode安装在manager上，SNameNode安装在namenode上，其余随意
然后下一个页面，namenode安装一个nodemanager，每个datanode都安装regionserver和datanode，manager，namenode和任意一个datanode安装客户端。
出现安装路径，datanode和namenode都只需保留挂载了数据盘的路径，具体路径不用修改，为了好区分，挂载点最好为/…/hadoop
然后就可以安装，等待安装完成
16.安装hive
hive数据库已建好
在界面里选择pgsql，在终端里把需要的jar包按照提示移动到路径下，复制setup语句执行，页面里数据库路径改为manager节点里的路径，然后测试连接，显示连通则确认。
17. 安装ntp（终端，所有节点）
#yum install ntpd
在/etc/ntp.conf下，manager节点把和server有关的行删掉，其他节点把restrict行全删
#systemctl enable ntpd
#systemctl start ntpd
#ntpq -p 查看是否成功启用ntp
18.开启高性能，先将HBase关掉，然后按照页面提示在终端操作即可
坑：
ambari-server安装出现error code -1
先检查pg_hba,看看权限是否被改过，改成host all all 0.0.0.0/0 trust
删掉pg_hba.conf, 重启postgresql，再次安装，如果start仍有错，则把postgresql直接卸载（yum remove postgresql）删除/var/lib/pgsql 和 /usr/pgsql* 再次安装，再次安装可以不用删除建立组，用户等等