Hortonworks 安装

1 前言

1.1 读者对象

本文档提供大数据平台的详细部署说明，本文的预期读者应拥有以下技能：

l 熟练使用linux常用命令，懂shell脚本。

l 使用SSH工具连接到Linux环境上进行应用程序的部署

l 对网络知识有一定的了解

1.2 安装步骤

本文档包括以下几个步骤：

l 安装前的准备工作，包括软硬件环境检测；

l 基础软件的安装；

l 基础软件的配置；

l 建立数据库对象，包括表、存储过程；

l 初始化环境，包括配置表数据，事实表数据；

l 部署平台

2 技术架构

2.1 前端

 

2.2 数据库

数据库部署，后续补充。。。

3 硬件环境

配置项	名称	备注
CPU	Intel Core 2 Duo 2.0 GHz or AMD 64 X2 2 GHz	推荐使用64位CPU
内存	至少2GB DRR2 667及以上	推荐8GB内存
显卡	最少16MB显存
硬盘	最低160GB
网卡	100M/1000M自适应

4 网络环境

4.1 局域网

3台服务器

 

 

 

192.168.130.132 hdp-hadoop1

192.168.130.133 hdp-hadoop2

 

192.168.130.134 hdp-hadoop3

 

4.2 宽带要求

4.3 域名规划

3台服务器分别编辑hostname为对应域名

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop1

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop2

vi /etc/sysconfig/network

HOSTNAME=hdp-hadoop3

 

 

3台服务器配置hosts文件如下：

vi /etc/hosts

192.168.130.132 hdp-hadoop1

192.168.130.133 hdp-hadoop2

 

192.168.130.134 hdp-hadoop3

 

5 服务器选型与配置

5.1 运行支撑环境

 

5.2 服务器硬件

5.3 磁盘存储系统

5.4 数据备份

5.5 数据库

5.6 应用服务器

 

 

6 基础软件安装

6.1 Linux安装

略

6.2 Apache Httpd安装

在hdp-hadoop1上安装http服务器构建本地rpm仓库

yum install httpd   //安装静态资源服务器

1、y

 

2、Y

 

3、

 

 

service httpd status

 

service httpd start

chkconfig httpd on

验证：

浏览器：http://192.168.130.132

 

6.3 MySql安装

yum install mysql-server

1、y

 

2、

 

 

6.3.1 mysql启动

service mysqld start

chkconfig mysqld on

 

mysqladmin -uroot password '123456'

 

让mysql能够远程访问

登录

mysql -uroot -p123456

//授权所有机器访问

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456'  WITH GRANT OPTION;

 

 

创建数据库: 

create database ambari; 

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION; 

//如果其他节点访问本MYSQL，需要配hostname单独配Hostname，

//ambari的server节点

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'hdp-hadoop1' IDENTIFIED BY 'bigdata' WITH GRANT OPTION; 

//hive 节点

create database hive;

 
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION; 
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'hdp-hadoop1' IDENTIFIED BY 'hive' WITH GRANT OPTION; 

//oozie节点

create database oozie; 

GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie' WITH GRANT OPTION; 
GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'hdp-hadoop1' IDENTIFIED BY 'oozie' WITH GRANT OPTION; 

 

exit

Ambari安装&节点安装

Hdp-hadoop1上

本地软件仓库配置和软件压缩包下载地址

http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/obtaining_the_repositories.html

Ambari源

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz

HDP 平台源

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos6-rpm.tar.gz

 

HDP依赖源

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

 

 

下载后，解压:

//  apache默认目录  /var/www/html/

tar zxvf ambari-2.4.2.0-centos6.tar.gz  -C /var/www/html/

tar zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz  -C /var/www/html/

tar zxvf HDP-2.5.3.0-centos6-rpm.tar.gz  -C /var/www/html/

解压后目录更改目录名（方便后续软件仓库）如下：

 

 

创建源  

cd  /etc/yum.repos.d

vi ambari.repo

 

[AMBARI2.4.2.0-136]

name=Ambari 2.x

baseurl=http://hdp-hadoop1/ambari/centos6/2.4.2.0-136/

gpgcheck=1

gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

 

3台服务器上同步时间

修改系统时间

ntpdate asia.pool.ntp.org

service ntpd start

chkconfig ntpd on

 

验证：

date

 

 

 

 

 

 

Hdp-hadoop1上

安装ambari-server 
yum install openssl 

yum install ambari-server 

 

 

 

 

配置anbari-server 

下载mysql驱动

yum install mysql-connector-java* 

//下载驱，以后测试，运行需要

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar 

 

 

导入数据结构

mysql -uroot –p123456

use ambari;

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

exit

 

ambari-server setup 

 

 

 

 

 

6.3.2 启动Ambari

service ambari-server start

chkconfig ambari-server on

 

//查看日志cat /var/log/ambari-server/ambari-server.log

或tail -1000f /var/log/ambari-server/ambari-server.log

 

 

6.3.3 FQA:

1、数据库联不到，要去上面查脚本，看是连的主机名还是localhost

2、步骤：

数据库选择

 

 

 

 

//数据库拒绝访问，给相应权限

GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'cluster-155' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;

6.4 ambari-agent安装

 

集群其它节点配置，

 

修改系统时间

ntpdate asia.pool.ntp.org

验证：

 

 

1、创建源  

cd  /etc/yum.repos.d

vi ambari.repo

 

[AMBARI2.4.2.0-136]

name=Ambari 2.x

baseurl=http://hdp-hadoop1/ambari/centos6/2.4.2.0-136/

gpgcheck=1

gpgkey=http://s3.amazonaws.com/dev.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

2、配置

安装一下必要的依赖

 
yum install openssl  

yum install ambari-agent 

 

查看安装在那个地方

rpm –ql ambari-agent

 

vi /etc/ambari-agent/conf/ambari-agent.ini

修改 hostname=hdp-hadoop1

 

 

 

6.4.1 启动 ambair-agent

 

service ambari-agent start

chkconfig ambari-agent on

tail -1000f /var/log/ambari-agent/ambari-agent.log

检查是否安装成功，1，看日志，2，连接

 

 

 

 

 

6.5 HDC界面配置

6.5.1 配置手册

6.5.1.1 第一步：

打开 http://192.168.130.132:8080/

用户名/密码   admin/admin

 

1、集群名

 

 

 

 

 

2、选择版本

 

3、

 

 

 

 

 

 

 

 

 

 

 

4、节点添加

 

 

 

 

 

 

 

 

 

 

 

5、自动检查也节点的连接情况，如接不上，需排错，排错方式要看下面FAQ

 

 

6、根据项目需要，选择用到那些子项目，我 这全选

 

7、

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

安装中。。。。。。。。。。。。。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

其它，按照提示的操作，部署。

6.6 FAQ:

安装过程中可能会碰到的问题：

1、这一部无法通过

 

原因：各节点没有配好hostname、还有各节点配置vi /etc/hosts是否正确

访问节点

1、cat /etc/hosts

vi /etc/hosts

2、修改主机名

vi /etc/sysconfig/network

 

查看方法：

1、 找到数据库表hosts，核对数据（此表为节点数据），修改好后要重启动服务

服务：service ambari-server restart

节点：service ambari-agent restart

2、 多看日志

a) 服务器日志：tail -1000f /var/log/ambari-server/ambari-server.log

b) 节点日志：tail -1000f /var/log/ambari-agent/ambari-agent.log

 

3、服务启动，记得每节点要时间同步用下面命令

ntpdate asia.pool.ntp.org

6.7 Hue安装

yum install hue

vi /etc/hue/conf/hue.ini

 service hue restart

或service hue start

 

 

tail -1000f /var/log/hue/runcpserver.out

netstat -anp|grep 8000

 

 

 

 

 

详细配置项参见

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.7/bk_installing_manually_book/content/rpm-chap-hue-2.html

 

 

 

 

 

 

 

Hive配置

vi /etc/hue/conf/hue.ini

 

重启HUE

6.8 FAQ:

1、

 

 

 

 

 

 

 

 

 

 

 

重启ambari

 

 

重庆访问

 

6.9 BI

6.9.1 BI下载

http://community.pentaho.com

 

 

 

6.9.2 安装

一、解压

unzip biserver-ce-5.3.0.0-213.zip

 

 

二Mysql数据库配置步骤

GRANT ALL PRIVILEGES ON *.* TO 'root'@'cluster1' IDENTIFIED BY '123456' WITH GRANT OPTION;

 

1）biserver-ce-4.8.0-stable/biserver-ce/tomcat/webapps/pentaho/META-INF/context.xml

vi biserver-ce/tomcat/webapps/pentaho/META-INF/context.xml

     

          factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5"

          maxWait="10000" username="root" password="123456"

          driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://cluster-180:3306/hibernate"

          validationQuery="select 1" />

         

     

          factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5"

          maxWait="10000" username="root" password="123456"

          driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://cluster-180:3306/quartz"

          validationQuery="select 1"/>

2、

自定义数据库执行脚本biserver-ce-4.8.0-stable/biserver-ce/data/mysql5/ 下的sql

mysql –uroot –p123456

source /usr/local/biserver-ce/data/mysql5/create_quartz_mysql.sql

exit

                   

) biserver-ce-4.8.0-stable/biserver-ce/tomcat/conf/Catalina/localhost/pentaho.xml

 

 

 

3) 修改  biserver-ce-4.8.0-stable/biserver-ce/pentaho-solutions/system/hibernate下的

                             hibernate-settings.xml ： 修改mysql配置文件名

 

 

 

 mysql5.hibernate.cfg.xml： 增加连接池

 

 

5) 修改biserver-ce-4.8.0-stable/biserver-ce/pentaho-solutions/system/ 下的

  applicationContext-spring-security-hibernate.properties

 

 

 

vi applicationContext-spring-security-jdbc.properties

 

vi applicationContext-spring-security-jdbc.xml

不修改

6.9.3 启动

cd /usr/local/biserver-ce

./start-pentaho.sh

 

 

 

 

/usr/local/biserver-ce/tomcat/logs

 

tail -1000f catalina.out

 

ps -ef|grep biserver-ce

 

安装插件

 

 

 

 

 

 

 

2.6版本是免费的

注：如若不提供下载请按下面步骤操作

saiku-plugin-p5-2.6.zip（百度网盘和本机D:\bigdate install package下有安装包）

 

1、解压

unzip saiku-plugin-p5-2.6.zip

2、移动到以下目录

mv saiku biserver-ce/pentaho-solutions/system/

3、关闭重启

./stop-pentaho.sh 或 ps -ef |grep biserver-ce  kill -9 进程号

 

4、vi plugin.properties

cd /usr/local/biserver-ce/pentaho-solutions/system/kettle/plugins/pentaho-big-data-plugin

修改plugin.properties 里面

 

改后：active.hadoop.configuration=hdp21

5、vi settings.xml

cd /usr/local/biserver-ce/pentaho-solutions/system/kettle

改后：

 

6、windows下kattle工具配置

D:\bigdateinstallpackage\pdi-ce-5.3.0.0-213\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp21

里面文件要与linux 大数据环境要一致

配好后的文件目录如下：

 

 

以上文件是从linux拷贝到windows下面的

Linux目录分别如下：

/etc/hadoop/conf.empty

/etc/hive

/etc/hbase/conf

 

 

 

 

 

 

 

 

 

 

 

7、

Windowd下Kettle默认保存目录

C:\Users\Administrator\.kettle

 

 

Linux 下如图所示

 

Linux下下Kettle默认保存目录

cd /root/.kettle

修改下面目录

 

修改后如下所示

 

 

 

 

 

 

8、拷贝kettle项目文件到（业务资源库）

/usr/local/donson/tt/hh/

 

查看是否有此文件

 

 

 

9、停止、重启biserver

6.9.4 关于kettle封装上传

pds-design-studio

 

 

 

 

 

 

 

 

6.10 FAQ:

连接mysql

mysql -uroot -p123456 -hcluster-180

 

 

6.11 kattle

 

 

6.11.1 大数据插件使用

修改

data-integration/plugins/pentaho-big-data-plugin/plugin.properties

改成hdp21

然后：

 

7 业务系统部署

7.1 统一认证应用

7.2 运营平台

8 建立数据库

8.1 对象脚本说明

8.2 执行对象脚本

9 初始化环境

9.1 初始化脚本说明

9.2 执行对象脚本