一,首先要下载所有的安裝包,不要嘗試在線安裝方式,對於大型的集群來說,也不可能這麼多的機器允許連接外網,所以,最好的方式是通过建立自己的本地安裝源。
http://public-repo-1.hortonworks.com
以下為下載地址:
http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos6/ambari-1.4.1.61-centos6.tar.gz
http://s3.amazonaws.com/public-repo-1.hortonworks.com/HDP/centos6/HDP-2.0.6.0-centos6-rpm.tar.gz
http://s3.amazonaws.com/public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.16/repos/centos6/HDP-UTILS-1.1.0.16-centos6.tar.gz
對於不同的操作系統可以進去網站后自行選擇,這裡使用三台Red Hat 6.4(Linuxversion 2.6.32-358.el6.x86_64),所以上面的軟件包就緒下載相應的位數版本,Centos6
以下為本次安裝測試環境:
Role |
FQDN |
IP |
RAM |
MASTER |
master.hadoop.gd |
10.244.235.80 |
680MB |
SLAVE01 |
slave01.hadoop.gd |
10.244.235.81 |
256MB |
SLAVE02 |
slave02.hadoop.gd |
10.244.235.82 |
256MB |
二,下面的步驟為具體的安裝過程,其中有省略了常見的安裝步驟,請參考《hadoop&hive install manual》完成;
1,首先配置所有節點/etc/hosts,確保所有節點能夠通過名稱PING通,如果有DNS的這一步可以省略;
2,在上一步的基礎之上,配置無密碼登陸這裡的配置過程不在重複,依然請參考《hadoop&hive install manual》,有以下幾點注意:
a) 配置root無密碼登陸;
b) 配置任意一個群集運行用戶無密碼登陸,這裡以hadoop作為範例;
3,建立自己的本地安裝源,可以是獨立的機器,或者其中一台固定提供此服務的機器,這裡我用自己的PC機安裝apache(windows版),提供服務,以下我的範例;
a) 確保以這樣的方式部署;
b) 手冊
c) 其中hadoop目錄為以下部分,rhel6為redhat 6.4光盤中所有的RPM包,
將以上下載的包解壓后放於這樣的目錄中,待apache安裝完後必須要以這樣的方式能訪問
以上截圖分別為兩個主倉庫red hat倉庫以及hadoop hdp倉庫;
4,在配置repo文件前需要修改:
/etc/yum/pluginconf.d/product-id.conf主要防止進行rpm校驗,
[main]
enabled=1
gpgcheck=0
5,配置所有節點中yum安裝源
cd/etc/yum.repos.d/
vimrhel-source.repo
[rhel-source]
name=Red HatEnterprise Linux $releasever - $basearch - Source
baseurl=http://10.248.151.40/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
6,配置HDP.repo HDP-UTIL.repo ambari.repo,官方有以上三個文件這裡不以官方文件為主,主要這裡為本地安裝源,所以修改為以下樣子:
vim HDP.repo
[HDP-2.0.6]
name=HDP
baseurl=http://10.248.151.40:8088/HDP/centos6/2.x/updates/2.0.6.0
path=/
enabled=1
gpgcheck=0
vim HDP-UTIL.repo
[HDP-UTILS-1.1.0.16]
name=HortonworksData Platform Version - HDP-UTILS-1.1.0.16
baseurl=http://10.248.151.40:8088/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
enabled=1
priority=1
vim ambari.repo
[ambari-1.4.1.61]
name=ambari-1.4.1.61
baseurl=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61
gpgcheck=0
gpgkey=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.16]
name=HortonworksData Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://10.248.151.40:8088/HDP-UTILS-1.1.0.16/repos/centos6
gpgcheck=0
gpgkey=http://10.248.151.40:8088/ambari/centos6/1.x/updates/1.4.1.61/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
7,以上部分需要早所有節點配置,這裡在master上配置完後scp到每一台主機,這裡不在演示;
8,使用以下命令測試本地安裝源是否生效
yum list
yum update
9,使用命令進行ambari-server安裝
yum –y installambari-server
10,安裝過程中會自動安裝Postgresql數據庫,此時需要使用命令使數據庫初始化并讓其開機自啟動
service postgresqlinitdb
chkconfig –level2345 postgresql on
11,此時ambari-server還不能使用需要初始化安裝,使用以下命令
ambari-serversetup –v#顯示安裝過程詳細信息
安裝完畢后就可以啟動
Ambari-serverstart
此時看到成功即表明可以使用了,訪問ambari-server 8080端口看是是否可以訪問,初始訪問用戶名:admin 密碼:admin
或者在此配置/etc/profile中java環境變量,使用jps查看是否有以下進程,表明是否成功!
AmbariServer
vim /etc/profile
exportJAVA_HOME=/usr/jdk64/jdk1.6.0_31
exportJRE_HOME=$JAVA_HOME/jre
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
12,以上步驟進行完網站可以訪問只是關鍵一步中的一小步,此時還不能進行安裝部署,切記,切記!!!
以下部分為重點部分;
必須修改以下圖文件夾HDPLocal中相應文件使本地倉庫起作用,使其在後期部署中在本地下載文件
需要修改文件截圖:
Vim repoinfo.xml
此文件修改只在master上修該也就是ambari server上
三,具體應用十分簡單不在此分析;
1,登入網頁加入需要加入的節點FQDN
2,其中的ssh 私鑰為Master中root用戶的私鑰,因為master中root用戶可以無密碼登陸slave01,slave02,當然此處也可用hadoop用戶
3,如果在後期部署中需要部署hive,那麼mysql數據庫需要提前獨立安裝,請參考《hadoop&hiveinstall manual》,