大数据平台-Ambari添加本地yum源

关注我的微信公众号:pythonislover,领取python,大数据,SQL优化相关视频资料!~

Python大数据与SQL优化笔 QQ群:771686295

 

 

不知道大家在安装Ambari大数据平台或者新加new host安装服务的时候,有没有奔溃过?

 

哈哈,反正我奔溃过,因为太慢了,还是不是给你来个下面的error,见过吗?这个是告诉你

stderr: Python script has been killed due to timeout after waiting 900 secs

 

上面的错误告诉你python脚本执行超时,那么为什么会超时呢? 因为我们在安装Ambari大数据平台或者新加new host的时候,要安装大量的我们选择的包,比如下面的,反正一堆了,有的包要近几个G大小,而且是要从HDP官方的源来下载,当然慢的要死了。

hdp-select

hadoop_3_0_1_0_187

hadoop_3_0_1_0_187-client

hive_3_0_1_0_187

hive_3_0_1_0_187-hcatalog

hive-server2 - 3.0.1.0-187

tez_3_0_1_0_187

spark2_3_0_1_0_187

sqoop_3_0_1_0_187

ambari-infra-solr-client

zookeeper_3_0_1_0_187-server

hadoop_3_0_1_0_187-yarn

hadoop_3_0_1_0_187-mapreduce

hadoop_3_0_1_0_187-hdfs

hadoop_3_0_1_0_187-libhdfs

snappy-devel

livy2_3_0_1_0_187

spark2_3_0_1_0_187-python

 

 

那么今天要说的就是怎么在ambari下用本地源安装,差不多分2步

 

  1. 用一台服务器搭建本地源,这部分,某度上资料很多,这里不说了,关键坑的在第二部分

  2. 怎么使得ambari安装host的时候,使用我们搭建的本地源

 

如果你在服务器上各种repo文件修改,测试,发现你还是不能用本地源,那么说明你掉进坑了。

 

其实经过实践,如果你用ambari平台来管理你的大数据平台,那么任何参数你最好都要在ambari web界面里面配置,而不要直接去服务器上修改参数文件,因

 

为ambari 的复原机制很牛,你改什么就把你改的还原回去。

 

下面进入正题,怎么在ambari web界面里面设置本地源

大数据平台-Ambari添加本地yum源_第1张图片

 

大数据平台-Ambari添加本地yum源_第2张图片

 

大数据平台-Ambari添加本地yum源_第3张图片

 

 

大数据平台-Ambari添加本地yum源_第4张图片

 

它隐藏的比较深,不仔细还真找不到。

 

上面的设置根据你自己搭建的本地源来设置,设置完之后,飞一般的感觉,哈哈!~

你可能感兴趣的:(Spark大数据平台)