Ambari升级
[TOC]
确认版本
目前公司使用的2.4.2版本，在2017年还算是比较新的了。目前就落后了三个大版本了。不得不感叹技术迭代真的太快了。
ambari2.7.3官网给出的升级，是必须在2.6.X上升级
ambari2.6.2.2官网给出的升级，是必须在2.4.2...上升级
Ambari 2.6 does not support managing an HDP 2.3, 2.2, 2.1 or 2.0 cluster. If you are running HDP 2.3, 2.2, 2.1 or 2.0, in order to use Ambari 2.6 you must first upgrade to HDP 2.4 or higher using Ambari 2.5.2, 2.4.2, 2.2.2, 2.2.1, 2.2, 2.1, or 2.0 before upgrading to Ambari 2.6. Once completed, upgrade your current Ambari version to Ambari 2.6.也就是说，在2.4.2的基础上要升级到ambari2.7.3。必须先从2.4.2升级到2.6.X，接着再升级到2.7.3。
另外HDP的升级，Ambari-2.7.3仅支持将HDP-2.6.x升级到HDP-3.x的快速方法。也就是说必须从2.5.0版本升级到HDP2.6.X，再升级到HDP-3.X。
准备升级
在准备升级Ambari和HDP群集时，我们强烈建议您查看此项目清单以确认您的群集操作是否正常。
尝试升级在不健康状态下运行的集群可能会产生意外结果。
集群检查项目清单
- 确保群集中的所有服务都在运行
- 运行每个服务检查（在“服务操作”菜单下找到）并确认它们已成功执行
- 清除所有警报，或了解它们的生成原因。必要时进行修复。
- 确认启动和停止所有服务正在成功执行
- 时间服务开始和停止。
- 在升级之前下载软件包。将它们放在本地存储库中和/或考虑使用存储代理，因为群集中的所有节点都需要下载数千兆字节。
- 确保对支持群集的所有数据库进行时间点备份。这包括（除其他外）Ambari，Hive Metastore，Ranger和Oozie。
- 确保/usr/hdp/
上有足够的磁盘空间（每增加一个HDP版本大约3GB）。
ambari升级准备工作
- 您必须在Ambari服务器主机和群集中的所有服务器上具有root，administrative或root等效授权。
- 您必须备份Ambari Server数据库。
很重要！必须备份，否则无法回滚！
- 您必须备份/etc/ambari-server/conf/ambari.properties
目前更新的时候发现，ambari脚本是会自己去备份这个文件,命名为
ambari.properties.rpmsave -
准备升级Ambari Metries service
- 在开始升级过程之前，记录Metrics Collector组件的位置。
- 您必须从Ambari Web停止Ambari Metrics服务。
- 升级Ambari后，还必须升级Ambari Metrics System并添加Grafana组件。
- 升级Ambari后，您还必须升级SmartSense(付费软件，可以不安装。)。
升级
升级ambari
- 如果您在群集中运行Ambari Metrics服务，请停止该服务。从Ambari Web，浏览到Services> Ambari Metrics，然后从Service Actions菜单中选择Stop。
- 停止Ambari服务器。在运行Ambari Server的主机上：
ambari-server stop - 停止所有Ambari特工。在群集中运行Ambari代理的每台主机上：
ambari-agent stop -
制作新的Ambari.repo，并将旧存储库文件替换为群集中所有主机上的新存储库文件
http://rm/hdp3.1.0/HDP-GPL/centos7/3.1.0.0-78/ http://rm/hdp3.1.0/HDP/centos7/3.1.0.0-78 http://rm/hdp3.1.0/HDP-UTILS/centos7/1.1.0.22http://rm/hdp2.6.5/HDP/centos7/2.6.5.0-292 http://rm/hdp/HDP-UTILS-1.1.0.21/repos/centos7 -
升级Ambari服务器。在运行Ambari Server的主机上：
先检查一下yum中的ambari-server版本是否正确
yum clean all yum info ambari-server[root@rm yum.repos.d]# yum info ambari-server Determining fastest mirrors Installed Packages Name : ambari-server Arch : x86_64 Version : 2.4.1.0 Release : 22 Size : 700 M Repo : installed From repo : ambari-2.4.1.0 Summary : Ambari Server URL : http://www.apache.org License : (c) Apache Software Foundation Description : Maven Recipe: RPM Package. Available Packages Name : ambari-server Arch : x86_64 Version : 2.6.2.2 Release : 1 Size : 718 M Repo : ambari-2.6.2.2 Summary : Ambari Server URL : http://www.apache.org License : (c) Apache Software Foundation Description : Maven Recipe: RPM Package.yum upgrade ambari-server执行这句命令，ambari会有备份动作Backing up Ambari properties /etc/ambari-server/conf/ambari.properties -> /etc/ambari-server/conf/ambari.properties.rpmsave Backing up Ambari properties /var/lib/ambari-server/ambari-env.sh -> /var/lib/ambari-server/ambari-env.sh.rpmsave Backing up JAAS login file /etc/ambari-server/conf/krb5JAASLogin.conf -> /etc/ambari-server/conf/krb5JAASLogin.conf.rpmsave Backing up stacks directory /var/lib/ambari-server/resources/stacks -> /var/lib/ambari-server/resources/stacks_23_04_19_09_40.old Backing up common-services directory /var/lib/ambari-server/resources/common-services -> /var/lib/ambari-server/resources/common-services_23_04_19_09_40.old Backing up Ambari view jars /var/lib/ambari-server/resources/views/*.jar -> /var/lib/ambari-server/resources/views/backups/ Backing up Ambari server jar /usr/lib/ambari-server/ambari-server-2.4.1.0.22.jar -> /usr/lib/ambari-server-backups/ -
通过在步骤5中启动的Ambari Server安装过程中注意进度来检查升级是否成功。
- 当进程运行时，控制台会显示与以下内容类似但不相同的输出
Setting up Upgrade Process Resolving Dependencies --> Running transaction check - 如果升级失败，控制台将显示类似于以下内容的输出
Setting up Upgrade Process No Packages marked for Update - 成功升级会显示类似于以下内容的输出
Updated: ambari-server.noarch 0:2.6.2-155 Complete!
- 当进程运行时，控制台会显示与以下内容类似但不相同的输出
- 升级所有Ambari-agent。在群集中运行Ambari代理的每台主机上
yum upgrade ambari-agent - 升级过程完成后，检查每个主机以确保已安装新文件
rpm -qa | grep ambari-agent - 升级Ambari Server数据库架构。在运行Ambari Server的主机上
ambari-server upgrade - 启动Ambari服务器。在运行Ambari Server的主机上
ambari-server start - 启动所有Ambari代理商。在群集中运行Ambari代理的每台主机上
ambari-agent start - 在运行Metrics Monitor的群集中的每台主机上，运行以下命令
yum upgrade ambari-metrics-monitor ambari-metrics-hadoop-sink - 在运行Metrics Collector的所有主机上执行以下命令
yum upgrade ambari-metrics-collector - 在运行Grafana组件的主机上执行以下命令
yum upgrade ambari-metrics-grafana
升级HDP
使用Ambari升级HDP有两种方法：滚动升级和快速升级。
- 滚动升级：
滚动升级按顺序编排HDP升级，以便在升级期间保持群集操作并最大限度地减少服务影响。此过程具有更严格的先决条件（特别是关于群集高可用性配置），并且可能需要比Express Upgrade更长的时间才能完成。 - 快速升级：
快速升级协调HDP升级的顺序将导致群集停机，但先决条件不太严格。
本次采用快速升级
- 注册版本
- 安装HDP
- 升级检查
可以看到Express也就是快速升级，本次测试环境checks有两个需要解决，一个是关闭Auto-Start Services，一个是重启服务，并执行检查。
- 关闭Auto-Start Services
-
重新启动一些配置修改的服务，并执行检查。
Reason: The following service configurations have been updated and their Service Checks should be run again: HIVE, HDFS, MAPREDUCE2, TEZ, HBASE, ZOOKEEPER, YARN Failed on: HIVE,HDFS,MAPREDUCE2,TEZ,HBASE,ZOOKEEPER,YARN去主界面start required带有黄色圈圈的服务，重启后，执行Service Check。
- 升级集群
中间一些步骤可以直接勾选，并继续执行。
- 升级成功
升级到ambari2.6.2和HDP2.6.5版本之后，如法炮制升级，最终升级到ambari2.7.3.0和HDP3.1.0版本
报错整理
libtirpc-devel包缺失
ExecutionFailed: Execution of '/usr/bin/yum -d 0 -e 0 -y install hive_2_6_5_0_292' returned 1. Error: Package: hadoop_2_6_5_0_292-hdfs-2.7.3.2.6.5.0-292.x86_64 (HDP-2.6-repo-51)
Requires: libtirpc-devel
You could try using --skip-broken to work around the problem
You could try running: rpm -Va --nofiles --nodigest下载对应版本的libtirpc-devel，执行命令yum install libtirpc-devel-0.2.4-0.6.el7.x86_64.rpm -y
snappy依赖冲突
Error: Package: snappy-devel-1.0.5-1.el6.x86_64 (@HDP-UTILS-1.1.0.21)
Requires: snappy(x86-64) = 1.0.5-1.el6
Removing: snappy-1.0.5-1.el6.x86_64 (@HDP-UTILS-1.1.0.21)
snappy(x86-64) = 1.0.5-1.el6
Updated By: snappy-1.1.0-3.el7.x86_64 (centos7-media)
snappy(x86-64) = 1.1.0-3.el7先把离线源centos注释掉，mv centos.repo centos.repo.backup
执行ambari-server upgrade报错
执行命令ambari-server upgrade报错如下
[root@rm yum.repos.d]# ambari-server upgrade
Using python /usr/bin/python
Upgrading ambari-server
INFO: Upgrade Ambari Server
INFO: Updating Ambari Server properties in ambari.properties ...
INFO: Updating Ambari Server properties in ambari-env.sh ...
INFO: Original file ambari-env.sh kept
INFO: Fixing database objects owner
Ambari Server configured for MySQL. Confirm you have made a backup of the Ambari Server database [y/n] (n)? y
INFO: Upgrading database schema
ERROR: Unexpected ValueError: No JSON object could be decoded
For more info run ambari-server with -v or --verbose option查看ambari-server.log可以看到是执行insert into user_authentication语句报错主键重复，直接清空这张表的数据即可。目前怀疑是因为之前有升级到这个版本，然后回滚回去，但是由于这张表可能是低版本没有拥有的原因导致。
自定义服务错误
新版本不识别之前的group参数
在ambari中，我们需要自定义一些服务嵌入到ambari管理，比如Redis。
resource_management.core.exceptions.Fail: Execute['rm -rf /opt/ambari/custom_service/app/redis*'] received unsupported argument group在master.py中有这样一句话，在旧版本中是没有问题的。
if os.path.exists(params.install_dir):
Execute(format('rm -rf {install_dir}/redis*'),
user=params.user,
group=params.group)目前看新版本不支持这个写法，去掉user和group就可以了。
spark离线模块
新版本spark源码有所删减。其中dataframe和dataset已经合并。需要修改spark代码来解决
报错信息：
java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFramehue模块
-
安装时，报错KEY ERROR -u'hue'
keyError -u'hue' Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', '/var/lib/ambari-agent/data/command-303.json', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY', '/var/lib/ambari-agent/data/structured-out-303.json', 'INFO', '/var/lib/ambari-agent/tmp', 'PROTOCOL_TLSv1_2', '']执行以下语句
# cd /var/lib/ambari-server/resources/scripts # python configs.py -u admin -p admin -n $cluster_name -l $ambari_server -t 8080 -a get -c cluster-env |grep -i ignore_groupsusers_create # python configs.py -u admin -p admin -n $cluster_name -l $ambari_server -t 8080 -a set -c cluster-env -k ignore_groupsusers_create -v true -
安装时，报错list index out of
怀疑是新版本拿到rm_host的方法不能用了，先写默认值解决
resourcemanager_hosts = default("/clusterHostInfo/rm_host", ["rm.ambari"])histroryserver_host = default("/clusterHostInfo/hs_host", ["rm.ambari"])后面发现是新版本的名称改变了。
脚本可以改成以下：
resourcemanager_hosts = default("/clusterHostInfo/resourcemanager_hosts", []) histroryserver_host = default("/clusterHostInfo/historyserver_hosts", [])pig_hosts hbase_regionserver_hosts nodemanager_hosts hive_server_hosts zkfc_hosts apollo_logs_producer_hosts hdfs_client_hosts timeline_reader_hosts zookeeper_client_hosts datax_server_hosts metrics_collector_hosts oozie_server_hosts oozie_client_hosts yarn_registry_dns_hosts hive_metastore_hosts hbase_client_hosts hue_server_hosts redis_master_hosts datanode_hosts yarn_client_hosts spark2_jobhistoryserver_hosts mapreduce2_client_hosts app_timeline_server_hosts resourcemanager_hosts kafka_broker_hosts all_hosts apollo_logs_consumer_hdfs_hosts metrics_monitor_hosts apollo_logs_consumer_hbase_hosts kakfa_master_hosts tez_client_hosts all_ipv4_ips hive_client_hosts namenode_hosts metrics_grafana_hosts phoenix_query_server_hosts zookeeper_server_hosts historyserver_hosts journalnode_hosts hbase_master_hosts spark2_client_hosts all_racks - 安装报错KeyError: 'group'
把写HUE的关于EXECUTE方法带有group的方法去掉，hue_server.py中。
- 安装报错chown hue:hue,invalid hue
新版本不会自己创建hue用户！自己创建useradd hue -g hue
-
启动报错
Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/HUE/package/scripts/hue_server.py", line 82, inHueServer().execute() File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 352, in execute method(env) File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/HUE/package/scripts/hue_server.py", line 34, in start self.configure(env) File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/HUE/package/scripts/hue_server.py", line 29, in configure setup_hue() File "/var/lib/ambari-agent/cache/stacks/HDP/3.1/services/HUE/package/scripts/setup_hue.py", line 35, in setup_hue recursive_chmod=True File "/usr/lib/ambari-agent/lib/resource_management/core/base.py", line 166, in __init__ self.env.run() File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 160, in run self.run_action(resource, action) File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 119, in run_action provider = provider_class(resource) File "/usr/lib/ambari-agent/lib/resource_management/libraries/providers/hdfs_resource.py", line 617, in __init__ self.assert_parameter_is_set('dfs_type') File "/usr/lib/ambari-agent/lib/resource_management/libraries/providers/hdfs_resource.py", line 696, in assert_parameter_is_set raise Fail("Resource parameter '{0}' is not set.".format(parameter_name)) resource_management.core.exceptions.Fail: Resource parameter 'dfs_type' is not set. 注释掉
# params.HdfsResource(params.hue_hdfs_home_dir, # type="directory", # action="create_on_execute", # owner=params.hue_user, # mode=0755, # recursive_chmod=True # )
附录
- ambari2.6.2.2升级
- ambari2.7.3升级
- ambari的支持列表
- mysql备份与还原
- HDP2.6.5 Error: Package: hadoop_2_6_0_3_8-hdfs-2.7.3.2.6.0.3-8.ppc64le (HDP-2.6) Requires: libtirpc-devel" error.
- HDP升级
- Hadoop 2.x与Hadoop 3.x之间的功能比较
- HBase 2.0 你应该了解的新特性
- INFOQ HBase2.0现状与未来
- hive 3.x 特性更改
- Spark Release 2.3.0 版本发布新特性和优化
- spark2.0 新特性总结
- kafka各版本新特性介绍（0.8.2-1.0.0版本）--kafka1.0新特性介绍
- https://www.cnblogs.com/barneywill/p/10281678.html