分布式配置中心-Apollo

1 概览

1.1 什么是配置

应用程序在启动和运行的时候往往需要读取一些配置信息,配置基本上伴随着应用程序的整个生命周期,比如:数 据库连接参数、启动参数等。

1.2 什么是配置中心

传统单体应用存在一些潜在缺陷,如随着规模的扩大,部署效率降低,团队协作效率差,系统可靠性变差,维护困 难,新功能上线周期长等,所以迫切需要一种新的架构去解决这些问题,而微服务( microservices )架构正是当 下一种流行的解法。 不过,解决一个问题的同时,往往会诞生出很多新的问题,所以微服务化的过程中伴随着很多的挑战,其中一个挑 战就是有关服务(应用)配置的。当系统从一个单体应用,被拆分成分布式系统上一个个服务节点后,配置文件也 必须跟着迁移(分割),这样配置就分散了,不仅如此,分散中还包含着冗余,如下图
分布式配置中心-Apollo_第1张图片
配置中心将配置从应用中剥离出来,统一管理,优雅的解决了配置的动态变更、持久化、运维成本等问题。 应用自身既不需要去添加管理配置接口,也不需要自己去实现配置的持久化,更不需要引入“定时任务”以便降低运 维成本。

总得来说,配置中心就是一种统一管理各种应用配置的基础服务组件

2 Apollo简介

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用的不同环境、不同集群的配置,配 置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。 Apollo包括服务端和客户端两部分: 服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运行,不需要额外安装Tomcat等应用容器。 Java客户端不依赖任何框架,能够运行于所有Java运行时环境,同时对Spring/Spring Boot环境也有较好的支持。

2.1 主流配置中心

目前市面上用的比较多的配置中心有:(按开源时间排序)

  1. Disconf 2014年7月百度开源的配置管理中心,专注于各种「分布式系统配置管理」的「通用组件」和「通用平台」, 提供统一的「配置管理服务」。目前已经不再维护更新。 https://github.com/knightliao/disconf

  2. Spring Cloud Config 2014年9月开源,Spring Cloud 生态组件,可以和Spring Cloud体系无缝整合。
    https://github.com/spring-cloud/spring-cloud-config

  3. Apollo 2016年5月,携程开源的配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实 时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。 https://github.com/ctripcorp/apollo

  4. Nacos 2018年6月,阿里开源的配置中心,也可以做DNS和RPC的服务发现。 https://github.com/alibaba/nacos

2.1.1 功能特性对比

分布式配置中心-Apollo_第2张图片
分布式配置中心-Apollo_第3张图片

2.1.2 总结

总的来看,Apollo和Nacos相对于Spring Cloud Config的生态支持更广,在配置管理流程上做的更好。Apollo相对 于Nacos在配置管理做的更加全面,Nacos则使用起来相对比较简洁,在对性能要求比较高的大规模场景更适合。 但对于一个开源项目的选型,项目上的人力投入(迭代进度、文档的完整性)、社区的活跃度(issue的数量和解 决速度、Contributor数量、社群的交流频次等),这些因素也比较关键,考虑到Nacos开源时间不长和社区活跃 度,所以从目前来看Apollo应该是最合适的配置中心选型。

2.2 Apollo特性

基于配置的特殊性,所以Apollo从设计之初就立志于成为一个有治理能力的配置发布平台,目前提供了以下的特 性:
统一管理不同环境、不同集群的配置
1、Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空 间(namespace)的配置。
2、同一份代码部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
3、通过命名空间(namespace)可以很方便地支持多个不同应用共享同一份配置,同时还允许应用对共享 的配置进行覆盖

配置修改实时生效(热发布)
用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置, 并通知到应用程序

版本发布管理
所有的配置发布都有版本概念,从而可以方便地支持配置的回滚

灰度发布
支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有 应用实例

权限管理、发布审核、操作审计
应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人 为的错误。 所有的操作都有审计日志,可以方便地追踪问题

客户端配置信息监控
可以在界面上方便地看到配置在被哪些实例使用

提供Java和.Net原生客户端
提供了Java和.Net的原生客户端,方便应用集成

提供开放平台API
Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理 等特性。不过Apollo出于通用性考虑,不会对配置的修改做过多限制,只要符合基本的格式就能保存, 不会针对不同的配置值进行针对性的校验,如数据库用户名、密码,Redis服务地址等 对于这类应用配置,Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布,并且具备完善 的授权和权限控制。

3 Apollo快速入门

3.1 执行流程

分布式配置中心-Apollo_第4张图片
操作流程如下:

1、在Apollo配置中心修改配置
2、应用程序通过Apollo客户端从配置中心拉取配置信息 用户通过Apollo配置中心修改或发布配置后,会有两种机制来保证应用程序来获取最新配置:
一种是Apollo配置中 心会向客户端推送最新的配置;
另外一种是Apollo客户端会定时从Apollo配置中心拉取最新的配置,通过以上两种 机制共同来保证应用程序能及时获取到配置

3.2 安装Apollo

3.2.1 运行时环境

Java
Apollo服务端:1.8+
Apollo客户端:1.7+
由于需要同时运行服务端和客户端,所以建议安装Java 1.8+。

MySQL版本要求:
5.6.5+
Apollo的表结构对 timestamp 使用了多个default声明,所以需要5.6.5以上版本

3.2.2 下载配置

  1. 访问Apollo的官方主页获取安装包(本次使用1.3版本):
    https://github.com/ctripcorp/apollo/tags
    分布式配置中心-Apollo_第5张图片

  2. 打开1.3发布链接,下载必须的安装包:https://github.com/ctripcorp/apollo/releases/tag/v1.3.0
    分布式配置中心-Apollo_第6张图片

  3. 解压安装包后将

apollo-configservice-1.3.0.jar, 
apollo-adminservice-1.3.0.jar, 
apollo-portal-1.3.0.jar

放置于 apollo目录下
在这里插入图片描述

3.2.3 创建数据库

Apollo服务端共需要两个数据库: ApolloPortalDB 和 ApolloConfigDB ,ApolloPortalDB只需要在生产环境部署 一个即可,
而ApolloConfigDB需要在每个环境部署一套。

  1. 创建ApolloPortalDB,sql脚本下载地址: https://github.com/ctripcorp/apollo/blob/v1.3.0/scripts/db/migration/configdb/V1.0.0__initialization.sql

  2. 创建ApolloConfigDB,sql脚本下载地址: https://github.com/ctripcorp/apollo/blob/v1.3.0/scripts/db/migration/configdb/V1.0.0__initialization.sql

3.2.4 启动Apollo

  1. 确保端口未被占用 Apollo默认会启动3个服务,分别使用8070, 8080, 8090端口,请确保这3个端口当前没有被使用
    提供的runApollo.bat快速启动三个服务(修改数据库连接地址,数据库以及密码)
    运行runApollo.bat即可启动Apollo
echo

set url="localhost:3306"
set username="root"
set password="密码"

start "configService" java -Xms256m -Xmx256m -Dapollo_profile=github -Dspring.datasource.url=jdbc:mysql://%url%/ApolloConfigDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-configservice.log -jar .\apollo-configservice-1.3.0.jar
start "adminService" java -Xms256m -Xmx256m -Dapollo_profile=github -Dspring.datasource.url=jdbc:mysql://%url%/ApolloConfigDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-adminservice.log -jar .\apollo-adminservice-1.3.0.jar
start "ApolloPortal" java -Xms256m -Xmx256m -Dapollo_profile=github,auth -Ddev_meta=http://localhost:8080/ -Dserver.port=8070 -Dspring.datasource.url=jdbc:mysql://%url%/ApolloPortalDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-portal.log -jar .\apollo-portal-1.3.0.jar

待启动成功后,访问管理页面 用户名、密码:apollo/admin
http://localhost:8070/—访问Apollo
http://localhost:8080/—访问Eureka

分布式配置中心-Apollo_第7张图片
分布式配置中心-Apollo_第8张图片

3.3 代码实现

3.3.1 发布配置

新建项目apollo-quickstart
分布式配置中心-Apollo_第9张图片
分布式配置中心-Apollo_第10张图片
新建配置项sms.enable
确认配置项提交,未发布状态分布式配置中心-Apollo_第11张图片
分布式配置中心-Apollo_第12张图片
发布配置项

分布式配置中心-Apollo_第13张图片
分布式配置中心-Apollo_第14张图片
分布式配置中心-Apollo_第15张图片

3.3.2 应用读取配置

1、新建Maven工程 打开idea,新建apollo-quickstart项目
打开pom.xml文件添加apollo依赖,配置JDK为1.8
分布式配置中心-Apollo_第16张图片
2、编写测试类GetConfigTest 新建cn.itcast.apollo.quickstart包,添加测试类GetConfigTest 添加如下代码读取sms.enable的值
分布式配置中心-Apollo_第17张图片
3、手动对项目进行配置处理
-Dapp.id====Apollo配置的AppId
-Denv====所属环境
-Ddev_meta====meta服务地址。也就是Eureka,其携程Apollo的meta-service对Eureka进行了封装,暴露一套接口
-Dapp.id=apollo-quickstart -Denv=DEV -Ddev_meta=http://localhost:8080
分布式配置中心-Apollo_第18张图片

3.3.3 修改配置

分布式配置中心-Apollo_第19张图片
分布式配置中心-Apollo_第20张图片
分布式配置中心-Apollo_第21张图片
分布式配置中心-Apollo_第22张图片

3.3.4 热发布

这里写了一个循环获取配置的代码,当配置在Apollo修改后,实时获取最新值。修改配置按3.3.3操作
分布式配置中心-Apollo_第23张图片

4 Apollo应用

4.1 Apollo工作原理

下图是Apollo架构模块的概览
Meta Server+Eureka 集成在 Config Service
分布式配置中心-Apollo_第24张图片

4.1.1 各模块职责

上图简要描述了Apollo的总体设计,我们可以从下往上看:
1、Config Service提供配置的读取、推送等功能,服务对象是Apollo客户端
2、Admin Service提供配置的修改、发布等功能,服务对象是Apollo Portal(管理界面)
3、Eureka提供服务注册和发现,为了简单起见,目前Eureka在部署时和Config Service是在一个JVM进程中的
4、Config Service和Admin Service都是多实例、无状态部署,所以需要将自己注册到Eureka中并保持心跳 在Eureka之上架了一层Meta Server用于封装Eureka的服务发现接口
5、Client通过域名访问Meta Server获取Config Service服务列表(IP+Port),而后直接通过IP+Port访问服务, 同时在Client侧会做load balance、错误重试
6、Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port),而后直接通过IP+Port访问服务, 同时在Portal侧会做load balance、错误重试
7、为了简化部署,我们实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程 中

4.1.2 分步执行流程

  1. Apollo启动后,Config/Admin Service会自动注册到Eureka服务注册中心,并定期发送保活心跳。
  2. Apollo Client和Portal管理端通过配置的Meta Server的域名地址经由Software Load Balancer(软件负载均衡 器)进行负载均衡后分配到某一个Meta Server
  3. Meta Server从Eureka获取Config Service和Admin Service的服务信息,相当于是一个Eureka Client
  4. Meta Server获取Config Service和Admin Service(IP+Port)失败后会进行重试
  5. 获取到正确的Config Service和Admin Service的服务信息后,Apollo Client通过Config Service为应用提供配 置获取、实时更新等功能;Apollo Portal管理端通过Admin Service提供配置新增、修改、发布等功能

4.2 核心概念

  1. application (应用)
    这个很好理解,就是实际使用配置的应用,Apollo客户端在运行时需要知道当前应用是谁,从而可以去获取 对应的配置。关键字:appId
  2. environment (环境)
    配置对应的环境,Apollo客户端在运行时需要知道当前应用处于哪个环境,从而可以去获取应用的配置。关键字:env
  3. cluster (集群)
    一个应用下不同实例的分组,比如典型的可以按照数据中心分,把上海机房的应用实例分为一个集群,把北 京机房的应用实例分为另一个集群。关键字:cluster
  4. namespace (命名空间)
    一个应用下不同配置的分组,可以简单地把namespace类比为文件,不同类型的配置存放在不同的文件中, 如数据库配置文件,RPC配置文件,应用自身的配置文件等。关键字:namespaces
    为什么我们采用Eureka作为服务注册中心,而不是使用传统的zk、etcd呢?我大致总结了一下,有以下几方面的原因:
    它提供了完整的Service Registry和Service Discovery实现
    首先是提供了完整的实现,并且也经受住了Netflix自己的生产环境考验,相对使用起来会比较省心。
    和Spring Cloud无缝集成我们的项目本身就使用了Spring Cloud和Spring Boot,同时Spring Cloud还有一套非常完善的开源代码来整合Eureka,所以使用起来非常方便。
    另外,Eureka还支持在我们应用自身的容器中启动,也就是说我们的应用启动完之后,既充当了Eureka的角色,同时也是服务的提供者。这样就极大的提高了服务的可用性。
    这一点是我们选择Eureka而不是zk、etcd等的主要原因,为了提高配置中心的可用性和降低部署复杂度,我们需要尽可能地减少外部依赖。
    Open Source最后一点是开源,由于代码是开源的,所以非常便于我们了解它的实现原理和排查问题。

4.2 配置发布原理

在配置中心中,一个重要的功能就是配置发布后实时推送到客户端。下面我们简要看一下这块是怎么设计实现的。
分布式配置中心-Apollo_第25张图片
上图简要描述了配置发布的主要过程:

  1. 用户在Portal操作配置发布
  2. Portal调用Admin Service的接口操作发布
  3. Admin Service发布配置后,发送ReleaseMessage给各个Config Service
  4. Config Service收到ReleaseMessage后,通知对应的客户端

5、Apollo应用于分布式系统

5.1 Spring Boot应用集成

5.2.1 导入工程

用户中心服务(consumer-service):提供用户账户管理服务,包括:注册、开户、充值、提现等。
统一账户服务(account-service):对借款人和投资人的登录平台账号进行管理,包括:注册账号、账号权限管理等
订单中心(order-service):订单服务,负责下单。

下面以集成统一账户服务(account-service)为例
创建SpringBoot项目 account-service
1、新建pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>


    <groupId>org.example</groupId>
    <artifactId>account-service</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
            <version>2.6.3</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-web -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <version>2.6.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-log4j2 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
            <version>2.5.4</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-configuration-processor -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <version>2.6.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.ctrip.framework.apollo/apollo-client -->
        <dependency>
            <groupId>com.ctrip.framework.apollo</groupId>
            <artifactId>apollo-client</artifactId>
            <version>1.3.0</version>
        </dependency>
    </dependencies>
</project>

application.properties

app.id=account-service
#在应用启动阶段是否向Spring容器注入被托管的properties文件配置信息
apollo.bootstrap.enabled=true
apollo.bootstrap.namespaces=application,micro_service.spring-boot-http,spring-rocketmq,spring-boot-druid
server.port=63000

2、创建apollo-env.properties

dev.meta=http://localhost:8080
pro.meta=http://localhost:8081

3、创建AccountController.java

package com.example.account.controller;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class AccountController {
    @Value("${swagger.enable}")
    private Boolean swaggerEnable;

    @GetMapping("/swagger")
    public String getSwaggerConfig() {
        return "swaggerEnable:" + swaggerEnable;
    }
}

创建启动类 AccountApplication.java

package com.example.account;

import com.ctrip.framework.apollo.spring.annotation.EnableApolloConfig;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
@EnableApolloConfig
public class AccountApplication {
    public static void main(String[] args) {
        SpringApplication.run(AccountApplication.class, args);
    }
}

  1. 本地缓存路径 Apollo客户端会把从服务端获取到的配置在本地文件系统缓存一份,用于在遇到服务不可用,或网络不通的 时候,依然能从本地恢复配置,不影响应用正常运行。本地配置文件会以下面的文件名格式放置于配置的本 地缓存路径下:{appId}+{cluster}+{namespace}.properties

可以通过如下方式指定缓存路径,通过Java System Property的apollo.cacheDir:
-Dapollo.cacheDir=/opt/data/apollo-config

  1. Environment 通过Java System Property的env来指定环境: -Denv=DEV

  2. Cluster(集群) 通过Java System Property的
    apollo.cluste来指定集群: -Dapollo.cluster=DEFAULT
    也可以选择使用之前新建的SHAJQ集群: -Dapollo.cluster=指定的集群名称

  3. 完整的VM Options如下:
    -Denv=DEV -Dapollo.cacheDir=/opt/data/apollo-config -Dapollo.cluster=DEFAULT
    分布式配置中心-Apollo_第26张图片
    分布式配置中心-Apollo_第27张图片

你可能感兴趣的:(Apollo,中间件)