应用程序在启动和运行的时候往往需要读取一些配置信息,配置基本上伴随着应用程序的整个生命周期,比如:数 据库连接参数、启动参数等。
传统单体应用存在一些潜在缺陷,如随着规模的扩大,部署效率降低,团队协作效率差,系统可靠性变差,维护困 难,新功能上线周期长等,所以迫切需要一种新的架构去解决这些问题,而微服务( microservices )架构正是当 下一种流行的解法。 不过,解决一个问题的同时,往往会诞生出很多新的问题,所以微服务化的过程中伴随着很多的挑战,其中一个挑 战就是有关服务(应用)配置的。当系统从一个单体应用,被拆分成分布式系统上一个个服务节点后,配置文件也 必须跟着迁移(分割),这样配置就分散了,不仅如此,分散中还包含着冗余,如下图
配置中心将配置从应用中剥离出来,统一管理,优雅的解决了配置的动态变更、持久化、运维成本等问题。 应用自身既不需要去添加管理配置接口,也不需要自己去实现配置的持久化,更不需要引入“定时任务”以便降低运 维成本。
总得来说,配置中心就是一种统一管理各种应用配置的基础服务组件
Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用的不同环境、不同集群的配置,配 置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。 Apollo包括服务端和客户端两部分: 服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运行,不需要额外安装Tomcat等应用容器。 Java客户端不依赖任何框架,能够运行于所有Java运行时环境,同时对Spring/Spring Boot环境也有较好的支持。
目前市面上用的比较多的配置中心有:(按开源时间排序)
Disconf 2014年7月百度开源的配置管理中心,专注于各种「分布式系统配置管理」的「通用组件」和「通用平台」, 提供统一的「配置管理服务」。目前已经不再维护更新。 https://github.com/knightliao/disconf
Spring Cloud Config 2014年9月开源,Spring Cloud 生态组件,可以和Spring Cloud体系无缝整合。
https://github.com/spring-cloud/spring-cloud-config
Apollo 2016年5月,携程开源的配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实 时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景。 https://github.com/ctripcorp/apollo
Nacos 2018年6月,阿里开源的配置中心,也可以做DNS和RPC的服务发现。 https://github.com/alibaba/nacos
总的来看,Apollo和Nacos相对于Spring Cloud Config的生态支持更广,在配置管理流程上做的更好。Apollo相对 于Nacos在配置管理做的更加全面,Nacos则使用起来相对比较简洁,在对性能要求比较高的大规模场景更适合。 但对于一个开源项目的选型,项目上的人力投入(迭代进度、文档的完整性)、社区的活跃度(issue的数量和解 决速度、Contributor数量、社群的交流频次等),这些因素也比较关键
,考虑到Nacos开源时间不长和社区活跃 度,所以从目前来看Apollo应该是最合适的配置中心选型。
基于配置的特殊性,所以Apollo从设计之初就立志于成为一个有治理能力的配置发布平台,目前提供了以下的特 性:
统一管理不同环境、不同集群的配置
1、Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空 间(namespace)的配置。
2、同一份代码部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
3、通过命名空间(namespace)可以很方便地支持多个不同应用共享同一份配置,同时还允许应用对共享 的配置进行覆盖
配置修改实时生效(热发布)
用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置, 并通知到应用程序
版本发布管理
所有的配置发布都有版本概念,从而可以方便地支持配置的回滚
灰度发布
支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有 应用实例
权限管理、发布审核、操作审计
应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人 为的错误。 所有的操作都有审计日志,可以方便地追踪问题
客户端配置信息监控
可以在界面上方便地看到配置在被哪些实例使用
提供Java和.Net原生客户端
提供了Java和.Net的原生客户端,方便应用集成
提供开放平台API
Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理 等特性。不过Apollo出于通用性考虑,不会对配置的修改做过多限制,只要符合基本的格式就能保存, 不会针对不同的配置值进行针对性的校验,如数据库用户名、密码,Redis服务地址等 对于这类应用配置,Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布,并且具备完善 的授权和权限控制。
1、在Apollo配置中心修改配置
2、应用程序通过Apollo客户端从配置中心拉取配置信息 用户通过Apollo配置中心修改或发布配置后,会有两种机制来保证应用程序来获取最新配置:
一种是Apollo配置中 心会向客户端推送最新的配置;
另外一种是Apollo客户端会定时从Apollo配置中心拉取最新的配置,通过以上两种 机制共同来保证应用程序能及时获取到配置
Java
Apollo服务端:1.8+
Apollo客户端:1.7+
由于需要同时运行服务端和客户端,所以建议安装Java 1.8+。
MySQL版本要求:
5.6.5+
Apollo的表结构对 timestamp 使用了多个default声明
,所以需要5.6.5以上版本
访问Apollo的官方主页获取安装包(本次使用1.3版本):
https://github.com/ctripcorp/apollo/tags
打开1.3发布链接,下载必须的安装包:https://github.com/ctripcorp/apollo/releases/tag/v1.3.0
解压安装包后将
apollo-configservice-1.3.0.jar,
apollo-adminservice-1.3.0.jar,
apollo-portal-1.3.0.jar
Apollo服务端共需要两个数据库: ApolloPortalDB 和 ApolloConfigDB ,ApolloPortalDB只需要在生产环境部署 一个即可,
而ApolloConfigDB需要在每个环境部署一套。
创建ApolloPortalDB
,sql脚本下载地址: https://github.com/ctripcorp/apollo/blob/v1.3.0/scripts/db/migration/configdb/V1.0.0__initialization.sql
创建ApolloConfigDB
,sql脚本下载地址: https://github.com/ctripcorp/apollo/blob/v1.3.0/scripts/db/migration/configdb/V1.0.0__initialization.sql
8070, 8080, 8090
端口,请确保这3个端口当前没有被使用runApollo.bat
快速启动三个服务(修改数据库连接地址,数据库以及密码)runApollo.bat
即可启动Apolloecho
set url="localhost:3306"
set username="root"
set password="密码"
start "configService" java -Xms256m -Xmx256m -Dapollo_profile=github -Dspring.datasource.url=jdbc:mysql://%url%/ApolloConfigDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-configservice.log -jar .\apollo-configservice-1.3.0.jar
start "adminService" java -Xms256m -Xmx256m -Dapollo_profile=github -Dspring.datasource.url=jdbc:mysql://%url%/ApolloConfigDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-adminservice.log -jar .\apollo-adminservice-1.3.0.jar
start "ApolloPortal" java -Xms256m -Xmx256m -Dapollo_profile=github,auth -Ddev_meta=http://localhost:8080/ -Dserver.port=8070 -Dspring.datasource.url=jdbc:mysql://%url%/ApolloPortalDB?characterEncoding=utf8 -Dspring.datasource.username=%username% -Dspring.datasource.password=%password% -Dlogging.file=.\logs\apollo-portal.log -jar .\apollo-portal-1.3.0.jar
待启动成功后,访问管理页面 用户名、密码:apollo/admin
http://localhost:8070/—访问Apollo
http://localhost:8080/—访问Eureka
新建项目apollo-quickstart
新建配置项sms.enable
确认配置项提交,未发布状态
发布配置项
1、新建Maven工程 打开idea,新建apollo-quickstart项目
打开pom.xml文件添加apollo依赖,配置JDK为1.8
2、编写测试类GetConfigTest 新建cn.itcast.apollo.quickstart包,添加测试类GetConfigTest 添加如下代码读取sms.enable的值
3、手动对项目进行配置处理
-Dapp.id====Apollo配置的AppId
-Denv====所属环境
-Ddev_meta====meta服务地址。也就是Eureka,其携程Apollo的meta-service对Eureka进行了封装,暴露一套接口
-Dapp.id=apollo-quickstart -Denv=DEV -Ddev_meta=http://localhost:8080
这里写了一个循环获取配置的代码,当配置在Apollo修改后,实时获取最新值。修改配置按3.3.3操作
下图是Apollo架构模块的概览
Meta Server+Eureka 集成在 Config Service
上图简要描述了Apollo的总体设计,我们可以从下往上看:
1、Config Service提供配置的读取、推送等功能,服务对象是Apollo客户端
2、Admin Service提供配置的修改、发布等功能,服务对象是Apollo Portal(管理界面)
3、Eureka提供服务注册和发现,为了简单起见,目前Eureka在部署时和Config Service是在一个JVM进程中的
4、Config Service和Admin Service都是多实例、无状态部署,所以需要将自己注册到Eureka中并保持心跳 在Eureka之上架了一层Meta Server用于封装Eureka的服务发现接口
5、Client通过域名访问Meta Server获取Config Service服务列表(IP+Port),而后直接通过IP+Port访问服务, 同时在Client侧会做load balance、错误重试
6、Portal通过域名访问Meta Server获取Admin Service服务列表(IP+Port),而后直接通过IP+Port访问服务, 同时在Portal侧会做load balance、错误重试
7、为了简化部署,我们实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程 中
关键字:appId
关键字:env
关键字:cluster
关键字:namespaces
为什么我们采用Eureka作为服务注册中心,而不是使用传统的zk、etcd呢?我大致总结了一下,有以下几方面的原因:
在配置中心中,一个重要的功能就是配置发布后实时推送到客户端。下面我们简要看一下这块是怎么设计实现的。
上图简要描述了配置发布的主要过程:
用户中心服务(consumer-service):提供用户账户管理服务,包括:注册、开户、充值、提现等。
统一账户服务(account-service):对借款人和投资人的登录平台账号进行管理,包括:注册账号、账号权限管理等
订单中心(order-service):订单服务,负责下单。
下面以集成统一账户服务(account-service)为例
创建SpringBoot项目 account-service
1、新建pom.xml文件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>account-service</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<version>2.6.3</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-web -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
<version>2.6.3</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-log4j2 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j2</artifactId>
<version>2.5.4</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-configuration-processor -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-configuration-processor</artifactId>
<version>2.6.3</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.ctrip.framework.apollo/apollo-client -->
<dependency>
<groupId>com.ctrip.framework.apollo</groupId>
<artifactId>apollo-client</artifactId>
<version>1.3.0</version>
</dependency>
</dependencies>
</project>
application.properties
app.id=account-service
#在应用启动阶段是否向Spring容器注入被托管的properties文件配置信息
apollo.bootstrap.enabled=true
apollo.bootstrap.namespaces=application,micro_service.spring-boot-http,spring-rocketmq,spring-boot-druid
server.port=63000
2、创建apollo-env.properties
dev.meta=http://localhost:8080
pro.meta=http://localhost:8081
3、创建AccountController.java
package com.example.account.controller;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class AccountController {
@Value("${swagger.enable}")
private Boolean swaggerEnable;
@GetMapping("/swagger")
public String getSwaggerConfig() {
return "swaggerEnable:" + swaggerEnable;
}
}
创建启动类 AccountApplication.java
package com.example.account;
import com.ctrip.framework.apollo.spring.annotation.EnableApolloConfig;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
@EnableApolloConfig
public class AccountApplication {
public static void main(String[] args) {
SpringApplication.run(AccountApplication.class, args);
}
}
可以通过如下方式指定缓存路径,通过Java System Property的apollo.cacheDir:
-Dapollo.cacheDir=/opt/data/apollo-config