配置文件读取

以下的文章是管大佬要的学习资料,分享给大家,也当一个记录。原出处,我无从寻找,非常抱歉!
————————————————————————————————————

本节核心内容

  • 介绍 apiserver 所采用的配置解决方案
  • 介绍如何配置 apiserver 并读取其配置,以及配置的高级用法

本小节源码下载路径:demo02

可先下载源码到本地,结合源码理解后续内容,边学边练。

本小节的代码是基于 demo01 来开发的。

Viper 简介

Viper 是国外大神 spf13 编写的开源配置解决方案,具有如下特性:

  • 设置默认值
  • 可以读取如下格式的配置文件:JSON、TOML、YAML、HCL
  • 监控配置文件改动,并热加载配置文件
  • 从环境变量读取配置
  • 从远程配置中心读取配置(etcd/consul),并监控变动
  • 从命令行 flag 读取配置
  • 从缓存中读取配置
  • 支持直接设置配置项的值

Viper 配置读取顺序:

  • viper.Set() 所设置的值
  • 命令行 flag
  • 环境变量
  • 配置文件
  • 配置中心:etcd/consul
  • 默认值

从上面这些特性来看,Viper 毫无疑问是非常强大的,而且 Viper 用起来也很方便,在初始化配置文件后,读取配置只需要调用 viper.GetString()viper.GetInt()viper.GetBool() 等函数即可。

Viper 也可以非常方便地读取多个层级的配置,比如这样一个 YAML 格式的配置:

common:
  database:
    name: test
    host: 127.0.0.1

如果要读取 host 配置,执行 viper.GetString("common.database.host") 即可。

apiserver 采用 YAML 格式的配置文件,采用 YAML 格式,是因为 YAML 表达的格式更丰富,可读性更强。

初始化配置

主函数中增加配置初始化入口

package main

import (
    "errors"
    "log"
    "net/http"
    "time"

    "apiserver/config"
    
     ...
    
    "github.com/spf13/pflag"
)

var (
    cfg = pflag.StringP("config", "c", "", "apiserver config file path.")
)

func main() {
    pflag.Parse()

    // init config
    if err := config.Init(*cfg); err != nil {
        panic(err)
    }

    // Create the Gin engine.
    g := gin.New()

    ...
}


main 函数中增加了 config.Init(*cfg) 调用,用来初始化配置,cfg 变量值从命令行 flag 传入,可以传值,比如 ./apiserver -c config.yaml,也可以为空,如果为空会默认读取 conf/config.yaml

解析配置

main 函数通过 config.Init 函数来解析并 watch 配置文件(函数路径:config/config.go),config.go 源码为:

package config

import (
    "log"
    "strings"

    "github.com/fsnotify/fsnotify"
    "github.com/spf13/viper"
)

type Config struct {
    Name string
}

func Init(cfg string) error {
    c := Config {
        Name: cfg,
    }

    // 初始化配置文件
    if err := c.initConfig(); err != nil {
        return err
    }

    // 监控配置文件变化并热加载程序
    c.watchConfig()

    return nil
}

func (c *Config) initConfig() error {
    if c.Name != "" {
        viper.SetConfigFile(c.Name) // 如果指定了配置文件,则解析指定的配置文件
    } else {
        viper.AddConfigPath("conf") // 如果没有指定配置文件,则解析默认的配置文件
        viper.SetConfigName("config")
    }
    viper.SetConfigType("yaml") // 设置配置文件格式为YAML
    viper.AutomaticEnv() // 读取匹配的环境变量
    viper.SetEnvPrefix("APISERVER") // 读取环境变量的前缀为APISERVER
    replacer := strings.NewReplacer(".", "_") 
    viper.SetEnvKeyReplacer(replacer)
    if err := viper.ReadInConfig(); err != nil { // viper解析配置文件
        return err
    }

    return nil
}

// 监控配置文件变化并热加载程序
func (c *Config) watchConfig() {
    viper.WatchConfig()
    viper.OnConfigChange(func(e fsnotify.Event) {
        log.Printf("Config file changed: %s", e.Name)
    })
}


config.Init() 通过 initConfig() 函数来解析配置文件,通过 watchConfig() 函数来 watch 配置文件,两个函数解析如下:

  1. func (c *Config) initConfig() error

    设置并解析配置文件。如果指定了配置文件 *cfg 不为空,则解析指定的配置文件,否则解析默认的配置文件 conf/config.yaml。通过指定配置文件可以很方便地连接不同的环境(开发环境、测试环境)并加载不同的配置,方便开发和测试。

    通过如下设置

    viper.AutomaticEnv() 
    viper.SetEnvPrefix("APISERVER")
    replacer := strings.NewReplacer(".", "_")
    
    

    可以使程序读取环境变量,具体效果稍后会演示。

    config.Init 函数中的 viper.ReadInConfig() 函数最终会调用 Viper 解析配置文件。

  2. func (c *Config) watchConfig()

    通过该函数的 viper 设置,可以使 viper 监控配置文件变更,如有变更则热更新程序。所谓热更新是指:可以不重启 API 进程,使 API 加载最新配置项的值。

配置并读取配置

API 服务器端口号可能经常需要变更,API 服务器启动时间可能会变长,自检程序超时时间需要是可配的(通过设置次数),另外 API 需要根据不同的开发模式(开发、生产、测试)来匹配不同的行为。开发模式也需要是可配置的,这些都可以在配置文件中配置,新建配置文件 conf/config.yaml(默认配置文件名字固定为 config.yaml),config.yaml 的内容为:

runmode: debug               # 开发模式, debug, release, test
addr: :6663                  # HTTP绑定端口
name: apiserver              # API Server的名字
url: http://127.0.0.1:6663   # pingServer函数请求的API服务器的ip:port
max_ping_count: 10           # pingServer函数尝试的次数

main 函数中将相应的配置改成从配置文件读取,需要替换的配置见下图中红框部分。

图片:https://user-gold-cdn.xitu.io/2018/5/30/163b187c103c8d6a?w=2124&h=1188&f=jpeg&s=199767

替换后,代码为:

图片:https://user-gold-cdn.xitu.io/2018/5/30/163b186688700fb1?w=2290&h=1177&f=jpeg&s=225497

另外根据配置文件的 runmode 调用 gin.SetMode 来设置 gin 的运行模式:

func main() { 
    pflag.Parse()
                 
    // init config
    if err := config.Init(*cfg); err != nil {
        panic(err)
    }            
                 
    // Set gin mode.
    gin.SetMode(viper.GetString("runmode"))
                 
    ....
                 
}

gin 有 3 种运行模式:debug、release 和 test,其中 debug 模式会打印很多 debug 信息。

编译并运行

  1. 下载 apiserver_demos 源码包(如前面已经下载过,请忽略此步骤)
$ git clone https://github.com/lexkong/apiserver_demos

  1. apiserver_demos/demo02 复制为 $GOPATH/src/apiserver
$ cp -a apiserver_demos/demo02/ $GOPATH/src/apiserver

  1. 在 apiserver 目录下编译源码
$ cd $GOPATH/src/apiserver
$ gofmt -w .
$ go tool vet .
$ go build -v .

  1. 修改 conf/config.yaml 将端口修改为 8888,并启动 apiserver

修改后配置文件为:

runmode: debug               # 开发模式, debug, release, test
addr: :8888                  # HTTP绑定端口
name: apiserver              # API Server的名字
url: http://127.0.0.1:8888   # pingServer函数请求的API服务器的ip:port
max_ping_count: 10           # pingServer函数try的次数

修改后启动 apiserver:

图片:https://user-gold-cdn.xitu.io/2018/5/30/163b196425b26f4c?w=2096&h=450&f=jpeg&s=123918

可以看到,启动 apiserver 后端口为配置文件中指定的端口。

Viper 高级用法

从环境变量读取配置

在本节第一部分介绍过,Viper 可以从环境变量读取配置,这是个非常有用的功能。现在越来越多的程序是运行在 Kubernetes 容器集群中的,在 API 服务器迁移到容器集群时,可以直接通过 Kubernetes 来设置环境变量,然后程序读取设置的环境变量来配置 API 服务器。读者不需要了解如何通过 Kubernetes 设置环境变量,只需要知道 Viper 可以直接读取环境变量即可。

例如,通过环境变量来设置 API Server 端口:

$ export APISERVER_ADDR=:7777
$ export APISERVER_URL=http://127.0.0.1:7777
$ ./apiserver 
[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:   export GIN_MODE=release
 - using code:  gin.SetMode(gin.ReleaseMode)

[GIN-debug] GET    /sd/health                --> apiserver/handler/sd.HealthCheck (5 handlers)
[GIN-debug] GET    /sd/disk                  --> apiserver/handler/sd.DiskCheck (5 handlers)
[GIN-debug] GET    /sd/cpu                   --> apiserver/handler/sd.CPUCheck (5 handlers)
[GIN-debug] GET    /sd/ram                   --> apiserver/handler/sd.RAMCheck (5 handlers)
Start to listening the incoming requests on http address: :7777
The router has been deployed successfully.

从输出可以看到,设置 APISERVER_ADDR=:7777APISERVER_URL=http://127.0.0.1:7777 后,启动 apiserver,API 服务器的端口变为 7777

环境变量名格式为 config/config.go 文件中 viper.SetEnvPrefix("APISERVER") 所设置的前缀和配置名称大写,二者用 _ 连接,比如 APISERVER_RUNMODE。如果配置项是嵌套的,情况可类推,比如

....
max_ping_count: 10           # pingServer函数try的次数
db:                    
  name: db_apiserver

对应的环境变量名为 APISERVER_DB_NAME

热更新

main 函数中添加如下测试代码(for {} 部分,循环打印 runmode 的值):

import (
    "fmt"
    ....
)

var (
    cfg = pflag.StringP("config", "c", "", "apiserver config file path.")
)

func main() {
    pflag.Parse()

    // init config
        if err := config.Init(*cfg); err != nil {
        panic(err)
    }

    for {
        fmt.Println(viper.GetString("runmode"))
        time.Sleep(4*time.Second)
    }
    ....
}

编译并启动 apiserver 后,修改配置文件中 runmodetest,可以看到 runmode 的值从 debug 变为 test

图片:https://user-gold-cdn.xitu.io/2018/5/30/163b1badcd31585c?w=1626&h=236&f=jpeg&s=46035

小结

本小节展示了如何用强大的配置管理工具 Viper 来解析配置文件并读取配置,还演示了 Viper 的高级用法。

你可能感兴趣的:(配置文件读取)