helm

为什么要使用helm

K8S上的应用对象，都是由特定的资源描述组成，包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

kubernetes(十七) Helm V3 入门到放弃_第1张图片

如果应用只由一个或几个这样的服务组成，上面部署方式足够了。

而对于一个复杂的应用，会有很多类似上面的资源描述文件，例如微服务架构应用，组成应用的服务可能多达十个，几十个。如果有更新或回滚应用的需求，可能要修改和维护所涉及的大量资源文件，而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制，使Kubernetes上的应用维护和更新等面临诸多的挑战，主要面临以下问题：

  1. 如何将这些服务作为一个整体管理
  2. 这些资源文件如何高效复用
  3. 不支持应用级别的版本管理

Helm 介绍

Helm是一个Kubernetes的包管理工具，就像Linux下的包管理器，如yum/apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。

Helm有3个重要概念：

  • helm：一个命令行客户端工具，主要用于Kubernetes应用chart的创建、打包、发布和管理。
  • Chart：应用描述，一系列用于描述 k8s 资源相关文件的集合。
  • Release：基于Chart的部署实体，一个 chart 被 Helm 运行后将会生成对应的一个 release；将在k8s中创建出真实运行的资源对象。

Helm V3变化

2019年11月13日， Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下：

1、 架构变化

最明显的变化是 Tiller的删除

kubernetes(十七) Helm V3 入门到放弃_第2张图片

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其他

1）为了更好地协调其他包管理者的措辞 Helm CLI个别更名

helm delete` 更名为 `helm uninstall
helm inspect` 更名为 `helm show
helm fetch` 更名为 `helm pull

但以上旧的命令当前仍能使用。

2）移除了用于本地临时搭建 Chart Repository的 helm serve 命令。

3）自动创建名称空间

在不存在的命名空间中创建发行版时，Helm 2创建了命名空间。Helm 3遵循其他Kubernetes对象的行为，如果命名空间不存在则返回错误。

4） 不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义。

Helm客户端

helm 客户端的部署

Helm客户端下载地址：https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz
tar zxvf helm-v3.2.4-linux-amd64.tar.gz 
mv linux-amd64/helm /usr/bin/

helm 常见的命令

命令 描述
create 创建一个chart并指定名字
dependency 管理chart依赖
get 下载一个release。可用子命令：all、hooks、manifest、notes、values
history 获取release历史
install 安装一个chart
list 列出release
package 将chart目录打包到chart存档文件中
pull 从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar
repo 添加，列出，移除，更新和索引chart仓库。可用子命令：add、index、list、remove、update
rollback 从之前版本回滚
search 根据关键字搜索chart。可用子命令：hub、repo
show 查看chart详细信息。可用子命令：all、chart、readme、values
status 显示已命名版本的状态
template 本地呈现模板
uninstall 卸载一个release
upgrade 更新一个release
version 查看helm客户端版本

配置国内Chart仓库

  • 微软仓库（http://mirror.azure.cn/kubernetes/charts/）这个仓库推荐，基本上官网有的chart这里都有。
  • 阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts ）
  • 官方仓库（https://hub.kubeapps.com/charts/incubator）官方chart仓库，国内有点不好使。

添加存储库：

$ helm repo add azure http://mirror.azure.cn/kubernetes/charts
$ helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

查看配置的存储库：

$ helm repo list
NAME    URL                                                   
azure   http://mirror.azure.cn/kubernetes/charts              
aliyun  https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
$ helm search repo azure

一直在stable存储库中安装charts，你可以配置其他存储库。

删除存储库：

$ helm repo remove aliyun

helm 的基本使用

主要介绍三个命令：

  • chart install： 部署

  • chart upgrade： 升级

  • chart rollback: 回滚

使用helm 部署一个应用

  • 部署weave界面
$ export KUBERNETES_MASTER=http://127.0.0.1:8080
$ helm search repo weave
$ helm install k8s-ui azure/weave-scope
$ helm list              #列出helm部署应用
$ helm status k8s-ui     #查看状态
#如果要浏览器本地访问，需要设置svc为NodePort
  • 部署mysql
$ helm search repo mysql
$ helm install db azure/mysql   #这样不能成功，因为mysql需要pv，所以一直处于pending状态
$ cat pv01.yml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv01
spec:
  capacity:
    storage: 16Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteMany
  nfs:
    path: /ifs/kubernetes/pv01
    server: 192.168.56.14
$ kubectl apply -f pv01.yml
$ kubectl run mysql-client -it  --rm --image=mysql:5.7 -- bash  #测试数据库
mysql -h db1-mysql -pdSt9QIYNGF
  • 查看chart的values和values设置
$ helm show values azure/mysql    #查看values
$ helm pull azure/mysql --untar   #可以直接下载chart之后再看
$ helm install db1 --set persistence.storageClass="managed-nfs-storage" azure/mysql 
$ kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo   #获取登陆密码
dSt9QIYNGF

values yaml与set使用：

kubernetes(十七) Helm V3 入门到放弃_第3张图片

$ helm pull azure/mysql --untar && cat mysql/values.yml
persistence:
  enabled: true
  ## database data Persistent Volume Storage Class
  ## If defined, storageClassName: 
  ## If set to "-", storageClassName: "", which disables dynamic provisioning
  ## If undefined (the default) or set to null, no storageClassName spec is
  ##   set, choosing the default provisioner.  (gp2 on AWS, standard on
  ##   GKE, AWS & OpenStack)
  ##
  # storageClass: "-"
  accessMode: ReadWriteOnce
  size: 8Gi
  annotations: {}

$ helm install db2 --set persistence.storageClass="managed-nfs-storage" azure/mysql  #指定存储类部署
$ vim values.yml
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
  annotations: {}
mysqlUser: ops
mysqlPassword: "Qwer1234@"
mysqlDatabase: "opsDB"
$  helm  install db3 azure/mysql -f values.yml   # 根据values指定参数创建
$ kubectl exec -it mysql-client -- bash     #测试创建信息
root@mysql-client:/# mysql -h db3-mysql -pE1ihmKspOL
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 10
Server version: 5.7.30 MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| opsDB              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.01 sec)

创建一个helm chart

$ cd ~/lesson/helm/
$ helm create mychart
$ tree mychart/
mychart/
├── charts                             #目录里存放这个chart依赖的所有子chart。
├── Chart.yaml                         #用于描述这个 Chart的基本信息，包括名字、描述信息以及版本等。
├── templates                          #目录里面存放所有yaml模板文件。
│   ├── deployment.yaml
│   ├── _helpers.tpl                   #放置模板助手的地方，可以在整个 chart 中重复使用
│   ├── hpa.yaml
│   ├── ingress.yaml
│   ├── NOTES.txt                      #用于介绍Chart帮助信息， helm install 部署后展示给用户。例如：如何使用这个 Chart、列出缺省的设置等。
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── tests
│       └── test-connection.yaml
└── values.yaml                        #用于存储 templates 目录中模板文件中用到变量的值。

$ helm install web1 mychart           #直接部署
  • 打包推送的charts仓库共享别人使用。
$ helm package mychart
Successfully packaged chart and saved it to: /root/lesson/helm/mychart-0.1.0.tgz
  • 升级，回滚和删除

发布新版本的chart时，或者当您要更改发布的配置时，可以使用该helm upgrade 命令。

Chart模板配置

  • 起始环境yml准备
$ mkdir ~/lesson/helm/demo2 -p && cd ~/lesson/helm/demo2
$ kubectl create deploy nginx --image=nginx:1.16 --dry-run=client -o yaml > deployment.yml
$ vim deployment.yml 
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx

$ kubectl create deploy nginx --image=nginx:1.16
$ kubectl expose deploy nginx --port=80 --target-port=80 --type=NodePort nginx --dry-run=client -o yaml > service.yaml
$ vim service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  type: NodePort
  • 按照上述配置放入helm
$ cd ~/lesson/helm/mychart/templates/ && rm -fr *
$ mv ~/lesson/helm/demo2/* ./
  • helm 发布升级和回滚
$ helm install web1 mychart   #发布
$ vim mychart/values.yml
image:
  repository: nginx
  pullPolicy: IfNotPresent
  # Overrides the image tag whose default is the chart appVersion.
  tag: "1.16"
$ vim mychart/templates/deploy.yaml
   - image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
        name: nginx
$ helm upgrade web1 mychart --set image.tag="1.17"     #手动指定版本升级
$ helm history web1             #查看历史
$ kubectl get pod,svc           #获取svc ip
$ curl 10.0.0.231 -I            #测试svc返回的nginx是1.17
$ helm rollback web1 1          #回滚到1版本
$ curl 10.0.0.231 -I            #测试svc返回的nginx是1.16
  • 打包推送的charts仓库共享别人使用。
$ helm package mychart
Successfully packaged chart and saved it to: /root/lesson/helm/mychart-0.1.0.tgz
$ helm install mychart-0.1.0.tgz   #其他人也能安装使用
$ helm uninstall web1       #卸载应用

chart 模板

  • 一个deployment.yaml 部署多个应用，有哪些字段需要修改：

    • 镜像
    • 标签
    • 副本数
    • 资源限制
    • 环境变量
    • 端口
    • 资源名称

    内置对象

    刚刚我们使用 {{.Release.Name}}将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象，下面是一些常用的内置对象：

    Release.Name release 名称
    Release.Name release 名字
    Release.Namespace release 命名空间
    Release.Service release 服务的名称
    Release.Revision release 修订版本号，从1开始累加 
$ vim mychart/values.yaml
replicaCount: 1

image:
  repository: nginx
  pullPolicy: IfNotPresent
  tag: "1.16"

labels:
  project: www
  app: ms

service:
  type: NodePort
  port: 80
  targetport: 80

$ vim mychart/templates/deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      project: {{ .Values.labels.project }}
      app: {{ .Values.labels.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.labels.project }}
        app: {{ .Values.labels.app }}
    spec:
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
        name: nginx

$ vim mychart/templates/service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: service-{{ .Release.Name }}
spec:
  ports:
  - port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.service.targetport }}
  selector:
    project: {{ .Values.labels.project }}
    app: {{ .Values.labels.app }}
  type: {{ .Values.service.type }}

$ vim mychart/templates/NOTES.txt 
---
Shell:
export NODE_PORT=$(kubectl get --namespace {{ .Release.Namespace }} -o jsonpath="{.spec.ports[0].nodePort}" services service-{{ .Release.Name }})
echo http://NODE_IP:$NODE_PROT
$ helm install web mychart --dry-run   #测试执行
$ helm install web mychart   #直接安装，即可使用
$ helm  show values mychart  #查看values
$ helm install web mychart --dry-run --set image.tag="1.17" --set image.repository="apache"   #测试渲染资源参数
$ helm install web2 mychart/ --set image.repository="lizhenliang/java-demo" --set image.tag="latest" --set labels.app="ms2" --set service.targetport="8080"  #多应用部署

调试使用--dry-run

Values

Values对象是为Chart模板提供值，这个对象的值有4个来源：

  • chart 包中的 values.yaml 文件

  • 父 chart 包的 values.yaml 文件

  • 通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件

  • 通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖，而该文件同样可以被 --set提供的参数所覆盖。

管道与函数

前面讲的模块，其实就是将值传给模板引擎进行渲染，模板引擎还支持对拿到数据进行二次处理。

例如从.Values中读取的值变成字符串，可以使用quote函数实现：

$ vim mychart/values.yaml
nodeSelector:
  disktype: ssd
$ vim mychart/templates/deployment.yaml 
    spec:
      nodeSelector:
        disktype: {{ quote .Values.nodeSelector.disktype }}
        gpu: {{ .Values.nodeSelector.gpu | default "yes" }}
      containers:
$ helm install web3 mychart/ --dry-run

其他函数：

缩进：{{ .Values.resources | indent 12 }}

大写：{{ upper .Values.resources }}

首字母大写：{{ title .Values.resources }}

流程控制

流程控制是为模板提供了一种能力，满足更复杂的数据逻辑处理。

Helm模板语言提供以下流程控制语句：

  • if/else 条件块
  • with 指定范围
  • range 循环块

if

if/else块是用于在模板中有条件地包含文本块的方法，条件块的基本结构如下：

{{ if PIPELINE }}
  # Do something
{{ else if OTHER PIPELINE }}
  # Do something else
{{ else }}
  # Default case
{{ end }}
  • 实例
$ vim mychart/values.yaml
labels:
  project: www
  app: ms
  devops: k8s
$ vim mychart/templates/deployment.yaml 
  template:
    metadata:
      labels:
        project: {{ .Values.labels.project }}
        app: {{ .Values.labels.app }}
        {{- if eq .Values.labels.devops "k8s" }}
        devops: 123
        {{- else }}
        devops: 456
        {{- end }}

语句中的-是为了消除空行，在左侧是删除空行，[右侧是同行，比较少用]

条件判断就是判断条件是否为真，如果值为以下几种情况则为false：

  • 一个布尔类型的 false

  • 一个数字 零

  • 一个 空的字符串

  • 一个空的集合（ map、 slice、 tuple、 dict、 array）

除了上面的这些情况外，其他所有条件都为 真。

例如，判断一个空的数组

$ vim mychart/values.yaml
resources: {}
  # limits:
  #   cpu: 100m
  #   memory: 128Mi
  # requests:
  #   cpu: 100m
  #   memory: 128Mi

$ vim mychart/templates/deployment.yaml
....
    spec:
      nodeSelector:
        disktype: {{ quote .Values.nodeSelector.disktype }}
        gpu: {{ .Values.nodeSelector.gpu | default "yes" }}
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
        name: nginx
        {{- if .Values.resources }} 
        resources:
{{ toYaml .Values.resources | indent 10 }}
        {{- else }}
        resources: {}
        {{- end }}
$ helm install web1 mychart --dry-run    # 调试解析字段

$ vim mychart/values.yaml       #去掉注释和resources后面的{} 
resources: 
  limits:
    cpu: 100m
    memory: 128Mi
  requests:
    cpu: 100m
    memory: 128Mi

$ helm install web1 mychart --dry-run
  • 开关实现
$ vim mychart/values.yaml
ingress:
  enabled: false
  host: example.cropy.cn

$ vim mychart/templates/ingress.yaml 
{{- if .Values.ingress.enabled -}}
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: {{ .Release.Name }}-ingress
spec:
  rules:
  - host: {{ .Values.ingress.host }}
    http:
      paths:
      - path: /
        backend:
          serviceName: {{ .Release.Name }}
          servicePort: {{ .Values.service.port }}
{{ end }}

$ helm install web1 mychart --dry-run

range

在 Helm 模板语言中，使用 range关键字来进行循环操作。

$ vim mychart/values.yaml
test:
  - 1
  - 2
  - 3

$ vim mychart/templates/configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: {{ .Release.Name }}
data:
  test: |
  {{- range .Values.test }}
    {{ . }}
  {{- end }}

$ helm install web1 mychart --dry-run

with

控制变量的作用域,也可以使用toYaml

还记得之前我们的 {{.Release.xxx}}或者 {{.Values.xxx}}吗？其中的 .就是表示对当前范围的引用， .Values就是告诉模板在当前范围中查找 Values对象的值。而 with语句就可以来控制变量的作用域范围，其语法和一个简单的 if语句比较类似：

$ vim mychart/values.yaml
nodeSelector:
  disktype: ssd
  gpu: ok

$ vim mychart/templates/deployment.yaml 
      {{- with .Values.nodeSelector }}
      nodeSelector:
        disktype: {{ .disktype }}
        gpu: {{ .gpu }}
      {{- end }}
$ helm install web1 mychart --dry-run 
### toYaml 格式
$ vim mychart/templates/deployment.yaml 
{{- with .Values.nodeSelector }}
      nodeSelector:
        {{- toYaml . | nindent 8 }}
      {{- end }}
$ helm install web1 mychart --dry-run

上面增加了一个{{- with .Values.nodeSelector}} xxx {{- end }}的一个块，这样的话就可以在当前的块里面直接引用 .team和 .gpu了。

with是一个循环构造。使用.Values.nodeSelector中的值：将其转换为Yaml。

toYaml之后的点是循环中.Values.nodeSelector的当前值

变量

接下来学习一个语言中基本的概念：变量，在模板中，使用变量的场合不多，但我们将看到如何使用它来简化代码，并更好地利用with和range

问题1：获取数组键值

$ vim mychart/values.yaml
env:
  NAME: "gateway"
  JAVA_OPTS: "-Xmx1G"
$ vim mychart/templates/deployment.yaml
        - image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
        name: nginx
        env:
        {{- range $k,$v := .Values.env }}
          - name: {{ $k }}
            value: {{ $v | quote }}
        {{- end }}
$ helm install web1 mychart --dry-run

上面在 range循环中使用 $key和 $value两个变量来接收后面列表循环的键和值。

问题2：with中不能使用内置对象

with语句块内不能再 .Release.Name对象，否则报错。

我们可以将该对象赋值给一个变量可以来解决这个问题：

  • 错误配置
$ vim mychart/templates/deployment.yaml
    spec:
      {{- with .Values.nodeSelector }}
      nodeSelector:
        {{- toYaml . | nindent 8 }}
        gpu: ok{{ .Release.Name }}
      {{- end }}

$ helm install web1 mychart --dry-run   
Error: template: mychart/templates/deployment.yaml:25:26: executing "mychart/templates/deployment.yaml" at <.Release.Name>: nil pointer evaluating interface {}.Name
  • 使用变量引用
$ vim mychart/templates/deployment.yaml
spec:
      {{- $releaseName := .Release.Name -}}
      {{- with .Values.nodeSelector }}
      nodeSelector:
        {{- toYaml . | nindent 8 }}
        gpu: ok{{ $releaseName }}
      {{- end }}
$ vim mychart/templates/deployment.yaml

可以看到在 with语句上面增加了一句 {{-$releaseName:=.Release.Name-}}，其中 $releaseName就是后面的对象的一个引用变量，它的形式就是 $name，赋值操作使用 :=，这样 with语句块内部的 $releaseName变量仍然指向的是 .Release.Name

命名模板

需要复用代码的地方用。

命名模板：使用define定义，template引入，在templates目录中默认下划线_开头的文件为公共模板(_helpers.tpl)

$ vim mychart/templates/_helpers.tpl
{{- define "demo.fullname" -}}
{{- .Chart.Name -}}-{{ .Release.Name }}
{{- end -}}
{{- define "demo.labels" -}}
app: {{ template "demo.fullname" . }}
chart: "{{ .Chart.Name }}-{{ .Chart.Version }}"
release: "{{ .Release.Name }}"
{{- end -}}
$ mychart/templates/deployment.yaml 
metadata:
  name: {{ include "demo.fullname" . }}
  labels:
    {{- include "demo.labels" . | nindent 4 }}
$ helm install web1 mychart --dry-run

template指令是将一个模板包含在另一个模板中的方法。但是，template函数不能用于Go模板管道。为了解决该问题，增加include功能。

开发Chart： java示例

开发Chart大致流程：

  1. 先创建模板 helm create demo
  2. 修改Chart.yaml，Values.yaml，添加常用的变量
  3. 在templates目录下创建部署镜像所需要的yaml文件，并变量引用yaml里经常变动的字段

先创建模板

$  cd ~/lesson/helm/
$ helm create demo

修改Chart.yaml，Values.yaml，添加常用的变量

  • 修改values.yaml
$ cd ~/lesson/helm/demo/ && vim values.yaml 
replicaCount: 1
image:
  repository: lizhenliang/java-demo
  tag: "latest"

service:
  type: ClusterIP
  port: 80
  targetport: 8080

ingress:
  enabled: false
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  hosts: example.cropy.cn
  tls: []
  #  - secretName: example-cropy-cn-tls

resources:
  limits:
    cpu: 2000m
    memory: 1Gi
  requests:
    cpu: 100m
    memory: 128Mi
  • 修改_helpers.tpl (子模板)
$ vim templates/_helpers.tpl
{{- define "demo.fullname" -}}
{{- .Chart.Name }}-{{ .Release.Name }}
{{- end -}}
{{/*标签选择器*/}}
{{- define "demo.selectorLabels" -}}
app: {{ template "demo.fullname" . }}
release: {{ .Release.Name }}
{{- end -}}
{{/*公共标签选择器*/}}
{{- define "demo.labels" -}}
app: {{ template "demo.fullname" . }}
release: {{ .Release.Name }}
chart: {{ .Chart.Name }}
{{- end -}}

在templates目录下创建部署镜像所需要的yaml文件，并变量引用yaml里经常变动的字段

  • 生成deployment.yaml，service.yaml， ingress等文件
$ cd demo/templates/ && rm -fr *
$ touch NOTES.txt && touch _helpers.tpl
$ kubectl create deployment web --image=nginx:1.16 --dry-run=client -o yaml > deployment.yaml
$ vim deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    {{- include "demo.labels" . | nindent 4 }}
  name: {{ include "demo.fullname" . }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      {{- include "demo.selectorLabels" . | nindent 6}}
  template:
    metadata:
      labels:
        {{- include "demo.selectorLabels" . | nindent 8}}
    spec:
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tag }}
        name: web
        {{- if .Values.resources }}
        resources:
          {{ toYaml .Values.resources | nindent 10 }}
        {{- else }}
        resources: {}
        {{- end }}

$ kubectl create deployment web --image=nginx:1.16
$ kubectl expose deployment web --port=80 --target-port=80 --type=NodePort --name=web --dry-run=client -o yaml > service.yaml
$ vim service.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    {{- include "demo.labels" . | nindent 4 }}
  name: {{ include "demo.fullname" . }}
spec:
  ports:
  - port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.service.targetport }}
  selector:
    {{- include "demo.selectorLabels" . | nindent 4}}
  type: {{ .Values.service.type }}uu87                                                                                       

$ kubectl delete deployment web
$ vim ingress.yaml
{{- if .Values.ingress.enabled -}}
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: {{ include "demo.fullname" . }}
  labels:
    {{- include "demo.labels" . | nindent 4 }}
spec:
  rules:
  - host: {{ .Values.ingress.host }}
    http:
      paths:
      - path: /
        backend:
          serviceName: {{ include "demo.fullname" . }}
          servicePort: {{ .Values.service.port }}
{{- end }}

$ helm install web1 ../demo --dry-run     #调试
  • 修改NOTES.txt
$ vim templates/NOTES.txt 
---
访问地址：
{{- if .Values.ingress.enabled }}
  http://{{ .Values.ingress.host }}
{{- end }}
{{- if contains "NodePort" .Values.service.type }}
  export NODE_PORT=$(kubectl get --namespace {{ .Release.Namespace }} -o jsonpath="{.spec.ports[0].nodePort}" services {{ include "demo.fullname" . }})
  export NODE_IP=$(kubectl get nodes --namespace {{ .Release.Namespace }} -o jsonpath="{.items[0].status.addresses[0].address}")
  echo http://${NODE_IP}:${NODE_PORT}

{{- else if contains "ClusterIP" .Values.service.type }}
  export POD_NAME=$(kubectl get pods --namespace {{ .Release.Namespace }} -l "app.kubernetes.io/name={{ include "demo.fullname" . }},app.kubernetes.io/instance={{ .Release.Name }}" -o jsonpath="{.items[0]
.metadata.name}")
{{- end }}

使用Harbor作为Chart仓库

0、启用Harbor的Chart仓库服务

  • 配置好harbor到k8s集群insecure-registry

1、启用Harbor的Chart仓库服务

$ ./install.sh --with-chartmuseum

启用后，默认创建的项目就带有helm charts功能了。

2、安装push插件

https://github.com/chartmuseum/helm-push 

$ helm plugin install https://github.com/chartmuseum/helm-push

如果网络下载不了，也可以直接解压课件里包：

$ tar zxvf helm-push_0.7.1_linux_amd64.tar.gz
$ mkdir -p /root/.local/share/helm/plugins/helm-push
$ chmod +x bin/*
$ mv bin plugin.yaml /root/.local/share/helm/plugins/helm-push

3、添加repo

$ helm repo add  --username admin --password Harbor12345 myrepo https://hub.cropy.cn/chartrepo/library

4、推送与安装Chart

$ helm push mysql-1.4.0.tgz --username=admin --password=Harbor12345 https://hub.cropy.cn/chartrepo/library
$ helm install web --version 1.4.0 myrepo/demo