k8s安装gitlab
一、gitlab介绍
1.gitlab简介
Gitlab是一个开源分布式版本控制系统，由Ruby开发，有管理项目源代码、版本控制、代码复用与查找等功能。
2.gitlab的特点
1. 开源免费，社区免费版本适合中小型公司；
2. 差异化的版本管理，离线同步以及强大分支管理功能；
3. 便捷的GUI操作界面以及强大账户权限管理功能；
4. 集成度很高，能够集成绝大多数的开发工具；
3.github和gitlab区别
github是分布式在线代码托管仓库，个人版本可直接在线免费使用，企业版本收费且需要服务器安装。
gitlab是分布式在线代码仓库托管软件，分社区免费版本与企业收费版本，都需要服务器安装。
二、检查本地k8s集群状态
[root@k8s-master gitlab]# kubectl get nodes -owide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-master Ready control-plane,master 4d16h v1.23.1 192.168.3.201
k8s-node01 Ready
k8s-node02 Ready
三、配置并启动rpccbind和nfs-kernel-server服务
NFS文件系统仅占用系统挂载点。
NFS服务器设定好分享的目录/home/k8s-nfs/，其他客服端就可以将这个目录挂载到自己系统上的挂载点上，/home/k8s-nfs/就像自己的一个分区，但不占用自己的磁盘空间。
虽然NFS有自己的协议及端口号，但是在传送数据或其他相关信息时，NFS使用的是远程过程调用（Remote Procedure Call，RPC）协议来协助NFS本身的运作。
NFS服务器需要启用至少两个后台进程，rpc.nfsd 这个后台进程主要的功能是管理客户机是否有登入主机的权利，其中还包含对这个登入者ID的判断。rcp.mountd的功能是管理NFS的文件系统，当客服机端顺利通过rpc.nfsd登入主机后，在使用nfs服务器提供的文件之前，还需要经过文件使用权限的认证。系统会读取NFS的配置文件/etc/exports来对比客户机的权限，通过检测后，客服机就可以取得使用NFS文件的权限。
Ubuntu服务器端是nfs-kernel-server。
NFS的安装只需要安装rpcbind与nfs-server就可以对外提供服务了。
为了使NFS服务器能正常工作，需要启动rpcbind和nfs-kernel-server两个服务，并且rpcbind一定要先于nfs-kernel-server启动。
1. 配置并启动rpccbind和nfs-kernel-server服务
sudo service rpcbind start
sudo service nfs-kernel-server start
若要开机自启动nfs服务，可以通过sysv-rc-conf配置自启动服务。
apt-get install sysv-rc-conf
sudo sysv-rc-conf --level 35 rpcbind on
sudo sysv-rc-conf --level 35 nfs-kernel-server on
2.创建共享目录
在nfs服务器创建共享目录，部署的gitlib使用共享目录来进行持久化，这样不管在哪个节点运行gitlib都没有关系。
# mkdir -p /home/k8s-nfs/gitlab/config
# mkdir -p /home/k8s-nfs/gitlab/logs
# mkdir -p /home/k8s-nfs/gitlab/data
3.配置共享目录
vim /etc/exports
/home/k8s-nfs/gitlab/config *(insecure,rw,sync,no_root_squash,subtree_check)
/home/k8s-nfs/gitlab/logs *(insecure,rw,sync,no_root_squash,subtree_check)
/home/k8s-nfs/gitlab/data *(insecure,rw,sync,no_root_squash,subtree_check)
4.使配置生效
# exportfs -r
远程共享挂载需要开通四个端口，可以正常挂载了。
tcp 111 2049 端口
udp 111 4046 端口
NFS客户端的挂载:
客户端的挂载很简单，先建立一个挂载目录
# mkdir -p /home/k8s-nfs
手动挂载至本地/home/k8s-nfs/目录
sudo mount -t nfs 172.17.131.4:/home/k8s-nfs/ /home/k8s-nfs
之后客户端对应的文件目录便挂载上对应的文件系统了。
自动挂载（生产环境不建议自动挂载，如果服务器异常会导致客户端启动不起来）
vim /etc/fstab
172.17.131.4:/home/k8s-nfs /home/k8s-nfs nfs rw,netdev 0 0
原因分析：
在Linux内核启动的流程中，网络的启动是在本机文件系统挂载之后，所以直接利用 /etc/fstab 尝试挂载 NFS 时，系统由于尚未启动网络，是无法挂载成功的。
2. 部署gitlib
2.1 准备部署文件（gitlib-deploy.yaml）
#cat gitlab-deploy.yaml
apiVersion: v1
kind: Service
metadata:
name: gitlab
spec:
type: NodePort
ports:
# Port上的映射端口
- port: 443
targetPort: 443
nodePort: 31443
name: gitlab443
- port: 80
nodePort: 31080
targetPort: 80
name: gitlab80
- port: 22
targetPort: 22
name: gitlab22
selector:
app: gitlab
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: gitlab
spec:
selector:
matchLabels:
app: gitlab
revisionHistoryLimit: 2
template:
metadata:
labels:
app: gitlab
spec:
containers:
# 应用的镜像
- image: gitlab/gitlab-ce
name: gitlab
imagePullPolicy: IfNotPresent
# 应用的内部端口
ports:
- containerPort: 443
name: gitlab443
- containerPort: 80
name: gitlab80
- containerPort: 22
name: gitlab22
volumeMounts:
# gitlab持久化
- name: gitlab-persistent-config
mountPath: /etc/gitlab
- name: gitlab-persistent-logs
mountPath: /var/log/gitlab
- name: gitlab-persistent-data
mountPath: /var/opt/gitlab
imagePullSecrets:
- name: devops-repo
volumes:
# 使用nfs互联网存储
- name: gitlab-persistent-config
nfs:
server: 172.17.131.4
path: /home/k8s-nfs/gitlab/config
- name: gitlab-persistent-logs
nfs:
server: 172.17.131.4
path: /home/k8s-nfs/gitlab/logs
- name: gitlab-persistent-data
nfs:
server: 172.17.131.4
path: /home/k8s-nfs/gitlab/data
2.2 执行部署
# kubectl apply -f gitlib-deploy.yaml
2.3 查看部署结果
# kubectl get deploy
NAME READY UP-TO-DATE AVAILABLE AGE
gitlab 1/1 1 1 15m
以上说明部署完成。
3. gitlib初始化
3.1 访问登录页面
通过查看service映射的端口：
# kubectl get svc -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
Gitlab NodePort 10.104.247.91
可以看到映射80端口的节点端口为：31080
通过制定端口访问登录页：
3.2 初始用户名和密码
初始用户名为root，初始密码gitlib自动创建，在如下文件中：
cat /home/k8s-nfs/gitlab/config/initial_root_password
拷贝密码进行登录。文件内容类似：
# WARNING: This value is valid only in the following conditions
# 1. If provided manually (either via `GITLAB_ROOT_PASSWORD` environment variable or via `gitlab_rails['initial_root_password']` setting in `gitlab.rb`, it was provided before database was seeded for the first time (usually, the first reconfigure run).
# 2. Password hasn't been changed manually, either via UI or via command line.
#
# If the password shown here doesn't work, you must reset the admin password following https://docs.gitlab.com/ee/security/reset_user_password.html#reset-your-root-password.
Password: +uzp6caehgB3CJtz9ZojA+zRcMMIbFr2ik8eyyM9lT8=
# NOTE: This file will be automatically deleted in the first reconfigure run after 24 hours.
问题描述：在单机版k8s上部署应用后，发现Pod的状态一直处于pending状态，
于是 kubectl describe pods 查看了下发现：
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 10m default-scheduler 0/1 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate.
意思是 1个节点有pod不能容忍的污点{node-role.kubernetes.io/master:}。
原因：当创建单机版的 k8s 时，这个时候 master 节点是默认不允许调度 pod 。
解决：执行命令：
# kubectl taint nodes --all node-role.kubernetes.io/master-
将 master 标记为可调度即可