Fabric-solo on k8s

Fabric-solo on k8s

本文主要内容：

1. 为简化实验，将e2e_cli多组织，改为单组织，部署solo共识算法，此时无需kafka/zookeeper集群，另，e2e_cli demo不需要ca等
2. 将e2e_cli下orderer、peer0.org1、peer1.org1、cli等docker-compose yaml文件转化为k8s文件
3. 搭建k8s with flannel集群
4. 修改dns,fabric实例化链码，将启动一个docker容器，该容器在k8s环境外，但仍在flannel网络下，需要修改docker的dns,以便链码容器能够解析道k8s集群中的地址
5. 启动fabric on k8s,测试e2e_cli

说明：本实验中的yaml文件配置，是按绝对路径设置的，若需，请按本实验环境的fabric路径或者，修改yaml文件/测试脚本中的路径。
本文Fabric文件路径：

/root/go/src/github.com/hyperledger/fabric/examples/e2e_cli

另，本次实验，为纯手动模式，未使用nfs共享配置，未进行数据持久化，未对链码容器进行监控。

将e2e_cli修改为单组织

手动部署，需要对移植的yaml文件进行大量的修改配置，为了减少修改yaml文件中的配置。修改为单组织，只需要删除configx.yaml中org2、org3的部分，删除docker-compose-cli.yaml中有关org2的部分，删掉base/docker-compose-base.yaml有关org2的部分，修改scripts/script.sh,去掉有关org2、org3的加入通道、安装链码、操作、查询链码等部分，修改joinChannel()函数，去掉org2。

此部分较为简单，为了后续在k8s上部署成功，需要此部分单组织的功能验证，以及正确的配置文件。

详细修改内容即测试，见本人的Hyperledger fabric with one org。
另,该部分内容，已经放到github上，可以直接拉取下来使用，scylhy/e2e_cli.one.org。

此外，k8s 不支持用点组成的容器名，所以上述的文件，还需做相应的更改。
k8s的namespace将各pod分割开来，其域名解析就是 podhostname.namespace,这样就可以对Fabric原来的域名方式进行简单修改，即可使用。
同时，我也尝试过将他们放在一个块，即同一个域名下，对于k8s来说，他们都在default namespace,但当时因为k8s集群dns出现问题，没有实验成功。
后来是直接按划分组织的方式进行实验，并取得成功的。
适应k8s，修改组织域名情况：

组织/节点	原域名	适应k8s，更改后的域名
orderer	orderer.exmaple.com	orderer.ord
org1	org1.example.com	org1
peer0.org1	peer0.org1.example.com	peer0.org1
peer1.org1	peer1.org1.example.com	peer1.org1

搭建k8s集群

因为我这只剩一台可用的服务器，所以试验时，采用单节点集群，集群部署后，一定要测试好dns,使节点能够互相解析到。

搭建单节点的k8s集群，见我的Creating a single master cluster with kubeadm。
若需多节点，可参考kubeadm 搭建k8s集群。

配置docker dns

因为链码容器是在k8s之外，所以链码容器无法解析到k8s集群中的域名，但是，可以为docker容器添加k8s的kube-dns服务的ip，让docker容器解析k8s内容域名时，可通过kube-dns解析到。

首先，确定k8s的kube-dns的ip，即域名服务器的ip：

root@hw1:~# kubectl get svc -n kube-system -owide
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE   SELECTOR
kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP   11h   k8s-app=kube-dns
root@hw1:~# 

得到k8s集群域名服务器地址为10.96.0.10，此外还需要确定搜索的域名，可通过启动一个busybox查看其/etc/resov.conf文件：

root@hw1:~# kubectl exec -it busybox /bin/sh
/ # cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local openstacklocal
options ndots:5
/ # 

这里，我们得到k8s集群搜索的域名：

default.svc.cluster.local svc.cluster.local cluster.local

以及，一个参数ndots:5,该参数的意思是搜索几层域名，k8s中一般搜索5层即可解析到域名。

修改docker配置，在/etc/docker/daemon.json中添加如下参数：

{
   "dns":["127.0.0.53","10.96.0.10"],
   "dns-search" : ["default.svc.cluster.local","svc.cluster.local","cluster.local"],
   "dns-opts": ["ndots:5"]
}

以上三种参数缺一不可，不可打错，其中127.0.0.53为宿主机的使用的域名服务器。

重启docker服务

root@hw1:~# systemctl restart docker

启动一个docker容器，查看dns是否设置正确：

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# cat /etc/resolv.conf 
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 127.0.0.53
nameserver 10.96.0.10
options ndots:5
root@9c926041b6bd:/# 

稍后，在启动fabric后，再测试外部容器是否能够解析到k8s中fabric的节点。

启动fabric

首先，确保e2e_cli中设计的orderer.example、peer0.org1.example.com、peer1.org1.example.com已经改为orderer.ord、peer0.org1、peer1.org1,其他如ca、kafka、zookeeper此时试验不需要，直接删除即可。

k8s需要的yaml文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli/k8s.solo# tree
.
├── cli
│   └── cli.yaml //cli容器
├── order
│   ├── orderer-deployment.yaml 
│   ├── orderer-service.yaml
│   └── ord-name.yaml //ord namespace
├── org1
│   ├── org1-name.yaml //org1 namespace
│   ├── peer0.yaml
│   └── peer1.yaml
├── startall.sh
└── stopall.sh

上述涉及namespace、deployment(pod的一种副本管理器)、service三种资源。
a) namespace可以隔离相关资源，本试验用它来分隔组织，并且可以作为域名的一部分，如hostname.namespace以此解析道隔离外的pod。
b) deployment是一个pod的副本管理器，管理其生命周期等，方便扩容等，注意它是无状态的，部署solo时，尚可，但在部署kfk/zk需要使用stateful set。
c) service，通过label和pod相关联，关联后会创建endpoints,这样通过dns解析service找到对应的pod ip，可以访问到后端的pod,如此，解决了pod ip易变的情况。

这里，访问peer0,orderer,便可以通过配置的域名，peer0.org1,orderer.ord，对于k8s来说就是serviceName.namespace，解析到pod的ip，进而创建fabric需要的连接。

上述文件，可通过scylhy/e2e_cli.one.org获取，使用时需要注意fabric工程的位置。

生成密钥等文件

root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli# ./generateArtifacts.sh 

启动fabric

./startall.sh
root@hw1:~# kubectl get pods -n ord
NAME                       READY   STATUS    RESTARTS   AGE
orderer-7674786cd7-hlm4q   1/1     Running   0          12h
root@hw1:~# kubectl get pods -n org1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456

测试

测试前，需要确保docker容器可以解析道k8s内service ip；确保测试用的e2e_cli/script/script.sh已经对应修改完成。

测试docker容器，可以解析到k8s的service：

root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# apt update
root@9c926041b6bd:/# apt install dnsutils -y
root@9c926041b6bd:/# nslookup orderer.ord
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	orderer.ord.svc.cluster.local
Address: 10.244.0.5

root@9c926041b6bd:/# nslookup peer0.org1 
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	peer0.org1.svc.cluster.local
Address: 10.101.100.62

root@9c926041b6bd:/# nslookup peer1.org1
Server:		10.96.0.10
Address:	10.96.0.10#53

Name:	peer1.org1.svc.cluster.local
Address: 10.103.73.88

root@9c926041b6bd:/# 

测试fabric:

root@hw1:~# kubectl get pods -norg1
NAME                     READY   STATUS    RESTARTS   AGE
cli-78865578c4-7994x     1/1     Running   12         12h
peer0-69f897ccbf-nl8qm   1/1     Running   0          12h
peer1-7df4868456-l8t68   1/1     Running   0          12h
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh

root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh

 ____    _____      _      ____    _____           _____   ____    _____ 
/ ___|  |_   _|    / \    |  _ \  |_   _|         | ____| |___ \  | ____|
\___ \    | |     / _ \   | |_) |   | |    _____  |  _|     __) | |  _|  
 ___) |   | |    / ___ \  |  _ <    | |   |_____| | |___   / __/  | |___ 
|____/    |_|   /_/   \_\ |_| \_\   |_|           |_____| |_____| |_____|

Channel name : mychannel
org1
CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/ca.crt
CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.key
CORE_PEER_LOCALMSPID=Org1MSP
CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock
CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.crt
CORE_PEER_LOCALMSPTYPE=bccsp
CORE_PEER_ADDRESSAUTODETECT=true
CORE_PEER_TLS_ENABLED=true
CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/users/Admin@org1/msp
CORE_PEER_ID=cli
CORE_LOGGING_LEVEL=DEBUG
CORE_PEER_ADDRESS=peer0.org1:7051
===================== Querying on peer0.org1 on channel 'mychannel'... ===================== 
Attempting to Query peer0.org1 ...3 secs

value is 100
===================== Query successful on peer0.org1 on channel 'mychannel' ===================== 
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# 

测试过程中，会实例化一个链码容器，查看链码容器日志，之后链码查询，链码容器会输出查询结果：

root@hw1:~# docker ps
CONTAINER ID        IMAGE                                                                                      COMMAND                  CREATED             STATUS              PORTS               NAMES

11bd29a1008f        dev-peer0.org1-mycc-1.0-4fac5ccda796c8f3c437d6950858e40cf37ea6bfa1f179a8ae8aa49ddc58b359   "chaincode -peer.add…"   12 hours ago        Up 12 hours                             dev-peer0.org1-mycc-1.0

root@hw1:~# docker logs -f 11bd29a1008f  
ex02 Init
Aval = 100, Bval = 200
ex02 Invoke
Query Response:{"Name":"a","Amount":"100"}

后续工作

1. 在k8s上部署kfk/zk集群，试验fabric witch kfk/zk consensus on k8s
2. 数据持久化操作，保存fabric账本数据
3. 链码容器监控，因其不在k8s上，所以要自己管理其生命周期，监控其状态，以及如何更好的好k8s配置
4. 简易化操作，自动化部署fabric on k8s
5. 在k8s上测试fabric各组件的可靠性

文件获取

1. scylhy/e2e_cli.one.org
2. scylhy/fabric.k8s

参考资料

1. Creating a single master cluster with kubeadm
2. “Failed to setup network for pod \ using network plugins “cni”: no IP addresses available in network: podnet; Skipping pod”
3. Local DNS or Public DNS, why not both? (/etc/docker/daemon.json)
4. 在 Kubernetes 上部署 Hyperledger Fabric v1.2 Solo（二）