henry.zhu
henry.zhu

云计算虚拟化：k8s进阶-CRD项目部署

一. 前言

上一篇介绍了一个简单的，和MYSQL相关的CRD项目示例，并做了k8s集群本地运行测试，下面我们继续深入，把CRD项目部署到K8S集群内部，K8S进阶第一篇已经介绍了大致流程，本文主要涉及和部署相关的细节部分。

二. 部署步骤

2.1 make install
这部分前两篇都有涉及，不再累述。

2.2 check Dockerfile&yaml
这部分第一篇也有涉及，因为比较重要，这里再重述下，镜像部分可能会随时发生变更，请使用最新有效的镜像。
[root@k8s01 mydemo]# vi Dockerfile
# Build the manager binary
FROM golang:1.13 as builder

WORKDIR /workspace
ENV GOPROXY https://goproxy.cn/
ENV GO111MODULE on
…
#FROM gcr.io/distroless/static:nonroot
FROM registry.cn-hangzhou.aliyuncs.com/byteforce/distroless:nonroot
…
[root@k8s01 mydemo]# vi config/default/manager_auth_proxy_patch.yaml
…
#image: gcr.io/kubebuilder/kube-rbac-proxy:v0.5.0
image: registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy
image: registry.cn-hangzhou.aliyuncs.com/kubenode/kube-rbac-proxy:v0.4.0
…
2.3 部署
2.3.1 创建docker image
root@k8s01 K8S-CRD-Demo]# make docker-build docker-push IMG=registry.ips.com.cn/demo/mycontroller:v0.1.0
which: no controller-gen in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/go/bin:/usr/local/kubebuilder/bin)
go: creating new go.mod: module tmp
go: found sigs.k8s.io/controller-tools/cmd/controller-gen in sigs.k8s.io/controller-tools v0.2.5
/root/go/bin/controller-gen object:headerFile=“hack/boilerplate.go.txt” paths="./…"
go fmt ./…
go vet ./…
go: downloading github.com/onsi/gomega v1.8.1
go: downloading github.com/onsi/ginkgo v1.11.0
go: downloading golang.org/x/xerrors v0.0.0-20190717185122-a985d3407aa7
go: downloading github.com/hpcloud/tail v1.0.0
go: downloading gopkg.in/tomb.v1 v1.0.0-20141024135613-dd632973f1e7
/root/go/bin/controller-gen “crd:trivialVersions=true” rbac:roleName=manager-role webhook paths="./…" output:crd:artifacts:config=config/crd/bases
go test ./… -coverprofile cover.out
? K8S-CRD-Demo [no test files]
? K8S-CRD-Demo/api/v1 [no test files]
ok K8S-CRD-Demo/controllers 6.123s coverage: 0.0% of statements
docker build . -t registry.ips.com.cn/demo/mycontroller:v0.1.0
Sending build context to Docker daemon 40.35MB
Step 1/16 : FROM golang:1.13 as builder
1.13: Pulling from library/golang
d6ff36c9ec48: Downloading [===========> ] 11.12MB/50.4MB
c958d65b3090: Downloading
edaf0a6b092f: Download complete
80931cf68816: Downloading [===========> ] 10.89MB/51.83MB
813643441356: Downloading
799f41bb59c9: Waiting
16b5038bccc8: Waiting
1.13: Pulling from library/golang
d6ff36c9ec48: Pull complete
c958d65b3090: Pull complete
edaf0a6b092f: Pull complete
80931cf68816: Pull complete
813643441356: Pull complete
799f41bb59c9: Pull complete
16b5038bccc8: Pull complete
Digest: sha256:8ebb6d5a48deef738381b56b1d4cd33d99a5d608e0d03c5fe8dfa3f68d41a1f8
Status: Downloaded newer image for golang:1.13
—> d6f3656320fe
Step 2/16 : WORKDIR /workspace
—> Running in d1d69ffab6e8
Removing intermediate container d1d69ffab6e8
—> 3bf6b845f6eb
Step 3/16 : ENV GOPROXY https://goproxy.cn/
—> Running in cd216a5720cc
Removing intermediate container cd216a5720cc
—> 440ba9c74f05
Step 4/16 : ENV GO111MODULE on
—> Running in 653b6492cc5d
Removing intermediate container 653b6492cc5d
—> 0531f4d84e92
Step 5/16 : COPY go.mod go.mod
—> 8bac793c1061
Step 6/16 : COPY go.sum go.sum
—> 462a2041fc12
Step 7/16 : RUN go mod download
—> Running in eef58d5d7d3f
go: finding cloud.google.com/go v0.38.0
go: finding github.com/Azure/go-ansiterm v0.0.0-20170929234023-d6e3b3328b78
go: finding github.com/Azure/go-autorest/autorest v0.9.0
go: finding github.com/Azure/go-autorest/autorest/adal v0.5.0
go: finding github.com/Azure/go-autorest/autorest/date v0.1.0
go: finding github.com/Azure/go-autorest/autorest/mocks v0.2.0
go: finding github.com/Azure/go-autorest/logger v0.1.0
go: finding github.com/Azure/go-autorest/tracing v0.5.0
go: finding github.com/BurntSushi/toml v0.3.1
go: finding github.com/BurntSushi/xgb v0.0.0-20160522181843-27f122750802
go: finding github.com/NYTimes/gziphandler v0.0.0-20170623195520-56545f4a5d46
go: finding github.com/PuerkitoBio/purell v1.1.1
go: finding github.com/PuerkitoBio/urlesc v0.0.0-20170810143723-de5bf2ad4578
go: finding github.com/agnivade/levenshtein v1.0.1
go: finding github.com/alecthomas/template v0.0.0-20160405071501-a0175ee3bccc
go: finding github.com/alecthomas/units v0.0.0-20151022065526-2efee857e7cf
go: finding github.com/andreyvit/diff v0.0.0-20170406064948-c7f18ee00883
go: finding github.com/armon/consul-api v0.0.0-20180202201655-eb2c6b5be1b6
go: finding github.com/asaskevich/govalidator v0.0.0-20190424111038-f61b66f89f4a
go: finding github.com/beorn7/perks v1.0.0
go: finding github.com/bgentry/speakeasy v0.1.0
go: finding github.com/blang/semver v3.5.0+incompatible
go: finding github.com/client9/misspell v0.3.4
go: finding github.com/cockroachdb/datadriven v0.0.0-20190809214429-80d97fb3cbaa
go: finding github.com/coreos/etcd v3.3.10+incompatible
go: finding github.com/coreos/go-etcd v2.0.0+incompatible
go: finding github.com/coreos/go-oidc v2.1.0+incompatible
go: finding github.com/coreos/go-semver v0.3.0
go: finding github.com/coreos/go-systemd v0.0.0-20190321100706-95778dfbb74e
go: finding github.com/coreos/pkg v0.0.0-20180108230652-97fdf19511ea
go: finding github.com/cpuguy83/go-md2man v1.0.10
go: finding github.com/creack/pty v1.1.7
go: finding github.com/davecgh/go-spew v1.1.1
go: finding github.com/dgrijalva/jwt-go v3.2.0+incompatible
go: finding github.com/docker/docker v0.7.3-0.20190327010347-be7ac8be2ae0
go: finding github.com/docker/go-units v0.4.0
go: finding github.com/docker/spdystream v0.0.0-20160310174837-449fdfce4d96
go: finding github.com/docopt/docopt-go v0.0.0-20180111231733-ee0de3bc6815
go: finding github.com/dustin/go-humanize v1.0.0
go: finding github.com/elazarl/goproxy v0.0.0-20170405201442-c4fc26588b6e
go: finding github.com/emicklei/go-restful v2.9.5+incompatible
go: finding github.com/evanphx/json-patch v4.5.0+incompatible
go: finding github.com/fatih/color v1.7.0
go: finding github.com/fsnotify/fsnotify v1.4.7
go: finding github.com/ghodss/yaml v1.0.0
go: finding github.com/globalsign/mgo v0.0.0-20181015135952-eeefdecb41b8
go: finding github.com/go-kit/kit v0.8.0
go: finding github.com/go-logfmt/logfmt v0.3.0
go: finding github.com/go-logr/logr v0.1.0
go: finding github.com/go-logr/zapr v0.1.0
go: finding github.com/go-openapi/analysis v0.19.5
go: finding github.com/go-openapi/errors v0.19.2
go: finding github.com/go-openapi/jsonpointer v0.19.3
go: finding github.com/go-openapi/jsonreference v0.19.3
go: finding github.com/go-openapi/loads v0.19.4
go: finding github.com/go-openapi/runtime v0.19.4
go: finding github.com/go-openapi/spec v0.19.3
go: finding github.com/go-openapi/strfmt v0.19.3
go: finding github.com/go-openapi/swag v0.19.5
go: finding github.com/go-openapi/validate v0.19.5
go: finding github.com/go-stack/stack v1.8.0
go: finding github.com/gogo/protobuf v1.2.2-0.20190723190241-65acae22fc9d
go: finding github.com/golang/glog v0.0.0-20160126235308-23def4e6c14b
go: finding github.com/golang/groupcache v0.0.0-20180513044358-24b0969c4cb7
go: finding github.com/golang/mock v1.2.0
go: finding github.com/golang/protobuf v1.3.2
go: finding github.com/google/btree v1.0.0
go: finding github.com/google/go-cmp v0.3.0
go: finding github.com/google/gofuzz v1.0.0
go: finding github.com/google/martian v2.1.0+incompatible
go: finding github.com/google/pprof v0.0.0-20181206194817-3ea8567a2e57
go: finding github.com/google/uuid v1.1.1
go: finding github.com/googleapis/gax-go/v2 v2.0.4
go: finding github.com/googleapis/gnostic v0.3.1
go: finding github.com/gophercloud/gophercloud v0.1.0
go: finding github.com/gorilla/websocket v1.4.0
go: finding github.com/gregjones/httpcache v0.0.0-20180305231024-9cad4c3443a7
go: finding github.com/grpc-ecosystem/go-grpc-middleware v1.0.1-0.20190118093823-f849b5445de4
go: finding github.com/grpc-ecosystem/go-grpc-prometheus v1.2.0
go: finding github.com/grpc-ecosystem/grpc-gateway v1.9.5
go: finding github.com/hashicorp/golang-lru v0.5.1
go: finding github.com/hashicorp/hcl v1.0.0
go: finding github.com/hpcloud/tail v1.0.0
go: finding github.com/imdario/mergo v0.3.6
go: finding github.com/inconshreveable/mousetrap v1.0.0
go: finding github.com/jonboulle/clockwork v0.1.0
go: finding github.com/json-iterator/go v1.1.8
go: finding github.com/jstemmer/go-junit-report v0.0.0-20190106144839-af01ea7f8024
go: finding github.com/julienschmidt/httprouter v1.2.0
go: finding github.com/kisielk/errcheck v1.2.0
go: finding github.com/kisielk/gotool v1.0.0
go: finding github.com/konsorten/go-windows-terminal-sequences v1.0.1
go: finding github.com/kr/logfmt v0.0.0-20140226030751-b84e30acd515
go: finding github.com/kr/pretty v0.1.0
go: finding github.com/kr/pty v1.1.5
go: finding github.com/kr/text v0.1.0
go: finding github.com/magiconair/properties v1.8.0
go: finding github.com/mailru/easyjson v0.7.0
go: finding github.com/mattn/go-colorable v0.0.9
go: finding github.com/mattn/go-isatty v0.0.4
go: finding github.com/mattn/go-runewidth v0.0.2
go: finding github.com/matttproud/golang_protobuf_extensions v1.0.1
go: finding github.com/mitchellh/go-homedir v1.1.0
go: finding github.com/mitchellh/mapstructure v1.1.2
go: finding github.com/modern-go/concurrent v0.0.0-20180306012644-bacd9c7ef1dd
go: finding github.com/modern-go/reflect2 v1.0.1
go: finding github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822
go: finding github.com/mwitkow/go-conntrack v0.0.0-20161129095857-cc309e4a2223
go: finding github.com/mxk/go-flowrate v0.0.0-20140419014527-cca7078d478f
go: finding github.com/olekukonko/tablewriter v0.0.0-20170122224234-a0225b3f23b5
go: finding github.com/onsi/ginkgo v1.11.0
go: finding github.com/onsi/gomega v1.8.1
go: finding github.com/pborman/uuid v1.2.0
go: finding github.com/pelletier/go-toml v1.2.0
go: finding github.com/peterbourgon/diskv v2.0.1+incompatible
go: finding github.com/pkg/errors v0.8.1
go: finding github.com/pmezard/go-difflib v1.0.0
go: finding github.com/pquerna/cachecontrol v0.0.0-20171018203845-0dec1b30a021
go: finding github.com/prometheus/client_golang v1.0.0
go: finding github.com/prometheus/client_model v0.0.0-20190129233127-fd36f4220a90
go: finding github.com/prometheus/common v0.4.1
go: finding github.com/prometheus/procfs v0.0.2
go: finding github.com/remyoudompheng/bigfft v0.0.0-20170806203942-52369c62f446
go: finding github.com/rogpeppe/fastuuid v0.0.0-20150106093220-6724a57986af
go: finding github.com/russross/blackfriday v1.5.2
go: finding github.com/sergi/go-diff v1.0.0
go: finding github.com/sirupsen/logrus v1.4.2
go: finding github.com/soheilhy/cmux v0.1.4
go: finding github.com/spf13/afero v1.2.2
go: finding github.com/spf13/cast v1.3.0
go: finding github.com/spf13/cobra v0.0.5
go: finding github.com/spf13/jwalterweatherman v1.0.0
go: finding github.com/spf13/pflag v1.0.5
go: finding github.com/spf13/viper v1.3.2
go: finding github.com/stretchr/objx v0.2.0
go: finding github.com/stretchr/testify v1.4.0
go: finding github.com/tidwall/pretty v1.0.0
go: finding github.com/tmc/grpc-websocket-proxy v0.0.0-20170815181823-89b8d40f7ca8
go: finding github.com/ugorji/go/codec v0.0.0-20181204163529-d75b2dcb6bc8
go: finding github.com/urfave/cli v1.20.0
go: finding github.com/vektah/gqlparser v1.1.2
go: finding github.com/xiang90/probing v0.0.0-20190116061207-43a291ad63a2
go: finding github.com/xordataexchange/crypt v0.0.3-0.20170626215501-b2862e3d0a77
go: finding go.etcd.io/bbolt v1.3.3
go: finding go.etcd.io/etcd v0.0.0-20191023171146-3cf2f69b5738
go: finding go.mongodb.org/mongo-driver v1.1.2
go: finding go.opencensus.io v0.21.0
go: finding go.uber.org/atomic v1.3.2
go: finding go.uber.org/multierr v1.1.0
go: finding go.uber.org/zap v1.10.0
go: finding golang.org/x/crypto v0.0.0-20190820162420-60c769a6c586
go: finding golang.org/x/exp v0.0.0-20190312203227-4b39c73a6495
go: finding golang.org/x/image v0.0.0-20190227222117-0694c2d4d067
go: finding golang.org/x/lint v0.0.0-20190313153728-d0100b6bd8b3
go: finding golang.org/x/mobile v0.0.0-20190312151609-d3739f865fa6
go: finding golang.org/x/net v0.0.0-20191004110552-13f9640d40b9
go: finding golang.org/x/oauth2 v0.0.0-20190604053449-0f29369cfe45
go: finding golang.org/x/sync v0.0.0-20190423024810-112230192c58
go: finding golang.org/x/sys v0.0.0-20190826190057-c7b8b68b1456
go: finding golang.org/x/text v0.3.2
go: finding golang.org/x/time v0.0.0-20190308202827-9d24e82272b4
go: finding golang.org/x/tools v0.0.0-20190920225731-5eefd052ad72
go: finding golang.org/x/xerrors v0.0.0-20190717185122-a985d3407aa7
go: finding gomodules.xyz/jsonpatch/v2 v2.0.1
go: finding gonum.org/v1/gonum v0.0.0-20190331200053-3d26580ed485
go: finding gonum.org/v1/netlib v0.0.0-20190331212654-76723241ea4e
go: finding google.golang.org/api v0.4.0
go: finding google.golang.org/appengine v1.5.0
go: finding google.golang.org/genproto v0.0.0-20190502173448-54afdca5d873
go: finding google.golang.org/grpc v1.23.1
go: finding gopkg.in/alecthomas/kingpin.v2 v2.2.6
go: finding gopkg.in/check.v1 v1.0.0-20180628173108-788fd7840127
go: finding gopkg.in/cheggaaa/pb.v1 v1.0.25
go: finding gopkg.in/fsnotify.v1 v1.4.7
go: finding gopkg.in/inf.v0 v0.9.1
go: finding gopkg.in/natefinch/lumberjack.v2 v2.0.0
go: finding gopkg.in/resty.v1 v1.12.0
go: finding gopkg.in/square/go-jose.v2 v2.2.2
go: finding gopkg.in/tomb.v1 v1.0.0-20141024135613-dd632973f1e7
go: finding gopkg.in/yaml.v2 v2.2.4
go: finding gotest.tools v2.2.0+incompatible
go: finding honnef.co/go/tools v0.0.0-20190523083050-ea95bdfd59fc
go: finding k8s.io/api v0.17.2
go: finding k8s.io/apiextensions-apiserver v0.17.2
go: finding k8s.io/apimachinery v0.17.2
go: finding k8s.io/apiserver v0.17.2
go: finding k8s.io/client-go v0.17.2
go: finding k8s.io/code-generator v0.17.2
go: finding k8s.io/component-base v0.17.2
go: finding k8s.io/gengo v0.0.0-20190822140433-26a664648505
go: finding k8s.io/klog v1.0.0
go: finding k8s.io/kube-openapi v0.0.0-20191107075043-30be4d16710a
go: finding k8s.io/utils v0.0.0-20191114184206-e782cd3c129f
go: finding modernc.org/cc v1.0.0
go: finding modernc.org/golex v1.0.0
go: finding modernc.org/mathutil v1.0.0
go: finding modernc.org/strutil v1.0.0
go: finding modernc.org/xc v1.0.0
go: finding sigs.k8s.io/controller-runtime v0.5.0
go: finding sigs.k8s.io/structured-merge-diff v1.0.1-0.20191108220359-b1b620dd3f06
go: finding sigs.k8s.io/yaml v1.1.0
Removing intermediate container eef58d5d7d3f
—> 7c447875326e
Step 8/16 : COPY main.go main.go
—> 53283e3d732a
Step 9/16 : COPY api/ api/
—> 895005f49145
Step 10/16 : COPY controllers/ controllers/
—> fb0d4b5270cb
Step 11/16 : RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 GO111MODULE=on go build -a -o manager main.go
—> Running in 6f74881f1d7e
Removing intermediate container 6f74881f1d7e
—> 2aed192f48a7
Step 12/16 : FROM registry.cn-hangzhou.aliyuncs.com/byteforce/distroless:nonroot
nonroot: Pulling from byteforce/distroless
4000adbbc3eb: Pull complete
3c2cba919283: Pull complete
Digest: sha256:d0f414c64bdb0ceebea651b14ad5be9a281a7a1d67751f9de419316390239b62
Status: Downloaded newer image for registry.cn-hangzhou.aliyuncs.com/byteforce/distroless:nonroot
—> 25b8fd42ff36
Step 13/16 : WORKDIR /
—> Running in 4e9ec37c3b8e
Removing intermediate container 4e9ec37c3b8e
—> 5f9f617e4efa
Step 14/16 : COPY --from=builder /workspace/manager .
—> dc95d0f548cf
Step 15/16 : USER nonroot:nonroot
—> Running in 0c6439a5121a
Removing intermediate container 0c6439a5121a
—> e88a2bfd301a
Step 16/16 : ENTRYPOINT ["/manager"]
—> Running in 9181c4f94fc3
Removing intermediate container 9181c4f94fc3
—> 39220582249a
Successfully built 39220582249a
Successfully tagged registry.ips.com.cn/demo/mycontroller:v0.1.0
docker push registry.ips.com.cn/demo/mycontroller:v0.1.0
The push refers to repository [registry.ips.com.cn/demo/mycontroller]
Get https://registry.ips.com.cn/v2/: dial tcp: lookup registry.ips.com.cn on 114.114.114.114:53: no such host
make: *** [docker-push] Error 1
解决方法：如果无法连接镜像仓库，可以导出导入镜像到对应节点

2.3.2 导出导入镜像；如果镜像仓库可用，请跳过此步。
[root@k8s01 K8S-CRD-Demo]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.ips.com.cn/demo/mycontroller v0.1.0 0a62c7b3c0cc 9 seconds ago 43.9MB
…
[root@k8s01 home]# docker save -o mycon.tar registry.ips.com.cn/demo/mycontroller:v0.1.0
[root@k8s01 home]# scp mycon.tar k8s02:/home/
[root@k8s01 home]# scp mycon.tar k8s03:/home/
[root@k8s02 home]# docker load -i mycon.tar
d72a74c56330: Loading layer [==================================================>] 3.031MB/3.031MB
84ff92691f90: Loading layer [==================================================>] 10.24kB/10.24kB
8a1827160e35: Loading layer [==================================================>] 42.12MB/42.12MB
Loaded image: registry.ips.com.cn/demo/mycontroller:v0.1.0
[root@k8s02 home]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.ips.com.cn/demo/mycontroller v0.1.0 0a62c7b3c0cc 2 minutes ago 43.9MB
mysql 5.7 f07dfa83b528 34 hours ago 448MB
quay.io/coreos/flannel v0.11.0-amd64 ff281650a721 23 months ago 52.6MB
cargo.caicloud.io/caicloud/pause-amd64 3.1 da86e6ba6ca1 3 years ago 742kB
[root@k8s03 home]# docker load -i mycon.tar
d72a74c56330: Loading layer [==================================================>] 3.031MB/3.031MB
84ff92691f90: Loading layer [==================================================>] 10.24kB/10.24kB
8a1827160e35: Loading layer [==================================================>] 42.12MB/42.12MB
Loaded image: registry.ips.com.cn/demo/mycontroller:v0.1.0
[root@k8s03 home]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
registry.ips.com.cn/demo/mycontroller v0.1.0 0a62c7b3c0cc About a minute ago 43.9MB
mysql 5.7 697daaecf703 11 days ago 448MB
quay.io/coreos/flannel v0.11.0-amd64 ff281650a721 23 months ago 52.6MB
cargo.caicloud.io/caicloud/pause-amd64 3.1 da86e6ba6ca1 3 years ago 742kB
[root@k8s03 home]#

2.3.3 部署
[root@k8s01 K8S-CRD-Demo]# make deploy IMG=registry.ips.com.cn/demo/mycontroller:v0.1.0
which: no controller-gen in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/go/bin:/usr/local/kubebuilder/bin)
go: creating new go.mod: module tmp
go: found sigs.k8s.io/controller-tools/cmd/controller-gen in sigs.k8s.io/controller-tools v0.2.5
/root/go/bin/controller-gen “crd:trivialVersions=true” rbac:roleName=manager-role webhook paths="./…" output:crd:artifacts:config=config/crd/bases
cd config/manager && kustomize edit set image controller=registry.ips.com.cn/demo/mycontroller:v0.1.0
kustomize build config/default | kubectl apply -f -
namespace/crd-demo-system created
customresourcedefinition.apiextensions.k8s.io/mykinds.mygroup.ips.com.cn configured
role.rbac.authorization.k8s.io/crd-demo-leader-election-role created
clusterrole.rbac.authorization.k8s.io/crd-demo-manager-role created
clusterrole.rbac.authorization.k8s.io/crd-demo-proxy-role created
clusterrole.rbac.authorization.k8s.io/crd-demo-metrics-reader created
rolebinding.rbac.authorization.k8s.io/crd-demo-leader-election-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/crd-demo-manager-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/crd-demo-proxy-rolebinding created
service/crd-demo-controller-manager-metrics-service created
deployment.apps/crd-demo-controller-manager created
[root@k8s01 K8S-CRD-Demo]# kubectl get ns
NAME STATUS AGE
crd-demo-system Active 6m23s
default Active 69m
kube-node-lease Active 70m
kube-public Active 70m
kube-system Active 70m
[root@k8s01 K8S-CRD-Demo]# kubectl get crd
NAME CREATED AT
mykinds.mygroup.ips.com.cn 2020-11-24T06:11:32Z
[root@k8s01 K8S-CRD-Demo]# kubectl get deploy -A
NAMESPACE NAME READY UP-TO-DATE AVAILABLE AGE
crd-demo-system crd-demo-controller-manager 1/1 1 1 4m43s
[root@k8s01 K8S-CRD-Demo]# kubectl get rs -A
NAMESPACE NAME DESIRED CURRENT READY AGE
crd-demo-system crd-demo-controller-manager-6bf744659 1 1 1 4m51s
[root@k8s01 K8S-CRD-Demo]# kubectl get pods -A
NAMESPACE NAME READY STATUS RESTARTS AGE
crd-demo-system crd-demo-controller-manager-6bf744659-ljh5s 2/2 Running 0 4m58s
kube-system kube-flannel-ds-amd64-gqn2l 1/1 Running 0 67m
kube-system kube-flannel-ds-amd64-zcd9c 1/1 Running 0 67m
[root@k8s01 K8S-CRD-Demo]# kubectl get svc -A
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
crd-demo-system crd-demo-controller-manager-metrics-service ClusterIP 196.169.45.113 8443/TCP 5m3s
default kubernetes ClusterIP 196.169.0.1 443/TCP 68m

三. 测试

[root@k8s01 samples]# vi mycrd_mysql.yaml

apiVersion: mygroup.ips.com.cn/v1  # 这就是上一篇博文中我们自己定义的apiserver版本
kind: Mykind                       # 这就是上一篇博文中我们自己定义的crd kind
metadata:                       
  name: mykind-sample              # 这里我们自己定义mykind的名称，全局唯一
spec:                            #Spec部分就是我们整合deploy&service关键要素后需要自定义的元素
  replicas: 1                    #  Pod副本期待数量
  image: mysql:5.7               #  image版本   
  port: 3306                     #  mysql port
  nodeport: 30306                #  mysql port for outside
  env:                           #  写入到容器内的环境变量，此格式主要为了复用api中已有数据结构,,也可以分开定义
    - name: MYSQL_ROOT_PASSWORD  #  mysql的root密码的变量
      value: "123456"            #  密码内容
 
  
[root@k8s01 samples]# kubectl apply -f mycrd_mysql.yaml 
 mykind.mygroup.ips.com.cn/mykind-sample created
 [root@k8s01 samples]# kubectl get mykind
 NAME AGE
 mykind-sample 4m51s
 [root@k8s01 samples]# kubectl logs crd-demo-controller-manager-6bf744659-ljh5s -n crd-demo-system manager
 2020-11-24T07:01:02.414Z INFO controller-runtime.metrics metrics server is starting to listen {“addr”: “127.0.0.1:8080”}
 2020-11-24T07:01:02.414Z INFO setup starting manager
 I1231 07:01:02.414599 1 leaderelection.go:242] attempting to acquire leader lease crd-demo-system/5bf6bb78.ips.com.cn…
 2020-11-24T07:01:02.414Z INFO controller-runtime.manager starting metrics server {“path”: “/metrics”}
 I1231 07:01:02.423292 1 leaderelection.go:252] successfully acquired lease crd-demo-system/5bf6bb78.ips.com.cn
 2020-11-24T07:01:02.423Z DEBUG controller-runtime.manager.events Normal {“object”: {“kind”:“ConfigMap”,“namespace”:“crd-demo-system”,“name”:“5bf6bb78.ips.com.cn”,“uid”:“3218f400-b7fd-49ce-ad98-57de404be1bd”,“apiVersion”:“v1”,“resourceVersion”:“9134”}, “reason”: “LeaderElection”, “message”: “crd-demo-controller-manager-6bf744659-ljh5s_0aa34491-4817-49b7-8f22-f83050ecb2a5 became leader”}
 2020-11-24T07:01:02.508Z INFO controller-runtime.controller Starting EventSource {“controller”: “mykind”, “source”: “kind source: /, Kind=”}
 2020-11-24T07:01:02.610Z INFO controller-runtime.controller Starting Controller {“controller”: “mykind”}
 2020-11-24T07:01:02.610Z INFO controller-runtime.controller Starting workers {“controller”: “mykind”, “worker count”: 1}
 —start Reconcile—
 E1231 07:16:12.071373 1 reflector.go:153] pkg/mod/k8s.io/[email protected]/tools/cache/reflector.go:105: Failed to list *v1.Deployment: deployments.apps is forbidden: User “system:serviceaccount:crd-demo-system:default” cannot list resource “deployments” in API group “apps” at the cluster scope
 E1231 07:16:13.072791 1 reflector.go:153] pkg/mod/k8s.io/[email protected]/tools/cache/reflector.go:105: Failed to list *v1.Deployment: deployments.apps is forbidden: User “system:serviceaccount:crd-demo-system:default” cannot list resource “deployments” in API group “apps” at the cluster scope
 
  
解决方法：
 ========
 [root@k8s01 samples]# vi bind.yaml
 
  
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:  
  name: crd-demo-default-binding
subjects:  
  - kind: ServiceAccount    
    name: default    
    namespace: crd-demo-system
roleRef:  
  kind: ClusterRole  
  name: cluster-admin  
  apiGroup: rbac.authorization.k8s.io

 
  
[root@k8s01 samples]# kubectl apply -f bind.yaml 
 clusterrolebinding.rbac.authorization.k8s.io/crd-demo-default-binding created
 重新创建
 [root@k8s01 samples]# kubectl apply -f mycrd_mysql.yaml 
 mykind.mygroup.ips.com.cn/mykind-sample created
 [root@k8s01 samples]# kubectl get pods -A -owide
 NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
 crd-demo-system crd-demo-controller-manager-6bf744659-ljh5s 2/2 Running 0 46m 196.159.1.2 k8s03  
 default mykind-sample-7584496b56-ljfb7 1/1 Running 0 6m58s 196.159.0.2 k8s02  
 kube-system kube-flannel-ds-amd64-gqn2l 1/1 Running 0 109m 192.168.100.102 k8s02  
 kube-system kube-flannel-ds-amd64-zcd9c 1/1 Running 0 109m 192.168.100.103 k8s03  
 [root@k8s01 samples]# kubectl get svc -owide
 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
 kubernetes ClusterIP 196.169.0.1 443/TCP 110m 
 mykind-sample NodePort 196.169.37.225  3306:30306/TCP 7m12s app=mykind-sample
 
  
[root@k8s01 home]# ./mysql -hk8s02 -P30306 -uroot -p123456
 mysql: [Warning] Using a password on the command line interface can be insecure.
 Welcome to the MySQL monitor. Commands end with ; or \g.
 Your MySQL connection id is 3
 Server version: 5.7.32 MySQL Community Server (GPL)
 
  
Copyright © 2000, 2018, Oracle and/or its affiliates. All rights reserved.
 
  
Oracle is a registered trademark of Oracle Corporation and/or its
 affiliates. Other names may be trademarks of their respective
 owners.
 
  
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.
 
  
mysql> show databases;
 ±-------------------+
 | Database |
 ±-------------------+
 | information_schema |
 | mysql |
 | performance_schema |
 | sys |
 ±-------------------+
 4 rows in set (0.00 sec)
 
  
mysql>
 
  
四.可能遇到的问题
 
  
4.1 ImagePullBackOff
 症状：
 =====
 [root@k8s01 K8S-CRD-Demo]# kubectl get pods -A
 NAMESPACE NAME READY STATUS RESTARTS AGE
 crd-demo-system crd-demo-controller-manager-59cf997ccd-zmskk 1/2 ImagePullBackOff 2 105s
 [root@k8s01 K8S-CRD-Demo]# kubectl describe pod crd-demo-controller-manager-59cf997ccd-zmskk -n crd-demo-system
 …
 Events:
 Type Reason Age From Message
 
  
 
  
Normal Scheduled default-scheduler Successfully assigned crd-demo-system/crd-demo-controller-manager-59cf997ccd-zmskk to k8s02
 Normal Pulled 102s (x2 over 2m13s) kubelet, k8s02 Container image “registry.ips.com.cn/demo/mycontroller:v0.1.0” already present on machine
 Normal Created 102s (x2 over 2m13s) kubelet, k8s02 Created container manager
 Normal Started 102s (x2 over 2m13s) kubelet, k8s02 Started container manager
 Normal BackOff 101s (x5 over 2m13s) kubelet, k8s02 Back-off pulling image “registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy”
  Warning Failed 101s (x5 over 2m13s) kubelet, k8s02 Error: ImagePullBackOff
 Warning Failed 86s (x3 over 2m13s) kubelet, k8s02 Error: ErrImagePull
 Normal Pulling 86s (x3 over 2m14s) kubelet, k8s02 Pulling image “registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy”
 Warning Failed 86s (x3 over 2m13s) kubelet, k8s02 Failed to pull image “registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy”: rpc error: code = Unknown desc = Error response from daemon: pull access denied for registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy, repository does not exist or may require ‘docker login’: denied: requested access to the resource is denied
 
  
解决方法：
 ========
 [root@k8s01 mydemo]# vi config/default/manager_auth_proxy_patch.yaml
 …
 #image: gcr.io/kubebuilder/kube-rbac-proxy:v0.5.0
 #image: registry.cn-hangzhou.aliyuncs.com/hsc/kube-rbac-proxy #invalid
 image: registry.cn-hangzhou.aliyuncs.com/kubenode/kube-rbac-proxy:v0.4.0
 然后删除系统创建的资源，从2.3.1创建Docker image重做。
 
  
4.2 Error from server (Forbidden): Forbidden
 症状：
 =====
 [root@k8s01 samples]# kubectl logs crd-demo-controller-manager-6bf744659-vws9r -n crd-demo-system -c manager
 Error from server (Forbidden): Forbidden (user=system:node:k8s02, verb=get, resource=nodes, subresource=proxy) ( pods/log crd-demo-controller-manager-6bf744659-vws9r)
 
  
解决方法：
 ========
 
  
cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
    verbs:
      - "*"
EOF

cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: Group
    name: system:nodes
EOF

 
  
4.3 timeout error
 症状：
 =====
 [root@k8s02 containers]# kubectl logs crd-demo-controller-manager-6bf744659-77qhj -n crd-demo-system -c manager
 2020-11-24T09:25:21.400Z  ERROR controller-runtime.manager Failed to get API Group-Resources {“error”: “Get https://196.169.0.1:443/api?timeout=32s: dial tcp 196.169.0.1:443: i/o timeout”}
 github.com/go-logr/zapr.(*zapLogger).Error
 /go/pkg/mod/github.com/go-logr/[email protected]/zapr.go:128
 sigs.k8s.io/controller-runtime/pkg/manager.New
 /go/pkg/mod/sigs.k8s.io/[email protected]/pkg/manager/manager.go:241
 main.main
 /workspace/main.go:57
 runtime.main
 /usr/local/go/src/runtime/proc.go:203
 2020-11-24T09:25:21.401Z ERROR setup unable to start manager {“error”: “Get https://196.169.0.1:443/api?timeout=32s: dial tcp 196.169.0.1:443: i/o timeout”}
 github.com/go-logr/zapr.(*zapLogger).Error
 /go/pkg/mod/github.com/go-logr/[email protected]/zapr.go:128
 main.main
 /workspace/main.go:65
 runtime.main
 /usr/local/go/src/runtime/proc.go:203
 
  
解决方法：
 ========
 调整kube-proxy参数：
 vi /etc/kubernetes/kube-proxy-config.yaml
 
  
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
clientConnection:
  kubeconfig: "/etc/kubernetes/kube-proxy.config"
mode: "iptables"
iptables:
  masqueradeAll: true

 
  
重启kubelet,kube-proxy
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(云计算&虚拟化,k8s,golang)

        

            

                
    
                    
  • git常用命令笔记
                        咩酱-小羊
git笔记
                        
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
    
                    
    • 
                    
  • PHP环境搭建详细教程
                        好看资源平台
前端php
                        
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
    
                    
    • 
                    
  • 四章-32-点要素的聚合
                        彩云飘过

                        
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
    
                    
    • 
                    
  • 在Ubuntu中编译含有JSON的文件出现报错
                        芝麻糊76
Linuxkill_buglinuxubuntujson
                        
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
    
                    
    • 
                    
  • 网络编程基础
                        记得开心一点啊
网络
                        
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
    
                    
    • 
                    
  • react-intl——react国际化使用方案
                        苹果酱0567
面试题汇总与解析java开发语言中间件springboot后端
                        
    国际化介绍i18n：internationalization国家化简称，首字母+首尾字母间隔的字母个数+尾字母，类似的还有k8s(Kubernetes)React-intl是React中最受欢迎的库。使用步骤安装#usenpmnpminstallreact-intl-D#useyarn项目入口文件配置//index.tsximportReactfrom"react";importReactDOMf
    
                    
    • 
                    
  • 笋丁网页自动回复机器人V3.0.0免授权版源码
                        希希分享
软希网58soho_cn源码资源笋丁网页自动回复机器人
                        
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
    
                    
    • 
                    
  • 博客网站制作教程
                        2401_85194651
javamaven
                        
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
    
                    
    • 
                    
  • #千锋逆战班 郭燕 学习的一天开启
                        郭千岁呗

                        
    在千锋"逆战"学习云计算第17天加油努力会有好结果复习昨天知识中国加油！武汉加油！千峰加油!我自己加油！
    
                    
    • 
                    
  • 信息系统安全相关概念(上)
                        YuanDaima2048
课程笔记基础概念安全信息安全笔记
                        
    文章总览：YuanDaiMa2048博客文章总览下篇:信息系统安全相关概念(下)信息系统安全相关概念[上]信息系统概述信息系统信息系统架构信息系统发展趋势：信息系统日趋大型化、复杂化信息系统面临的安全威胁信息系统安全架构设计--以云计算为例信息系统安全需求及安全策略自主访问控制策略DAC强制访问控制策略MAC信息系统概述信息系统用于收集、存储和处理数据以及传递信息、知识和数字产品的一组集成组件。几
    
                    
    • 
                    
  • 【2023年】云计算金砖牛刀小试6
                        geekgold
云计算服务器网络kubernetes容器
                        
    第一套【任务1】私有云服务搭建[10分]【题目1】基础环境配置[0.5分]使用提供的用户名密码，登录提供的OpenStack私有云平台，在当前租户下，使用CentOS7.9镜像，创建两台云主机，云主机类型使用4vCPU/12G/100G_50G类型。当前租户下默认存在一张网卡，自行创建第二张网卡并连接至controller和compute节点（第二张网卡的网段为10.10.X.0/24，X为工位号
    
                    
    • 
                    
  • LeetCode 53. Maximum Subarray
                        枯萎的海风
算法与OJC/C++leetcode
                        
    1.题目描述Findthecontiguoussubarraywithinanarray(containingatleastonenumber)whichhasthelargestsum.Forexample,giventhearray[−2,1,−3,4,−1,2,1,−5,4],thecontiguoussubarray[4,−1,2,1]hasthelargestsum=6.clicktos
    
                    
    • 
                    
  • Golang语言基础知识点总结
                        最帅猪猪侠
golang开发语言后端
                        
    Golang语言基础知识点小总结1.go语言有两大类型：值类型：数值类型，bool，string，数组，struct结构体变量直接存储值，内存通常在栈中分配,修改值,不会对源对象产生影响引用类型：指针，slice切片，管道chan，map，interface变量存储的是一个地址，这个地址对应的空间才真正存储数据值，内存通常在堆上分配，当没有任何变量引用这个地址时，该地址对应的数据空间就成为一个垃圾
    
                    
    • 
                    
  • golang获取用户输入的几种方式
                        余生逆风飞翔
golang开发语言后端
                        
    一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
    
                    
    • 
                    
  • 【Golang】实现 Excel 文件下载功能
                        RumIV
Golanggolangexcel开发语言
                        
    在当今的网络应用开发中，提供数据导出功能是一项常见的需求。Excel作为一种广泛使用的电子表格格式，通常是数据导出的首选格式之一。在本教程中，我们将学习如何使用Go语言和GinWeb框架来创建一个Excel文件，并允许用户通过HTTP请求下载该文件。准备工作在开始之前，请确保您的开发环境中已经安装了Go语言和相关的开发工具。此外，您还需要安装GinWeb框架和excelize包，这两个包都将用于我
    
                    
    • 
                    
  • 【LeetCode】53. Maximum Subarray
                        墨染百城
LeetCodeleetcode
                        
    问题描述问题链接：https://leetcode.com/problems/maximum-subarray/#/descriptionFindthecontiguoussubarraywithinanarray(containingatleastonenumber)whichhasthelargestsum.Forexample,giventhearray[-2,1,-3,4,-1,2,1,-
    
                    
    • 
                    
  • golang 实现文件上传下载
                        wangwei830
go
                        
    Gin框架上传下载上传（支持批量上传）httpRouter.POST("/upload",func(ctx*gin.Context){forms,err:=ctx.MultipartForm()iferr!=nil{fmt.Println("error",err)}files:=forms.File["fileName"]for_,v:=rangefiles{iferr:=ctx.SaveUplo
    
                    
    • 
                    
  • LeetCode 673. Number of Longest Increasing Subsequence (Java版; Meidum)
                        littlehaes
字符串动态规划算法leetcode数据结构
                        
    welcometomyblogLeetCode673.NumberofLongestIncreasingSubsequence(Java版;Meidum)题目描述Givenanunsortedarrayofintegers,findthenumberoflongestincreasingsubsequence.Example1:Input:[1,3,5,4,7]Output:2Explanatio
    
                    
    • 
                    
  • golang实现从服务器下载文件到本地指定目录
                        余生逆风飞翔
golang服务器开发语言
                        
    一、连接服务器，采用sftp连接模式packagemiddlewaresimport("fmt""time""github.com/pkg/sftp""golang.org/x/crypto/ssh")//建立服务器连接funcConnect(user,password,hoststring,portint)(*sftp.Client,error){var(auth[]ssh.AuthMethod
    
                    
    • 
                    
  • 【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八）
                        向往风的男子
k8s学习kubernetes容器
                        
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
    
                    
    • 
                    
  • IO虚拟化 - virtio-vring的三个组成结构【转】
                        xidianjiapei001
#虚拟化技术
                        
    1.初始化三个结构vring_new_virtqueue函数中初始化virtqueue的各种字段的初始值vq->vq.callback=callback;vq->vq.vdev=vdev;vq->vq.name=name;vq->notify=notify;vq->broken=false;vq->last_used_idx=0;vq->num_added=0;list_add_tail(&vq-
    
                    
    • 
                    
  • Kubernetes数据持久化
                        看清所苡看轻
kubernetes(k8s)emptyDirHostPathpvpvckubernetes
                        
    在k8s中，Volume（数据卷）存在明确的生命周期（与包含该数据卷的容器组（pod）相同）。因此Volume的生命周期比同一容器组（pod）中任意容器的生命周期要更长，不管容器重启了多少次，数据都被保留下来。当然，如果pod不存在了，数据卷自然退出了。此时，根据pod所使用的数据卷类型不同，数据可能随着数据卷的退出而删除，也可能被真正持久化，并在下次容器组重启时仍然可以使用。从根本上来说，一个数
    
                    
    • 
                    
  • 【Golang】 Golang 的 GORM 库中的 Rows 函数
                        不爱洗脚的小滕
golang开发语言后端
                        
    文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
    
                    
    • 
                    
  • 【Golang】使用 Golang 语言和 excelize 库将数据写入Excel
                        不爱洗脚的小滕
golangexcel开发语言
                        
    文章目录前言一、Excelize简介二、代码实现1.获取依赖2.示例代码三、总结前言在数据处理和分析中，Excel作为一种常见的电子表格格式，被广泛应用于各种场景。然而，如何在Go语言中有效地处理Excel文件呢？在这篇博客中，我将介绍如何使用Go语言和excelize库将数据写入Excel文件。一、Excelize简介Excelize是一个用于读取和写入MicrosoftExcel™(XLSX)
    
                    
    • 
                    
  • 未来软件市场是怎么样的？做开发的生存空间如何？
                        cesske
软件需求
                        
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
    
                    
    • 
                    
  • k8s中Service暴露的种类以及用法
                        听说唐僧不吃肉
K8Skubernetes容器云原生
                        
    一、说明在Kubernetes中，有几种不同的方式可以将服务（Service）暴露给外部流量。这些方式通过定义服务的spec.type字段来确定。二、详解1.ClusterIP定义：默认类型，服务只能在集群内部访问。作用：通过集群内部IP地址暴露服务。示例：spec:type:ClusterIPports:-port:80targetPo
    
                    
    • 
                    
  • 二十四、k8s 资源管理
                        繁华依在
k8skubernetes容器云原生
                        
    目录一、资源配置范围管理LimitRange介绍1、LimitRange可以做什么：2、资源限制和请求的约束3、创建LimitsRange对象4、示例：创建一个pod5、测试用例测试1：测试2：测试3：二、资源服务质量管理（RequestsQos）1、Qos级别分类：1.1、Guaranteed：1.2、BestEffort：1.3、Burstable：2、Qos的工作特点3、示例三、资源配额管理
    
                    
    • 
                    
  • Kubernetes 自定义控制器开发
                        IT回忆录
Kubeneteskubernetes
                        
    目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
    
                    
    • 
                    
  • 用kubedam搭建的k8s证书过期处理方法
                        我滴鬼鬼呀wks
k8s1024程序员节
                        
    kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
    
                    
    • 
                    
  • k8s证书过期问题处理
                        olina_qin
kubernetes容器云原生
                        
    k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
    
                    
    • 
                                
  • 集合框架
                                    天子之骄
java数据结构集合框架
                                    
       集合框架 
集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 
从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。 
  
简单介绍： 
  
Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
    
                                
    • 
                                
  • Table Driven（表驱动）方法实例
                                    bijian1013
javaenumTable Driven表驱动
                                    
    实例一：   
/**
 * 驾驶人年龄段
 * 保险行业，会对驾驶人的年龄做年龄段的区分判断
 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞)
 */
public class AgePeriodTest {

    //if...el
    
                                
    • 
                                
  • Jquery 总结
                                    cuishikuan
javajqueryAjaxWebjquery方法
                                    
    1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim('   Hello   ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
    
                                
    • 
                                
  • 面向对象概念的提出
                                    麦田的设计者
java面向对象面向过程
                                    
       
     面向对象中，一切都是由对象展开的，组织代码，封装数据。 
  在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。 
  
    下面就结合编程语言的发展史，聊一聊面向过程和面向对象。 
     c语言由贝尔实
    
                                
    • 
                                
  • linux网口绑定
                                    被触发
linux
                                    
    刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。 
 
一、环境描述 
我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。 
 
二、双网卡绑定步骤： 
2.1 修改/etc/sysconfig/network
    
                                
    • 
                                
  • XML基础语法
                                    肆无忌惮_
xml
                                    
    一、什么是XML？ 
XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。 
  
二、为什么学习XML？ 
用来解决程序间数据传输的格式问题 
做配置文件 
充当小型数据库 
  
三、XML与HTM
    
                                
    • 
                                
  • 为网页添加自己喜欢的字体
                                    知了ing
字体 秒表 css
                                    
    @font-face {
			font-family: miaobiao;//定义字体名字
			font-style:  normal;
		    font-weight: 400;
			src: url('font/DS-DIGI-e.eot');//字体文件
		} 
使用： 
 
<label style="font-size:18px;font-famil
    
                                
    • 
                                
  • redis范围查询应用-查找IP所在城市
                                    矮蛋蛋
redis
                                    
    原文地址： 
http://www.tuicool.com/articles/BrURbqV 
需求 
 
根据IP找到对应的城市 
 
原来的解决方案 
 
oracle表（ip_country）： 
 
 
查询IP对应的城市： 
 
1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 
 
2. select city from ip_
    
                                
    • 
                                
  • 输入两个整数， 计算百分比
                                    alleni123
java
                                    
    	public static String getPercent(int x, int total){
		 
		double result=(x*1.0)/(total*1.0);
		System.out.println(result);
		
		
		DecimalFormat df1=new DecimalFormat("0.0000%");
		

    
                                
    • 
                                
  • 百合——————>怎么学习计算机语言
                                    百合不是茶
java 移动开发
                                    
        对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
    
                                
    • 
                                
  • linux下tomcat开机自启动
                                    bijian1013
tomcat
                                    
    方法一： 
修改Tomcat/bin/startup.sh 为: 
export JAVA_HOME=/home/java1.6.0_27
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export PATH=$JAVA_HOME/bin:$PATH
export CATALINA_H
    
                                
    • 
                                
  • spring aop实例
                                    bijian1013
javaspringAOP
                                    
    1.AdviceMethods.java 
package com.bijian.study.spring.aop.schema;

public class AdviceMethods {

	public void preGreeting() {
		System.out.println("--how are you!--");
	}
} 
2.beans.x
    
                                
    • 
                                
  • [Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization
                                    bit1129
serialization
                                    
    enableComplexMapKeySerialization配置项的含义 
 Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。 
  
GsonBuilder用于
    
                                
    • 
                                
  • 【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题
                                    bit1129
Stream
                                    
    包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 
1. At most once，数据最多只能接受一次，有可能接收不到 
2. At least once, 数据至少接受一次，有可能重复接收 
3. Exactly once  数据保证被处理并且只被处理一次， 
  
具体的多读几遍http://spark.apache.org/docs/lates
    
                                
    • 
                                
  • shell脚本批量检测端口是否被占用脚本
                                    ronin47

                                    
    #!/bin/bash
cat ports   |while read line
do#nc -z  -w 10  $line

nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then
echo $line:ok
else
echo $line:fail
fi

done

这里的ports 既可以是文件
    
                                
    • 
                                
  • java-2.设计包含min函数的栈
                                    bylijinnan
java
                                    
    具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ 
 

import java.util.ArrayList;
import java.util.List;


public class MinStack {

	//maybe we can use origin array rathe
    
                                
    • 
                                
  • Netty源码学习-ChannelHandler
                                    bylijinnan
javanetty
                                    
     
一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 
例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是 
因为每一次调用decode方法时，可能数据未接收完全（incomplete）， 
它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 
 
 

p
    
                                
    • 
                                
  • java生成随机数
                                    cngolon
java
                                    
    方法一： 
/** 
* 生成随机数 
* @author [email protected] 
* @return 
*/ 
public synchronized static String getChargeSequenceNum(String pre){ 
StringBuffer sequenceNum = new StringBuffer(); 
Date dateTime = new D
    
                                
    • 
                                
  • POI读写海量数据
                                    ctrain
海量数据
                                    
    import java.io.FileOutputStream; 
import java.io.OutputStream; 
 
import org.apache.poi.xssf.streaming.SXSSFRow; 
import org.apache.poi.xssf.streaming.SXSSFSheet; 
import org.apache.poi.xssf.streaming
    
                                
    • 
                                
  • mysql 日期格式化date_format详细使用
                                    daizj
mysqldate_format日期格式转换日期格式化
                                    
     
 日期转换函数的详细使用说明 
   DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
    
                                
    • 
                                
  • 一个程序员分享8年的开发经验
                                    dcj3sjt126com
程序员
                                    
      
在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。 
明确入行的目的 
很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
    
                                
    • 
                                
  • android欢迎界面淡入淡出效果
                                    dcj3sjt126com
android
                                    
    很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。 
主要代码如下： 
package com.myaibang.activity; 
import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
    
                                
    • 
                                
  • linux 复习笔记之常见压缩命令
                                    eksliang
tar解压linux系统常见压缩命令linux压缩命令tar压缩
                                    
    转载请出自出处:http://eksliang.iteye.com/blog/2109693 
linux中常见压缩文件的拓展名 
*.gz   gzip程序压缩的文件
*.bz2  bzip程序压缩的文件
*.tar  tar程序打包的数据，没有经过压缩
*.tar.gz  tar程序打包后，并经过gzip程序压缩
*.tar.bz2 tar程序打包后，并经过bzip程序压缩
*.zi
    
                                
    • 
                                
  • Android 应用程序发送shell命令
                                    gqdy365
android
                                    
    项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！ 
 
发就发吧！ 
 
一、关于shell指令： 
我们知道，shell指令是Linux里面带的
    
                                
    • 
                                
  • java 无损读取文本文件
                                    hw1287789687
读取文件无损读取读取文本文件charset
                                    
    java 如何无损读取文本文件呢？ 
以下是有损的 
@Deprecated
	public static String getFullContent(File file, String charset) {
		BufferedReader reader = null;
		if (!file.exists()) {
			System.out.println("getFull
    
                                
    • 
                                
  • Firebase 相关文章索引
                                    justjavac
firebase
                                    
    Awesome Firebase 
最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 
Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。 
开发者只需引用一个 API 库文件就可以使用标准 RE
    
                                
    • 
                                
  • C++学习重点
                                    lx.asymmetric
C++笔记
                                    
    1.c++面向对象的三个特性：封装性，继承性以及多态性。 
  
2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。 
  
3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。 
  
4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 
&n
    
                                
    • 
                                
  • java bean和xml相互转换
                                    q821424508
javabeanxmlxml和bean转换java bean和xml转换
                                    
    这几天在做微信公众号 
做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题， 
然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧 ， 
还是贴出来记录一下  
  
  
顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。 
  
packag
    
                                
    • 
                                
  • C 语言初级 位运算
                                    1140566087
位运算c
                                    
      第十章 位运算    1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节    2、位运算符：  运算符 作用  ~ 按位求反  << 左移  >> 右移  & 按位与  ^ 按位异或  | 按位或   他们的优先级从高到低；    3、位运算符的运算功能：  a、按位取反：  ~01001101 = 101
    
                                
    • 
                                
  • 14点睛Spring4.1-脚本编程
                                    wiselyman
spring4
                                    
    14.1 Scripting脚本编程 
 
 脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 
 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 
 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 
 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; 
 spring支持脚本
    
                                
    •