CuiHao
CuiHao

openshift4.3.22离线安装

准备bastion节点，离线包下载

1 bastion节点安装操作系统redhat7.8LE版本

2 设置主机名

hostnamectl set-hostname bastion.ocp4.example.com

3 安装相关工具软件

yum -y install podman httpd httpd-tools vim 

4 安装配置DNS和DHCP (option)

yum -y  install dnsmasq

配置通过ocp4/helpernode完成

5 安装配置HAProxy(option)

yum -y  install haproxy

配置通过ocp4/helpernode完成

6  创建内部镜像仓库

此仓库用于存放用于部署openshift平台所需使用的镜像，仓库本身也是用容器启动的。安装所需软件包，及创建所需目录，这些文件夹将挂载到registry容器中。

DNS本地解析

cat <> /etc/hosts

172.16.167.175  bastion.ocp4.example.com

172.16.167.175  registry.ocp4.example.com

EOF


创建给本地镜像库使用的相关目录

mkdir-p/opt/registry/{auth,certs,data}

创建证书输入你相关信息

注意：Common Name (eg, your name or your server's hostname) 字段要填写镜像仓库的域名，不能使用IP。其他的可以空着，这一步我错了几次，如下：


cd /opt/registry/certs

openssl req -newkey rsa:4096 -nodes -sha256 -keyout domain.key -x509 -days 365 -out domain.crt

openshift4.3.22离线安装_第1张图片

创建密码文件

htpasswd -bBc /opt/registry/auth/htpasswd admin admin

更新Linux系统证书

cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/

update-ca-trust

使用一个镜像来部署私有镜像仓库：

podman run --name mirror-registry -p 5000:5000 \

      -v /opt/registry/data:/var/lib/registry:z \

      -v /opt/registry/auth:/auth:z \

      -e "REGISTRY_AUTH=htpasswd" \

      -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \

      -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \

      -v /opt/registry/certs:/certs:z \

      -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt \

      -e REGISTRY_HTTP_TLS_KEY=/certs/domain.key \

      -d docker.io/ppc64le/registry:2

加入防火墙规则

firewall-cmd --add-port=5000/tcp --zone=internal --permanent

firewall-cmd --add-port=5000/tcp --zone=public  --permanent

firewall-cmd --reload


测试镜像仓库是否能正常访问：

curl -u admin:admin -k https://registry.ocp4.example.com:5000/v2/_catalog

{"repositories":[]}

将镜像仓库的用户名密码镜像base64加密

echo -n 'admin:admin' | base64 -w0

YWRtaW46YWRtaW4=

下载openshift的镜像文件所需的pull_sercet文件

登录cloud.redhat.com使用账号和密码登录


openshift4.3.22离线安装_第2张图片

1 下载pull secret for OpenShift registry


openshift4.3.22离线安装_第3张图片

2  下载最新的oc命令。进入下载链接，

https://mirror.openshift.com/pub/openshift-v4/ppc64le/clients/ocp/stable-4.3/

下载

openshift-install-linux-4.3.22.tar.gz

openshift-client-linux-4.3.22.tar.gz



3 安装工具

yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

yum -y install jq


4 解压openshift client和openshift install工具

tar -xzf openshift-client-linux-4.3.22.tar.gz -C /usr/local/bin/

tar -xzf openshift-install-linux-4.3.22.tar.gz -C /usr/local/bin/

将下载的pull_secret.txt格式化json文件pull_secret

mkdir -p ~/.openshift

cat ./pull-secret.txt | jq .  >  pull-secret

然后添加一下私有镜像仓库的内容，用于将quay的镜像同步到私有镜像仓库过程中需要做认证，这就是个认证密码文件，类似如下。

{ "auths": {

    "registry.ocp4.example.com:5000": {

      "auth": "YWRtaW46YWRtaW4=",

      "email": "[email protected]"

  }

}

}

完整的pull_secret如下


openshift4.3.22离线安装_第4张图片

6 复制镜像

export BUILDNUMBER=4.3.22-ppc64le

echo ${BUILDNUMBER}

export OCP_RELEASE=${BUILDNUMBER}

export LOCAL_REG='registry.ose.example.com:5000'

export LOCAL_REPO='ocp4/openshift4'

export UPSTREAM_REPO='openshift-release-dev'

export LOCAL_SECRET_JSON="/home/ocp4.3/pull-secret.json"

export OPENSHIFT_INSTALL_RELEASE_IMAGE_OVERRIDE=${LOCAL_REG}/${LOCAL_REPO}:${OCP_RELEASE}

export RELEASE_NAME="ocp-release"


oc adm release mirror -a ${LOCAL_SECRET_JSON} \

--from=quay.io/${UPSTREAM_REPO}/${RELEASE_NAME}:${OCP_RELEASE} \

--to-release-image=${LOCAL_REG}/${LOCAL_REPO}:${OCP_RELEASE} \

--to=${LOCAL_REG}/${LOCAL_REPO}

镜像下载成功后显示如下信息

Success

Update image:  registry.ocp4.example.com:5000/ocp4/openshift4:4.3.22-ppc64le

Mirror prefix: registry.ocp4.example.com:5000/ocp4/openshift4

To use the new mirrored repository to install, add the following section to the install-config.yaml:

imageContentSources:

- mirrors:

  - registry.ocp4.example.com:5000/ocp4/openshift4

  source: quay.io/openshift-release-dev/ocp-release

- mirrors:

  - registry.ocp4.example.com:5000/ocp4/openshift4

  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

To use the new mirrored repository for upgrades, use the following to create an ImageContentSourcePolicy:

apiVersion: operator.openshift.io/v1alpha1

kind: ImageContentSourcePolicy

metadata:

  name: example

spec:

  repositoryDigestMirrors:

  - mirrors:

    - registry.ocp4.example.com:5000/ocp4/openshift4

    source: quay.io/openshift-release-dev/ocp-release

  - mirrors:

    - registry.ocp4.example.com:5000/ocp4/openshift4

    source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

运行命令查看所有的镜像

curl -u admin:admin -k https://registry.ocp4.example.com:5000/v2/ocp4/openshift4/tags/list |jq

{

  "name": "ocp4/openshift4",

  "tags": [

    "4.3.22-ovn-kubernetes",

    "4.3.22-keepalived-ipfailover",

    "4.3.22-prometheus-node-exporter",

    "4.3.22-oauth-proxy",

    "4.3.22-thanos",

    "4.3.22-jenkins-agent-nodejs",

    "4.3.22-multus-admission-controller",

    "4.3.22-deployer",

    "4.3.22-tests",

    "4.3.22-cluster-kube-apiserver-operator",

    "4.3.22-baremetal-machine-controllers",

    "4.3.22-ironic-machine-os-downloader",

    "4.3.22-docker-builder",

    "4.3.22-ironic-inspector",

    "4.3.22-cluster-dns-operator",

    "4.3.22-cluster-samples-operator",

    "4.3.22-machine-config-operator",

    "4.3.22-prometheus-operator",

    "4.3.22-ironic-static-ip-manager",

    "4.3.22-machine-api-operator",

    "4.3.22-cluster-node-tuned",

    "4.3.22-cloud-credential-operator",

    "4.3.22-configmap-reloader",

    "4.3.22-cluster-network-operator",

    "4.3.22-cluster-config-operator",

    "4.3.22-coredns",

    "4.3.22-cluster-autoscaler-operator",

    "4.3.22-kube-client-agent",

    "4.3.22-kube-proxy",

    "4.3.22-cluster-authentication-operator",

    "4.3.22-prometheus-config-reloader",

    "4.3.22-installer",

    "4.3.22-ironic-ipa-downloader",

    "4.3.22-cluster-kube-scheduler-operator",

    "4.3.22-haproxy-router",

    "4.3.22-ironic",

    "4.3.22-docker-registry",

    "4.3.22-multus-route-override-cni",

    "4.3.22-cluster-node-tuning-operator",

    "4.3.22-operator-registry",

    "4.3.22-k8s-prometheus-adapter",

    "4.3.22-console-operator",

    "4.3.22-telemeter",

    "4.3.22-aws-machine-controllers",

    "4.3.22-service-ca-operator",

    "4.3.22-baremetal-operator",

    "4.3.22-kube-state-metrics",

    "4.3.22-openshift-state-metrics",

    "4.3.22-azure-machine-controllers",

    "4.3.22-operator-marketplace",

    "4.3.22-openshift-apiserver",

    "4.3.22-libvirt-machine-controllers",

    "4.3.22-mdns-publisher",

    "4.3.22-cli",

    "4.3.22-baremetal-installer",

    "4.3.22-insights-operator",

    "4.3.22-cluster-svcat-apiserver-operator",

    "4.3.22-service-catalog",

    "4.3.22-must-gather",

    "4.3.22-openstack-machine-controllers",

    "4.3.22-operator-lifecycle-manager",

    "4.3.22-cluster-ingress-operator",

    "4.3.22-installer-artifacts",

    "4.3.22-cluster-openshift-controller-manager-operator",

    "4.3.22-kube-rbac-proxy",

    "4.3.22-cluster-openshift-apiserver-operator",

    "4.3.22-pod",

    "4.3.22-ppc64le",

    "4.3.22-console",

    "4.3.22-cluster-storage-operator",

    "4.3.22-kuryr-controller",

    "4.3.22-cluster-kube-controller-manager-operator",

    "4.3.22-oauth-server",

    "4.3.22-cluster-autoscaler",

    "4.3.22-prometheus-alertmanager",

    "4.3.22-local-storage-static-provisioner",

    "4.3.22-container-networking-plugins",

    "4.3.22-prometheus",

    "4.3.22-kube-etcd-signer-server",

    "4.3.22-gcp-machine-controllers",

    "4.3.22-machine-os-content",

    "4.3.22-multus-whereabouts-ipam-cni",

    "4.3.22-baremetal-runtimecfg",

    "4.3.22-jenkins",

    "4.3.22-cli-artifacts",

    "4.3.22-grafana",

    "4.3.22-cluster-policy-controller",

    "4.3.22-hyperkube",

    "4.3.22-cluster-machine-approver",

    "4.3.22-cluster-update-keys",

    "4.3.22-prom-label-proxy",

    "4.3.22-cluster-monitoring-operator",

    "4.3.22-sdn",

    "4.3.22-cluster-bootstrap",

    "4.3.22-cluster-version-operator",

    "4.3.22-etcd",

    "4.3.22-ironic-hardware-inventory-recorder",

    "4.3.22-jenkins-agent-maven",

    "4.3.22-multus-cni",

    "4.3.22-cluster-image-registry-operator",

    "4.3.22-cluster-svcat-controller-manager-operator",

    "4.3.22-openshift-controller-manager",

    "4.3.22-kuryr-cni"

  ]

}

在bastion节点上用redhat 部署工具ocp4_helpnoder安装配置相关服务DNS和DHCP ，HAProxy

1  安装ansible和git

yum install ansible git

注意要使用新版本的ansible，要大于2.9.6

2 

git clone https://github.com/RedHatOfficial/ocp4-helpernode

cd ocp4-helpernode

3 cp docs/examples/vars-ppc64le.yaml .

配置文件修改如下

---

disk: sda

helper:

  name: "helper"

  ipaddr: "172.16.167.175"

dns:

  domain: "example.com"

  clusterid: "ocp4"

  forwarder1: "172.16.167.175"

  forwarder2: "172.16.167.175"

dhcp:

  router: "172.16.167.1"

  bcast: "172.16.167.255"

  netmask: "255.255.255.0"

  poolstart: "172.16.167.177"

  poolend: "172.16.167.183"

  ipid: "172.16.167.0"

  netmaskid: "255.255.255.0"

bootstrap:

  name: "bootstrap"

  ipaddr: "172.16.167.177"

  macaddr: "56:6f:e5:d2:00:14"

masters:

  - name: "master1"

    ipaddr: "172.16.167.178"

    macaddr: "56:6f:e5:d2:00:15"

  - name: "master2"

    ipaddr: "172.16.167.179"

    macaddr: "56:6f:e5:d2:00:16"

  - name: "master3"

    ipaddr: "172.16.167.180"

    macaddr: "56:6f:e5:d2:00:17"

workers:

  - name: "worker1"

    ipaddr: "172.16.167.182"

    macaddr: "56:6f:e5:d2:00:18"

  - name: "worker2"

    ipaddr: "172.16.167.183"

    macaddr: "56:6f:e5:d2:00:19"

ppc64le: true

ocp_bios: "file:///home/ocp4.3/rhcos-4.3.18-ppc64le-metal.ppc64le.raw.gz"

ocp_initramfs: "file:///home/ocp4.3/rhcos-4.3.18-installer-initramfs.ppc64le.img"

ocp_install_kernel: "file:///home/ocp4.3/rhcos-4.3.18-installer-kernel-ppc64le"

ocp_client: "file:///home/ocp4.3/openshift-client-linux-4.3.22.tar.gz"

ocp_installer: "file:///home/ocp4.3/openshift-install-linux-4.3.22.tar.gz"

注：

rhcos-4.3.18-ppc64le-metal.ppc64le.raw.gz

rhcos-4.3.18-installer-initramfs.ppc64le.img

rhcos-4.3.18-installer-kernel-ppc64le

可以在下面链接下载

https://mirror.openshift.com/pub/openshift-v4/ppc64le/dependencies/rhcos/latest/latest/

4 执行

ansible-playbook -e @vars.yaml tasks/main.yml


执行完成后 

检查服务状态

helpernodecheck 

helpernodecheck services


openshift4.3.22离线安装_第5张图片

在named里面添加一条解析registry的dns的A记录


vim /var/named/zonefile.db

$TTL 1W

@  IN  SOA ns1.ocp4.poc.com.  root (

            2020042803  ; serial

            3H      ; refresh (3 hours)

            30M    ; retry (30 minutes)

            2W      ; expiry (2 weeks)

            1W )        ; minimum (1 week)

    IN  NS  ns1.ocp4.poc.com.

    IN  MX 10  smtp.ocp4.poc.com.

;

;

ns1 IN  A  172.31.20.100

smtp    IN  A  172.31.20.100

;

helper  IN  A  172.31.20.100

registry    IN  A  172.31.20.100

;


重启systemctl restart named


5 开始安装

5.1 创建Ignition文件

mkdir ~/ocp4

cd ~/ocp4

mkdir -p ~/.openshift


查看helper_rsa文件是否存在

现在的ansible会帮助我们创建密钥文件

[root@bastion ocp4]# ls -l ~/.ssh/helper_rsa

-rw-------. 1 root root 3243 Jun  5 02:28 /root/.ssh/helper_rsa

准备创建install-config文件

首先获取每台虚拟机的mac地址


如果是libvirt 使用virt命令创建的虚拟机获取虚拟机mac地址的脚本


for i in bootstrap master{0..2} worker{0..1}

do

  echo -ne "${i}\t" ; virsh dumpxml ocp4-${i} | grep "mac address" | cut -d\' -f2

done

详细参考https://github.com/RedHatOfficial/ocp4-helpernode/blob/master/docs/quickstart-ppc64le.md

[root@bastion ocp4]# cd ~/ocp4

执行命令创建install-config文件

cat < install-config.yaml

apiVersion: v1

baseDomain: example.com

compute:

- hyperthreading: Enabled

  name: worker

  replicas: 0

controlPlane:

  hyperthreading: Enabled

  name: master

  replicas: 3

metadata:

  name: ocp4

networking:

  clusterNetworks:

  - cidr: 10.254.0.0/16

    hostPrefix: 24

  networkType: OpenShiftSDN

  serviceNetwork:

  - 172.30.0.0/16

platform:

  none: {}

pullSecret: '$(< ~/pull-secret)'

sshKey: '$(< ~/.ssh/helper_rsa.pub)'

EOF

需要更新install-config.yaml中的additionalTrustBundle,和/opt/registry/certs/domain.crt一致

注意additionalTrustBundle证书那里需要空两格。就是  -----BEGIN CERTIFICATE-----开始下面的内容 如下


openshift4.3.22离线安装_第6张图片
openshift4.3.22离线安装_第7张图片

additionalTrustBundle: |

  -----BEGIN CERTIFICATE-----

  MIIGBTCCA+2gAwIBAgIJAPgD7df5XhjgMA0GCSqGSIb3DQEBCwUAMIGYMQswCQYD

  VQQGEwJjbjEQMA4GA1UECAwHYmVpamluZzEVMBMGA1UEBwwMRGVmYXVsdCBDaXR5

  MRwwGgYDVQQKDBNEZWZhdWx0IENvbXBhbnkgTHRkMSIwIAYDVQQDDBlyZWdpc3Ry

  eS5vY3A0LmV4YW1wbGUuY29tMR4wHAYJKoZIhvcNAQkBFg9ub2VhbWlsQGlibS5j

  b20wHhcNMjAwNjA1MTU1NzUwWhcNMjEwNjA1MTU1NzUwWjCBmDELMAkGA1UEBhMC

  Y24xEDAOBgNVBAgMB2JlaWppbmcxFTATBgNVBAcMDERlZmF1bHQgQ2l0eTEcMBoG

  A1UECgwTRGVmYXVsdCBDb21wYW55IEx0ZDEiMCAGA1UEAwwZcmVnaXN0cnkub2Nw

  NC5leGFtcGxlLmNvbTEeMBwGCSqGSIb3DQEJARYPbm9lYW1pbEBpYm0uY29tMIIC

  IjANBgkqhkiG9w0BAQEFAAOCAg8AMIICCgKCAgEAwXdl5pAczvLWw1kTorE1ih/v

  bdtVzV5dw4QSq59Z2C9g4zBwmqADADCfDsCMSnWb4ZjezSdk9OrlnYQVmHZERr8F

  0rVuP+q9RPCZSRz9SREBH5wIyiYMYFpSkvn0y8wt7kAN2QGduht1kzVmfE7689xr

  uR80BnSGC9rPPGPrv7r7IifrB+UeAaSdot6oA/5XrTsyHUi4fF23iis6ZBEHzYCZ

  bRKdtWsb6zf81F6SL52ot1hgXV9b4/TD+NNqQ81wf7fF53tzV0zjN4UvtRYniluJ

  ex5QL0fOjFaT/hScYKDDI13sGIEZVXB8BUuFidpUtHwKTvoUBJmzvHU7VQn/jfS8

  F7qjdYbt09FGDAghj8LCwngT+eZzP5SoIDTtsjZ2ahTGZ1XmBIOGHrmcghr+xm+X

  7iJaYJbMpAMja85hzAzqUf0aTOTVzuRLvQp3xgN7j4/J2hMXQXjW+5N/mMXuZABh

  5c3udlnS2AlHaQkdZDD1qr74XcWiP43y5/OvFWHiE5RvqTWhwf54Oldcz12kreYB

  kvLBFgVDuLUxYYvDvB2zzwP86JVIrCUujJ5HjcD9E8D8gTDRApCFxRUtti5KUF/R

  /sr3ladiejRIjsPlI/KVvyxxeyF5GvoiE2JT6Ka6foXEoampzHgMZ8zPGYNtgcDR

  I0L3tQ9+epTjLoyLgdECAwEAAaNQME4wHQYDVR0OBBYEFEVYgD1VekTKSim8KJIv

  zjpRuVJfMB8GA1UdIwQYMBaAFEVYgD1VekTKSim8KJIvzjpRuVJfMAwGA1UdEwQF

  MAMBAf8wDQYJKoZIhvcNAQELBQADggIBAGe53qwPZX1z4RNG3tbbtWsIKqDdWn4u

  +mfvXNy6YPdFJuoVyGYkkMyH7wVJVRhlnnPkOM/O8HR7dHX6J0Pt/hByNVK0WDGm

  UddcAUvhWlu81njRlupLQKMHRRngSE67kzunfygAHhFOW0zLAZnjzUyZEfItOhnj

  K+jqqhv0KLsZHzIM6QHUooLKcRXVTnBaVw2nhNrgC/RAIHNL7Ku1KJQxhrPpgi61

  TfaBjWXNY8ZWYQJMpJpDUurZUIa1NFalVxBau3DnE39nBwEb2OJVSJmsPwxaJCyn

  M8efSm8O+atjX77xB2SBVIdwgDJMzt7uZe0xRZPBK9L+t0kB4DGa2aOrJlOm09mK

  bfd1vAU6EMNn7WlfLAh3XUNBaAuQywvgGNecoe+Q3eElVF3mqEYdlDh2EqgK+v+r

  pKO9QUPbe5I4WloWgWHxh2/xi5RdtQTR7ujDFlbtHYQRRZG4N6+LSV8KUd79EhOz

  uokrPcoPuYpS0x6HzQ7ruN7N0pWuwoCMzIvDDA4DVsUqXREZC3HduBdEGUA779IW

  7nHdRzKZXSnMowfcjK4sok1FWFkvnVvHYbPMv0ckGcJxjQBy+ncIQh+UFVks82b+

  pZbN7r4iP6qmqp51v0SucRU2/EZ4KYW7oBw11oywAzvNlmmaqMrzDoUc3CDOESlV

  aEOt96JrTYen

  -----END CERTIFICATE-----

imageContentSources:

- mirrors:

  - registry.ocp4.example.com:5000/ocp4/openshift4

  source: quay.io/openshift-release-dev/ocp-release

- mirrors:

  - registry.ocp4.example.com:5000/ocp4/openshift4

  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev


创建manifests

openshift-install create manifests

将master设置为不可调度

sed-i's/mastersSchedulable:true/mastersSchedulable:false/g' manifests/cluster-scheduler-02-config.yml

创建ignition文件：

[root@bastion ocp4]# openshift-install create ignition-configs

INFO Consuming Worker Machines from target directory

INFO Consuming Common Manifests from target directory

INFO Consuming Master Machines from target directory

INFO Consuming OpenShift Install (Manifests) from target directory

INFO Consuming Openshift Manifests from target directory


放到对应路径：

cp~/ocp4/*.ign /var/www/html/ignition/

restorecon -vR /var/www/html/

chmod o+r /var/www/html/ignition/*.ign


开始安装

openshift-install wait-for bootstrap-complete --log-level debug


openshift4.3.22离线安装_第8张图片

在虚拟机管理界面使用以PXE启动虚拟机


openshift4.3.22离线安装_第9张图片


在HAproxy界面可以观测节点状态，绿色表示正常，红色表示还未正常

http://172.16.167.175:9000



命令行观察安装过程

openshift-install wait-for bootstrap-complete --log-level debug


openshift4.3.22离线安装_第10张图片


openshift-install wait-for install-complete

openshift4.3.22离线安装_第11张图片

安装完成后准备配置文件

export  KUBECONFIG=/root/ocp4/auth/kubeconfig

# 或      cp~/ocp4/auth/kubeconfig ~/.kube/config

查看节点状态

oc get node


openshift4.3.22离线安装_第12张图片


Web Console 登录

ocp4的web console 入口走router了，所以找下域名

首先找到我们的域名，然后在我们自己电脑上 hosts添加解析，指向到worker-0，这样就能够访问openshift 的web 控制台了

oc get route --all-namespaces |grep console-openshift


把172.16.167.175 oauth-openshift.apps.ocp4.example.com console-openshift-console.apps.ocp4.example.com 写入hosts文件


然后浏览器访问console

https://console-openshift-console.apps.ocp4.example.com


用户名是 kubeadmin

密码在这个文件里

cat /root/ocp4/auth/kubeadmin-password


或者通过下面命令拿到集群登录信息

openshift-install wait-for install-complete

openshift4.3.22离线安装_第13张图片



openshift4.3.22离线安装_第14张图片



openshift4.3.22离线安装_第15张图片



openshift4.3.22离线安装_第16张图片


trouble shooting

1 安装过程中master节点和work 节点使用的虚拟机配置文件是GMT+8 时区


RHCOS在PXE安装后是UTC时区

所以在安装基础架构节点的时候操作系统要设置时区为UTC

timedatectl  set-timezone UTC

注：各节点时间一定要一致


2  证书过期或者需要重新安装的时候


执行下面的命令 ，重新生成文件

rm  -rf ~/ocp4


openshift-install create ignition-configs

生成文件后重新复制到相关路径覆盖原文件


cp ~/ocp4/*.ign /var/www/html/ignition/

restorecon -vR /var/www/html/

chmod o+r /var/www/html/ignition/*.ign 

再次以PXE方式启动虚拟机开始重新安装

3 debug bootstrap

在bastion2节点上登录bootstrap节点

ssh core@bootstrap

# 检查方法:

# 查看网络信息

hostname -I

ip route show

cat /etc/resolv.conf

# 查看运行容器，sudo podman ps, 应该有运行中容器

# 如果没有在运行的容器， ps -ef 看下是否有podman pull 的进程

# 通过curl命令检查跟镜像仓库的连通性，我遇到过连不上仓库，在部署机上重启了下仓库后好了

sudo podman ps

sudo ps -ef

# 查看进程端口

netstat -an 查看 6443、22623

# 也可以通过haproxy的页面，就是192.168.2.10:9000 可以看到bootstrap的状态变成了绿色

# 说明这个时候bootstrap 已经部署成功

# 查看服务状态的命令，ssh进去的时候就会提示这条命令

journalctl -b -f -u bootkube.service

参考链接

https://www.jianshu.com/p/0b4eadc854a4

https://www.jianshu.com/p/11dc00f1d93f

https://www.talkwithtrend.com/Article/246491

https://www.cnblogs.com/ericnie/p/11764124.html

https://github.com/wangzheng422/docker_env/blob/master/redhat/ocp4/4.2.disconnect.install.md

你可能感兴趣的:(openshift4.3.22离线安装)

  • python离线安装pip 于光yuguang pythonpip开发语言
    如果您的服务器没有互联网连接，您仍然可以通过其他方式将pip安装到服务器上。以下是一种可能的方法：方法一：离线安装下载pip安装文件：在另一台联网的计算机上，下载pip的安装文件（.whl文件）以及其依赖项的安装文件（如果有）。可以从PyPI下载pip的.whl文件。传输文件：将下载的.whl文件和依赖项文件通过USB等方式传输到没有互联网的服务器上。安装pip：在服务器上，使用pip的安装文件进
  • python 编译器spyder 安装_离线安装spyder的Python环境 weixin_39552037 python编译器spyder安装
    一、介绍：要求在不联网、无法使用anaconda的情况下，在一台离线的win7设备上配置Spyder的python的开发环境，用于提高数据处理效率，且安装方法在win732位和64位的各种设备上均可流畅安装。二、问题难点总结：1.离线安装Python的第三方函数库Python在联网情况下安装第三方包很容易，但离线安装操作比较复杂，如某第三方库a，联网状态下仅一行代码pipinstalla，然而离线
  • python离线安装一个第三方库 Lhj0616 python相关python第三方库
    文章目录实例步骤下载`xlwt`库将文件转移到目标机器在目标机器上安装`xlwt`验证安装总结步骤可能的问题解决方法检查库的兼容性使用`pip`下载适配特定Python版本的库创建虚拟环境创建虚拟环境（Python3.6）创建虚拟环境（Python3.11）检查和验证库的安装下载多个版本的`.whl`文件总结更新：下载的第三方库有依赖库解决方案实例想离线安装一个第三方库xlwt，python版本分
  • Docker-compose minio集群部署 有点菜的运维 docker容器运维
    一、虚机准备192.168.40.174192.168.40.174192.168.40.176二、下载docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio的api端口为9000，控制台端口为9001174version:"3"
  • elasticsearch数据迁移之elasticdump 迷茫运维路 elasticsearch中间件elasticsearchlinux运维
    系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？二、安装elasticdump工具1.离线安装2.在线安装三、elasticdump相关参数四、使用elasticdump进行数据备份五、使用elasticdump进行数据恢复前言在企业实际生产环境中,避免不了要对
  • Swift基础语法学习 中古传奇 swiftc++面试java
    Swift基础语法学习0前言--Swift特点优势(忽悠点)1环境搭建1.1Xcode安装1.2离线安装踩坑指南2Swift语言2.1基本数据类型2.1.1申明常量和变量2.1.2整数类型2.1.3浮点数2.1.4布尔值2.1.5元组2.1.6可选类型2.1.7错误处理3断言和先决条件3.1断言和先决条件调试代码的好处3.2使用断言进行调试3.3强制执行先决条件3.4基本运算符时间：2021-22
  • IntelliJ IDEA下的使用 Lombok Artifacts
    在idea安装lombok插件image在步骤4，应该是个install，我的这个截图是已经安装完成的。步骤5，如果在线安装不成，可以试试离线安装。开启EnableannotationprocessingimagePOM增加依赖org.projectlomboklombok1.16.18provided最后一步增加@Data标签，可以直接看到生成的getset等结构了image
  • 银河麒麟V10 设置MySQL、Tomcat开机自启 还在学习的孔先生 mysqltomcat
    文章目录前言一、MySQL开机自启1.创建服务配置文件2.编写文件内容3.设置文件权限4.重载systemd配置，并设置开机自启注：服务器环境下也可使用chkconfig创建开机启动二、Tomcat开机自启1.创建启动文件2.编辑启动文件3.保存启动文件前言银河麒麟系统V10，MySQL及Tomcat离线安装完成后，不能开机自启，需编写开机自启配置文件。用systemctl管理。一、MySQL开机
  • apt 下载指定架构的包及离线安装的方法 错误重复学习记录 linux
    #设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt/postgresql-client-common#仅下载安装包sudoapt-getinstall--download-onlysudomv/var/cache/apt/archives/*/
  • es安装ik分词器 abments ESelasticsearchjenkins大数据
    下载分词器首先确定es对应的版本（假设版本是7.10.0）根据版本下载指定的分词器开始安装在线安装./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.0/elasticsearch-analysis-ik-7.10.0.zip离线安装-
  • LINUX离线安装ftp服务 人生在勤，不索何获-白大侠 服务器linux服务器运维
    1.下载FTP离线安装包:vsftp:http://rpmfind.net/linux/rpm2html/search.php?query=vsftpd(x86-64)选择最后一个vsftpd-3.0.2-28.el7.x86_64.rpm2.检查是否已经安装了vsftprpm-qa|grepvsftpd出现提示则表示已安装，没有则未安装3.安装vsftpd（推荐离线）离线安装rpm-ivhvsf
  • K8s介绍及离线安装 wang5798 kubernetesdocker
    K8s介绍及离线安装（一）第一章K8s介绍一、K8s是什么？Kubernetes是Google开源的容器集群管理系统，使用Golang开发，其提供应用部署、维护、扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下：使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。以集群的方式运行、管理跨机器的容器。解决Doc
  • linux 离线安装依赖问题 mengyu822_csdn linux运维
    例：需要离线安装mariadb-devel找台有网的系统一样的机器指定软件包下载路径yum--downloadonly--downloaddir=/home/packagesinstallmariadb-devel进入/home/packages下执行rpm-ivh*.rpm
  • Rocky Linux 8.8 离线安装Mariadb 10.11.7 恒云客 linuxmariadb运维
    用户在阿里购买了一台无公网的云服务器，不能用yum进行安装，用离线方式进行了安装。1、创建一个不指定home目录帐号useradd-s/sbin/nologin-Mmysql2、下载官方二进制安装压缩包wgetmariadb-10.11.7-linux-systemd-x86_64.tar.gz3、解压指定目录/usr/localtarzxvfmariadb-10.11.7-linux-syste
  • Linux离线安装MySQL5(1) 2401_84046876 程序员linux运维服务器
    一、下载安装包安装依赖yum-yinstallperlautoconfgccgcc-c++makecmakelrzsznet-toolslibaio官方地址：https://downloads.mysql.com/archives/community/mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar：https://cdn.mysql.com/archives/my
  • kafka2.8.2集群离线安装 xiongmao0304 elk1024程序员节kafka
    版本：Centos7、kafka_2.13-2.8.2节点：27.196.38.200kafka127.196.38.201kafka227.196.38.202kafka3基础配置在所有节点操作[root@localhost~]#systemctlstopfirewalld[root@localhost~]#systemctldisablefirewalldRemovedsymlink/etc/
  • （四）Kafka离线安装 - Kafka下载及安装 清风ai明月 Kafkakafka
    Kafka官方下载地址：ApacheKafka这时候下载安装版本。我这里的安装目录在/usr/local/cd/usr/local/#创建目录mkdirkafkacdkafkamkdirkafka_log把下载的压缩包，放入到/usr/local/kafka/目录下，解压。#解压tar-zxvfkafka_2.12-3.8.0.tgz修改配置文件#修改配置文件cd/usr/local/kafka/
  • Centos7离线安装Kafka+zookeeper+SASL安全认证 weixin_38683859 centoskafka
    1.安装zookeeper1.下载apache-zookeeper-3.5.8-bin.tar.gz2.解压：tar–zxvfapache-zookeeper-3.5.8-bin.tar.gz3.进入到conf目录cd/opt/apache-zookeeper-3.5.8-bin/conf/4.复制配置文件cfgcpzoo_sample.cfgzoo.cfg5.修改zoo.cfg配置文件：vi/o
  • 【离线安装clickhouse集群】 eddianliu bigdataclickhousecentos
    离线安装clickhouse集群clickhouse介绍Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，在OLAP领域像一匹黑马一样，以其超高的性能受到业界的青睐。特性：基于shard+replica实现的线性扩展和高可靠采用列式存储，数据类型一致，压缩性能更高硬件利用率高，连续IO，提高了磁盘驱动器的效率向量化引擎与SIMD提高了CPU利用率，多核多节点并行
  • 离线安装压缩工具xz指南 查拉图斯特拉面条 Linux&运维运维
    在Linux操作系统上离线安装压缩工具xz可能会遇到一些挑战，尤其是当官方下载地址无法访问时。本文将为你提供详细的指导，确保你能够顺利安装xz。一、下载xz安装包首先，你可以尝试从xz官方网站下载xz的安装包。以下是官方下载地址：https://tukaani.org/xz/如果官方网站无法访问，你还可以从GitHub上的xz项目发布页面下载xz的源码压缩包。GitHub提供了多个版本的xz源码，
  • Ubuntu下部署Hadoop集群+Hive（三） 岩屿 hadoopubuntuhive
    Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar，在线安装的话则不用；hive下载地址：Indexof/hive(apache.org)mysqlconnector下载地址：MySQL::DownloadConn
  • Ubuntu 20.04.4 LTS 离线安装docker 与docker-compose 皮卡车厘子 ubuntudockereureka
    Ubuntu20.04.4LTS离线安装docker与docker-compose要在Ubuntu20.04.4LTS上离线安装Docker和DockerCompose，你需要首先从有网络的环境下载Docker和DockerCompose的安装包，然后将它们传输到离线的服务器上进行安装。在有网络的环境中：下载Docker安装包：wgethttps://download.docker.com/lin
  • centos离线安装docker，docker-compose 程序人生518 centosdockerlinux
    安装环境操作系统：Centos7.99内核版本：3.10.0-1160.el7.x86_64安装用户：rootdocker离线安装1下载压缩包官网下载地址：https://download.docker.com/linux/static/stable/x86_64/这里默认选择最新版本（26.0.2）。2上传压缩包并解压tarzxvftarzxvfdocker-26.0.2.tgz3配置docke
  • linux主机离线安装python3环境 文子阳 运维linux运维服务器
    一、下载好python版本Indexof/ftp/python/https://www.python.org/ftp/python/二、创建文件夹mkdir/home/python/三、上传到主机四、解压#解压xz得到tar包xz-dPython-3.9.8.tar.xz#解压tar包tar-xvfPython-3.9.8.tar五、指定安装路径#进入解压后的目录cdPython-3.9.8#"=
  • linux 离线安装python kevin529_super linuxpythonlinuxpython
    安装jdk具体操作如下：1、下载jdk安装包到服务器2、解压tar-zxvfjdk-8u131-linux-x64.tar.gz3、配置环境变量3.1、vi~/.bash_profile3.2、在.bash_profile文件中填入如下语句：exportPATHexportJAVA_HOME=/home/appadmin/apps/jdk1.8.0_162exportPATH=$JAVA_HOME
  • Linux保存依赖安装包到指定目录(用于离线安装) 和月明 服务安装linuxcentos运维
    经常与一些保密级别较高的企业打交道，他们使用的网络都是内部网络，根本无法访问到公网，但是部署一些项目时难免会有依赖包需要离线安装。遇到这种问题通常都是手动去下载依赖的库，然后离线安装，但是你无法判断下载的这个依赖库是否还依赖其他库，如果是手动去下载安装将耗费很长时间（他们导入任何文件都要走流程，一次就需要4h左右），为了改善这种情况，就需要将所有依赖都离线下载到本，本文将介绍如何将Centos和U
  • ELK离线安装和配置流程 GB9125 运维开发elasticsearchelklinux运维开发
    ELK离线安装和配置流程一、介绍ELK是一个开源的数据分析和可视化工具，由三个开源项目组成：Elasticsearch、Logstash和Kibana。Elasticsearch是一个基于Lucene库的分布式搜索和分析引擎；Logstash是一个用于收集、处理和转换数据的数据管道，它可以从各种来源读取数据，包括日志文件、系统事件、网络流量等；Kibana则是一个数据可视化平台，可以对从Elast
  • Mac 离线安装Qt5 熊明之 macc++
    如果使用brewinstallqt发生不明原因报错，可以尝试离线下载qt！！！1下载QT1.1.打开链接：https://download.qt.io/archive/qt/在这个链接上，可以看到不同版本的QT，我们选择稳定5.9/点开后，选择5.9.8版本，可以看到不同版本的QT，选择Mac本QTqt-opensource-mac-x64-5.9.8.dmg；下载后安装；1.2首次使用qt会出现
  • pnpm项目内网迁移技巧 夜晓码农 Webjavascriptpnpmnpm
    概述因为公司项目需要，经常要从外网将代码拷贝到内网进行调试，因为pnpm是基于链接的npm管理工具，所以pnpm的项目迁移和普通的npm项目不一样。步骤离线安装pnpm#在互联网设备执行pnpm的安装npmipnpm--install-strategy=shallow#完成后能看到node_modules目录下新建了pnpm目录#打包node_modules文件夹，拷贝到离线设备解压cdnode_
  • LVS与nginx结合使用，更强的负载均衡 中年程序员一枚 运维环境经典专栏lvsnginx负载均衡
    目录目录LVSLVS组成LVS技术术语LVS的调度算法环境准备显示网络DR(192.168.102.29)配置RS1(192.168.101.134)配置RS2(192.168.101.139)配置客户端测试nginx配置下载安装包安装步骤离线安装在线安装
  • java杨辉三角 3213213333332132 java基础
    package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
  • 《大话重构》之大布局的辛酸历史 白糖_ 重构
    《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。   背景         公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
  • 电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频ed2k
    本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。 项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。 项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
  • Javascript中函数的toString()方法 周凡杨 JavaScriptjstoStringfunctionobject
    简述     The toString() method returns a string representing the source code of the function.     简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。 句法     function.
  • struts处理自定义异常 g21121 struts
    很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。 非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。 此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
  • Linux中find常见用法示例 510888780 linux
    Linux中find常见用法示例 ·find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \; find命令的参数；
  • SpringMVC的各种参数绑定方式 Harry642 springMVC绑定表单
    1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
  • Java 获取Oracle ROWID aijuans javaoracle
    A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
  • java获取方法的参数名 antlove javajdkparametermethodreflect
    reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
  • JAVA正则表达式匹配 查找 替换 提取操作 百合不是茶 java正则表达式替换提取查找
    正则表达式的查找;主要是用到String类中的split();       String str;      str.split();方法中传入按照什么规则截取,返回一个String数组   常见的截取规则: str.split("\\.")按照.来截取 str.
  • Java中equals()与hashCode()方法详解 bijian1013 javasetequals()hashCode()
    一.equals()方法详解     equals()方法在object类中定义如下：  public boolean equals(Object obj) { return (this == obj); }    很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
  • 精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle数据库plsql
    --工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
  • 【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
     Nginx作为静态文件HTTP服务器 在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片 在主配置文件中添加http指令   http { server { listen 80; server_name
  • kafka获得最新partition offset blackproof kafkapartitionoffset最新
    kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
  • centos 7安装docker两种方式 ronin47
          第一种是采用yum 方式              yum install -y docker           
  • java-60-在O(1)时间删除链表结点 bylijinnan java
    public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
  • nginx利用proxy_cache来缓存文件 cfyme cache
    user  zhangy users; worker_processes 10; error_log  /var/vlogs/nginx_error.log  crit; pid        /var/vlogs/nginx.pid; #Specifies the value for ma
  • [JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
        假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做：     string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"     定义一个0整数c,然后用这个整数c去
  • 如何集成支付宝官方文档 dai_lm android
    官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成 调试的时候估计会真的扣款，请注意
  • 应该在什么时候使用Hadoop datamachine hadoop
    原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
  • 在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
    在GridView中使用关联模型进行搜索和排序 首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
  • 使用NSString 的格式化大全 dcj3sjt126com Objective-C
    格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
  • 使用activeX插件对象object滚动有重影 蕃薯耀 activeX插件滚动有重影
      使用activeX插件对象object滚动有重影   <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
  • SpringMVC4零配置 hanqunfeng springmvc4
    基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。     项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
  • 《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
    问题引入 上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。 该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。 当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
  • AngularJS浅析 kvhur JavaScript
    概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
  • 架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
    1.前言.    jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
  • 如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
      本文链接:  http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求 首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。 说一下，
  • C语言算法之水仙花数 qiufeihu c算法
    /** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
  • JSP指令 wyzuomumu jsp
    jsp指令的一般语法格式： <%@ 指令名 属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他