Mathilda91
Mathilda91

CentOS 7上搭建安全、容灾、高可用的etcd集群

本文讲的是CentOS 7上搭建安全、容灾、高可用的etcd集群【编者的话】etcd 是 CoreOS 团队发起的开源项目，基于 Go 语言实现，做为一个分布式键值对存储，通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。

本文目标是部署一个基于TLS（Self-signed certificates）的安全、快速灾难恢复（Disaster Recovery, SNAPSHOT）的高可用（High Availability）的etcd集群。

准备工作

版本信息： 
OS: CentOS Linux release 7.3.1611 (Core) 
etcd Version: 3.2.4
Git SHA: c31bec0
Go Version: go1.8.3
Go OS/Arch: linux/amd64

机器配置信息

CoreOS官方推荐集群规模5个为宜，为了简化本文仅以3个节点为例： 
NAME       ADDRESS             HOSTNAME                    CONFIGURATION
infra0  192.168.16.227  bjo-ep-kub-01.dev.fwmrm.net  8cpus, 16GB内存, 500GB磁盘
infra1  192.168.16.228  bjo-ep-kub-02.dev.fwmrm.net  8cpus, 16GB内存, 500GB磁盘
infra2  192.168.16.229  bjo-ep-kub-03.dev.fwmrm.net  8cpus, 16GB内存, 500GB磁盘

官方建议配置 
硬件            通常场景                    重负载
CPU           2-4 cores                 8-18 cores 
Memory        8GB                       16GB-64GB
Disk          50 sequential IOPS        500 sequential IOPS
Network       1GbE                      10GbE

注：重负载情况以CPU为例，每秒处理数以千计的client端请求。AWS、GCE推荐配置请参考： Example hardware configurations on AWS and GCE

搭建etcd集群

搭建etcd集群有3种方式，分别为Static, etcd Discovery, DNS Discovery。Discovery请参见官网 https://coreos.com/etcd/docs/l ... .html ，在此不再敖述。本文仅以Static方式展示一次集群搭建过程。
每个node的etcd配置分别如下： 
$ /export/etcd/etcd --name infra0 --initial-advertise-peer-urls http://192.168.16.227:2380 \
--listen-peer-urls http://192.168.16.227:2380 \
--listen-client-urls http://192.168.16.227:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.16.227:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=http://192.168.16.227:2380,infra1=http://192.168.16.228:2380,infra2=http://192.168.16.229:2380 \
--initial-cluster-state new


$ /export/etcd/etcd --name infra1 --initial-advertise-peer-urls http://192.168.16.228:2380 \
--listen-peer-urls http://192.168.16.228:2380 \
--listen-client-urls http://192.168.16.228:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.16.228:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=http://192.168.16.227:2380,infra1=http://192.168.16.228:2380,infra2=http://192.168.16.229:2380 \
--initial-cluster-state new


$ /export/etcd/etcd --name infra2 --initial-advertise-peer-urls http://192.168.16.229:2380 \
--listen-peer-urls http://192.168.16.229:2380 \
--listen-client-urls http://192.168.16.229:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://192.168.16.229:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=http://192.168.16.227:2380,infra1=http://192.168.16.228:2380,infra2=http://192.168.16.229:2380 \
--initial-cluster-state new

TLS

etcd支持通过TLS加密通信，TLS channels可被用于集群peer间通信加密，以及client端traffic加密。Self-signed certificates与Automatic certificates两种安全认证形式，其中Self-signed certificates:自签名证书既可以加密traffic也可以授权其连接。本文以Self-signed certificates为例，使用Cloudflare的cfssl很容易生成集群所需证书。
首先，安装go以及设置环境变量GOPATH 
$ cd /export
$ wget https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz
$ tar -xzf go1.8.3.linux-amd64.tar.gz

$ sudo vim ~/.profile
$ export GOPATH=/export/go_path
$ export GOROOT=/export/go/
$ export CFSSL=/export/go_path/
$ export PATH=$PATH:$GOROOT/bin:$CFSSL/bin

$ source ~/.profile

下载并build CFSSL工具, 安装路径为$GOPATH/bin/cfssl, eg. cfssl, cfssljson会被安装到/export/go_path目录。 
$ go get -u github.com/cloudflare/cfssl/cmd/cfssl
$ go get -u github.com/cloudflare/cfssl/cmd/cfssljson

初始化certificate authority 
$ mkdir ~/cfssl
$ cd ~/cfssl
$ cfssl print-defaults config > ca-config.json
$ cfssl print-defaults csr > ca-csr.json

配置CA选项， ca-config.json文件内容如下 
{
"signing": {
    "default": {
        "expiry": "43800h"
    },
    "profiles": {
        "server": {
            "expiry": "43800h",
            "usages": [
                "signing",
                "key encipherment",
                "server auth"
            ]
        },
        "client": {
            "expiry": "43800h",
            "usages": [
                "signing",
                "key encipherment",
                "client auth"
            ]
        },
        "peer": {
            "expiry": "43800h",
            "usages": [
                "signing",
                "key encipherment",
                "server auth",
                "client auth"
            ]
        }
    }
}

ca-csr.json Certificate Signing Request (CSR)文件内容如下 
{
"CN": "My own CA",
"key": {
    "algo": "rsa",
    "size": 2048
},
"names": [
    {
        "C": "US",
        "L": "CA",
        "O": "My Company Name",
        "ST": "San Francisco",
        "OU": "Org Unit 1",
        "OU": "Org Unit 2"
    }
]

用已定义的选项生成CA：cfssl gencert -initca ca-csr.json | cfssljson -bare ca - 
$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
2017/08/02 00:56:03 [INFO] generating a new CA key and certificate from CSR
2017/08/02 00:56:03 [INFO] generate received request
2017/08/02 00:56:03 [INFO] received CSR
2017/08/02 00:56:03 [INFO] generating key: rsa-2048
2017/08/02 00:56:04 [INFO] encoded CSR
2017/08/02 00:56:04 [INFO] signed certificate with serial number 81101109133309828380726760425799837279517519090

会在当前目录下生成如下文件 
ca-key.pem
ca.csr
ca.pem

注：保存好ca-key.pem文件。

生成server端证书： 
$ cfssl print-defaults csr > server.json

server.json内容如下： 
{
"CN": "server",
"hosts": [
    "127.0.0.1",
    "192.168.16.227",
    "192.168.16.228",
    "192.168.16.229",
    "bjo-ep-kub-01.dev.fwmrm.net",
    "bjo-ep-kub-02.dev.fwmrm.net",
    "bjo-ep-kub-03.dev.fwmrm.net"
],
"key": {
    "algo": "ecdsa",
    "size": 256
},
"names": [
    {
        "C": "US",
        "L": "CA",
        "ST": "San Francisco"
    }
]
}
接下来生成server端证书以及private key 
$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server server.json | cfssljson -bare server


$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server server.json | cfssljson -bare server
2017/08/02 00:57:12 [INFO] generate received request
2017/08/02 00:57:12 [INFO] received CSR
2017/08/02 00:57:12 [INFO] generating key: ecdsa-256
2017/08/02 00:57:12 [INFO] encoded CSR
2017/08/02 00:57:12 [INFO] signed certificate with serial number 138149747694684969550285630966539823697635905885

将会生成如下文件： 
server-key.pem
server.csr
server.pem

生成peer certificate 
$ cfssl print-defaults csr > member1.json

替换 CN和hosts值，如下： 
{
"CN": "member1",
"hosts": [
    "127.0.0.1",
    "192.168.16.227",
    "192.168.16.228",
    "192.168.16.229",
    "bjo-ep-kub-01.dev.fwmrm.net",
    "bjo-ep-kub-02.dev.fwmrm.net",
    "bjo-ep-kub-03.dev.fwmrm.net"
],
"key": {
    "algo": "rsa",
    "size": 2048
},
"names": [
    {
        "C": "US",
        "ST": "CA",
        "L": "San Francisco"
    }
]

生成 member1 certificate与private key 
$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer member1.json | cfssljson -bare member1


$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer member1.json | cfssljson -bare member1
2017/08/02 00:59:12 [INFO] generate received request
2017/08/02 00:59:12 [INFO] received CSR
2017/08/02 00:59:12 [INFO] generating key: rsa-2048
2017/08/02 00:59:13 [INFO] encoded CSR
2017/08/02 00:59:13 [INFO] signed certificate with serial number 222573666682951886940627822839805508037201209158

得到如下文件： 
member1-key.pem
member1.csr
member1.pem

在集群其他节点上重复如上步骤。
生成 client certificate 
$ cfssl print-defaults csr > client.json

client.json内容如下： 
{
"CN": "client",
"hosts": [
    "127.0.0.1",
    "192.168.16.227",
    "192.168.16.228",
    "192.168.16.229"
],
"key": {
    "algo": "rsa",
    "size": 2048
},
"names": [
    {
        "C": "US",
        "ST": "CA",
        "L": "San Francisco"
    }
]

生成client certificate 
$ cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client client.json | cfssljson -bare client 

将会得到如下文件 
client-key.pem
client.csr
client.pem

拷贝节点1生成的证书到全部节点，并将证书全部置于/etc/ssl/etcd/目录, 至此TLS证书全部生成完成。

测试TLS
示例1： 客户端到服务器采用HTTPS客户端证书授权
启动etcd服务： 
$ /export/etcd/etcd -name infra0 --data-dir infra0 \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem --cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \  
--advertise-client-urls=https://127.0.0.1:2379 --listen-client-urls=https://127.0.0.1:2379

插入数据： 
$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/foo -XPUT -d value=bar -v

读取数据成功 
$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/foo
{"action":"get","node":{"key":"/foo","value":"bar","modifiedIndex":12,"createdIndex":12

示例2：Using self-signed certificates both encrypts traffic and authenticates its connections.
各节点的etcd配置分别如下 
$ /export/etcd/etcd \
--name infra0 \
--initial-advertise-peer-urls https://192.168.16.227:2380 \
--listen-peer-urls https://192.168.16.227:2380 \
--listen-client-urls https://192.168.16.227:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.227:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member1.pem --peer-key-file=/etc/ssl/etcd/member1-key.pem


$ /export/etcd/etcd \
--name infra1 \
--initial-advertise-peer-urls https://192.168.16.228:2380 \
--listen-peer-urls https://192.168.16.228:2380 \
--listen-client-urls https://192.168.16.228:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.228:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member2.pem --peer-key-file=/etc/ssl/etcd/member2-key.pem


$ /export/etcd/etcd \
--name infra2 \
--initial-advertise-peer-urls https://192.168.16.229:2380 \
--listen-peer-urls https://192.168.16.229:2380 \
--listen-client-urls https://192.168.16.229:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.229:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member3.pem --peer-key-file=/etc/ssl/etcd/member3-key.pem

准备测试数据： 
$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/fristname -XPUT -d value=Xia -v

$ ETCDCTL_API=3 /export/etcd/etcdctl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.229:2379 put lasttname 'Zhang'

验证测试结果： 
$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/
{"action":"get","node":{"dir":true,"nodes":[{"key":"/foo","value":"bar","modifiedIndex":19,"createdIndex":19},{"key":"/fristname","value":"Xia","modifiedIndex":20,"createdIndex":20},{"key":"/lasttname","value":"Zhang","modifiedIndex":21,"createdIndex":21}]

etcd Troubleshooting

etcd failure主要分为如下5种情况：
1. 少数followers failure
2. Leader failure
3. 多数failure
4. Network partition
5. 启动时失败
接下来主要对上面情况3进行处理，也就是平时常说的Disaster Recovery

灾备恢复（Disaster Recovery）

以etcd v3 provides snapshot 方式为例说明etcd一次灾难恢复过程。
首先，etcd正常工作时利用etcdctl snapshot save命令或拷贝etcd目录中的member/snap/db文件，以前者为例： 
$ ETCDCTL_API=3 etcdctl --endpoints $ENDPOINT snapshot save snapshot.db}}
如果enable TLS，需要如下命令：
{{{$ ETCDCTL_API=3 /export/etcd/etcdctl --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.228:2379 snapshot save snapshot.db --cacert=/etc/ssl/etcd/ca.pem --cert=/etc/ssl/etcd/client.pem --key=/etc/ssl/etcd/client-key.pem

Snapshot saved at snapshot.db

将生成snapshot拷贝到集群其他2个节点上，所有节点灾备的恢复都用同一个snapshot。

插入部分数据用于测试灾备： 
$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/fristname -XPUT -d value=Xia -v

$ ETCDCTL_API=3 /export/etcd/etcdctl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.229:2379 put lasttname 'Zhang'

测试数据已插入成功： 
$ ETCDCTL_API=3 /export/etcd/etcdctl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.229:2379  get  firstname

$ curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/v2/keys/
{"action":"get","node":{"dir":true,"nodes":[{"key":"/foo","value":"bar","modifiedIndex":19,"createdIndex":19},{"key":"/fristname","value":"Xia","modifiedIndex":20,"createdIndex":20},{"key":"/lasttname","value":"Zhang","modifiedIndex":21,"createdIndex":21}]

停止3个机器的etcd服务，并删除全部节点上etcd数据目录 。
恢复数据，以TLS enable为例，分别在3个节点执行如下命令进行恢复： 
$ ETCDCTL_API=3 /export/etcd/etcdctl snapshot restore snapshot.db \
--name infra0 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-token etcd-cluster-1 \
--initial-advertise-peer-urls https://192.168.16.227:2380 \
--cacert /etc/ssl/etcd/ca.pem \
--cert /etc/ssl/etcd/client.pem \
--key /etc/ssl/etcd/client-key.pem


$ ETCDCTL_API=3 /export/etcd/etcdctl snapshot restore snapshot.db \
--name infra1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-token etcd-cluster-1 \
--initial-advertise-peer-urls https://192.168.16.228:2380 \
--cacert /etc/ssl/etcd/ca.pem \
--cert /etc/ssl/etcd/client.pem \
--key /etc/ssl/etcd/client-key.pem


$ ETCDCTL_API=3 /export/etcd/etcdctl snapshot restore snapshot.db \
--name infra2 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-token etcd-cluster-1 \
--initial-advertise-peer-urls https://192.168.16.229:2380 \
--cacert /etc/ssl/etcd/ca.pem \
--cert /etc/ssl/etcd/client.pem \
--key /etc/ssl/etcd/client-key.pem

恢复数据log示例： 
$ ETCDCTL_API=3 /export/etcd/etcdctl snapshot restore snapshot.db   --name infra0   --initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380   --initial-cluster-token etcd-cluster-1   --initial-advertise-peer-urls https://192.168.16.227:2380   --cacert /etc/ssl/etcd/ca.pem   --cert /etc/ssl/etcd/client.pem   --key /etc/ssl/etcd/client-key.pem
2017-08-06 04:09:12.853510 I | etcdserver/membership: added member 3e5097be4ea17ebe [https://192.168.16.229:2380] to cluster cabc8098aa3afc98
2017-08-06 04:09:12.853567 I | etcdserver/membership: added member 67d47e92a1704b1a [https://192.168.16.227:2380] to cluster cabc8098aa3afc98
2017-08-06 04:09:12.853583 I | etcdserver/membership: added member b4725a5341abf1a0 [https://192.168.16.228:2380] to cluster cabc8098aa3afc98

接下来，在3个节点上分别执行： 
$ /export/etcd/etcd \
--name infra0 \
--initial-advertise-peer-urls https://192.168.16.227:2380 \
--listen-peer-urls https://192.168.16.227:2380 \
--listen-client-urls https://192.168.16.227:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.227:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member1.pem --peer-key-file=/etc/ssl/etcd/member1-key.pem


$ /export/etcd/etcd \
--name infra1 \
--initial-advertise-peer-urls https://192.168.16.228:2380 \
--listen-peer-urls https://192.168.16.228:2380 \
--listen-client-urls https://192.168.16.228:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.228:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member2.pem --peer-key-file=/etc/ssl/etcd/member2-key.pem


$ /export/etcd/etcd \
--name infra2 \
--initial-advertise-peer-urls https://192.168.16.229:2380 \
--listen-peer-urls https://192.168.16.229:2380 \
--listen-client-urls https://192.168.16.229:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://192.168.16.229:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.16.227:2380,infra1=https://192.168.16.228:2380,infra2=https://192.168.16.229:2380 \
--initial-cluster-state new \
--client-cert-auth --trusted-ca-file=/etc/ssl/etcd/ca.pem \
--cert-file=/etc/ssl/etcd/server.pem --key-file=/etc/ssl/etcd/server-key.pem \
--peer-client-cert-auth --peer-trusted-ca-file=/etc/ssl/etcd/ca.pem \
--peer-cert-file=/etc/ssl/etcd/member3.pem --peer-key-file=/etc/ssl/etcd/member3-key.pem

验证灾备恢复效果，原集群数据是否保存： 
$ ETCDCTL_API=3 /export/etcd/etcdctl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.229:2379 get lasttname
lasttname
Zhang

$ ETCDCTL_API=3 /export/etcd/etcdctl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem --endpoints=https://192.168.16.227:2379,https://192.168.16.228:2379,https://192.168.16.229:2379 get firstname
firstname
Xia

从上面结果可以看出，灾备恢复成功。

etcd系统限制

1. 请求大小限制：当前支持 RPC requests 1MB 数据，未来会有所增加或可配置
2. 存储大小限制：默认 2GB存储，可配置 --quota-backend-bytes扩展到8GB

监控

etcd提供基于Prometheus + builtin Grafana的etcd Metrics监控方案和监控项，具体请参见
etcd Metrics:  https://coreos.com/etcd/docs/latest/metrics.html

获取监控项举例 
$  curl --cacert /etc/ssl/etcd/ca.pem --cert /etc/ssl/etcd/client.pem --key /etc/ssl/etcd/client-key.pem -L https://127.0.0.1:2379/metrics

etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="1"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="2"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="4"} 0
etcd_debugging_mvcc_db_compaction_pause_duration_milliseconds_bucket{le="8"} 0

... ...

process_start_time_seconds 1.50390583624e+09
process_virtual_memory_bytes 1.0787151872e+10

Prometheus + builtin Grafana:  https://coreos.com/etcd/docs/l ... .html

欢迎转载，请注明作者出处：张夏，FreeWheel Lead Engineer，DockOne社区

原文发布时间为：2017-08-06

本文作者：张夏

本文来自云栖社区合作伙伴Dockerone.io，了解相关信息可以关注Dockerone.io。

原文标题：CentOS 7上搭建安全、容灾、高可用的etcd集群

你可能感兴趣的:(CentOS 7上搭建安全、容灾、高可用的etcd集群)

  • Android 深入理解布局优化 IT徐师兄 Android启动优化androidjava开发语言
    微信公众号：徐公前言说到Android启动优化，你一般会想到什么呢？Android多线程异步加载Android首页懒加载对，这是两种很常见的优化手段，但是如果让你主导这件事情，你会如何开始呢？梳理现有的业务，哪些是一定要在启动初始化的，哪些是不必要的需要在启动初始化的，哪些是可以在主线程初始化的，哪些是可以在子线程初始化的当我们把任务丢到子线程初始化，这时候，我们又会遇到两个问题。在首页，我们需要
  • Angular Superresolution of Real Aperture Radar Using Online Detect-Before-Reconstruct Framework 论文阅读 青铜锁00 论文阅读Radar论文阅读
    AngularSuperresolutionofRealApertureRadarUsingOnlineDetect-Before-ReconstructFramework1.论文的研究目标与实际问题意义1.1研究目标1.2实际问题与产业意义2.论文的创新方法、模型与公式分析（重点）2.1核心创新点2.2关键公式与模型2.2.1信号模型2.2.2稀疏正则化优化问题2.2.3坐标循环最小化2.2.4
  • Python Cookbook-2.28 使用跨平台的文件锁 我不会编程555 #Python学习python开发语言
    任务希望某个能同时运行在Windows和类UNIX平台的程序具有锁住文件的能力，但Python标准库提供的锁定文件的方法却是平台相关的。解决方案如果Python标准库没有提供合适的跨平台解决方案，我们可以自己实现一个:importos#需要win32all来工作在windows下(NT、2K、XP、不包括9x)ifos.name=='nt':importwin32con,win32file,pyw
  • Python Cookbook-2.29 带版本号的文件名 我不会编程555 #Python学习python数据库linux
    任务如果你想在改写某文件之前对其做个备份，可以在老文件的名字后面根据惯例加上三个数字的版本号。解决方案我们需要编写一个函数来完成备份工作:defVersionFile(file_spec,vtype='copy'):importos,shutilifos.path.isfile(file_spec):#检查'vtype'参数ifvtypenotin('copy','rename'):raiseVa
  • Python Cookbook-1.24 让某些字符串大小写不敏感 我不会编程555 #Python学习python开发语言
    任务让某些字符串在比较和查询的时候是大小写不敏感的，但在其他操作中却保持原状。解决方案最好的解决方式是，将这种字符串封装在str的一个合适的子类中：classiStr(str):"""大小写不敏感的字符串类行为方式类似于str，只是所有的比较和查询都是大小写不敏感的"""def__init__(self,*args):self._lowered=str.lower(self)def__repr__
  • Netty是怎么实现Java NIO多路复用的？（源码） 嘉友 中间件JavaIONettyjavanio后端
    目录NIO多路复用实现事件循环是什么？核心源码（1）调用NioEventLoopGroup默认构造器（2）指定SelectorProvider（3）创建`Selector`（4）创建单线程和队列（5）单线程处理就绪IO事件最近想再巩固一下NIO等多路复用的实现思路，本文通过Netty源码来进一步总结NIO多路复用的运用。先上一组简单的NIO多路复用实现，NIO多路复用实现服务端通过selector
  • LLM-RAG相关常见面试题 文言AI 人工智能LLM
    #############【持续更新】##############LLM-RAG相关常见面试题6.如何评价RAG项目效果的好坏7.RAG的检索阶段，常见的向量检索模型有哪些？8.针对通用的RAG，你觉得还有哪些改进点？9.什么是LangChain10.LangChain的常用模块有哪些？#############【持续更新】##############LLM-RAG相关常见面试题6.如何评价RAG
  • Python Cookbook（第2版）中文版 weixin_34248258 python数据库c/c++
    PythonCookbook（第2版）中文版基本信息作者：AlexMartelliAnnaRavenscroftDavidAscher译者：高铁军[同译者作品]出版社：人民邮电出版社ISBN：9787115222664上架时间：2010-5-7出版日期：2010年5月开本：16开更多详细信息请查看：http://www.china-pub.com/196697前五章样张试读地址：http://ww
  • oracle盲注技巧,sql盲注的深入讲解 韩军安 oracle盲注技巧
    SQL注入大家都知道，很多新人都是从这里入门的，虽然注入语句倒背如流，可是其原理估计很少有人了解。稍微了解一下的也仅仅只是知道SQL注入语句只是一种为了使我们获取信息的一种畸形语句。Ps(很多人不知道SQl注入与SQL盲注的区别，现在我告诉你，没有区别。)首先我先讲讲微软对SQL注入的定义。(1)脚本注入式的攻击(2)恶意用户输入用来影响被执行的SQL脚本相信大家都看的懂。另外，我看到很多新手都在
  • 在 Windows 上，如果忘记了 MySQL 密码 重置密码 web14786210723 面试学习路线阿里巴巴windowsmysql数据库
    在Windows上，如果忘记了MySQL密码，可以通过以下方法重置密码：方法1：以跳过权限验证模式启动MySQL并重置密码停止MySQL服务：打开命令提示符或PowerShell，输入以下命令停止MySQL服务：netstopmysql如果服务名称不为mysql，可以通过服务管理器（services.msc）查看MySQL服务的实际名称并停止服务。以跳过权限验证的模式启动MySQL：打开命令提示符
  • 一周一个Unity小游戏2D反弹球游戏 - 球反弹的方向 HahaGiver666 一周一个Unity小游戏开发-2D反弹球unity游戏引擎游戏
    前言本文将实现当球在球板上反弹时，会根据球板移动的方向来给球施加反弹的力，例如当球板往左移动时反弹球，则球应向左上方反弹，若球板往右移动时反弹球，则球应向右上方反弹。实现球板的反弹方向逻辑首先给SpringBoard游戏物体添加上2D的刚体，并设置好对应的参数，锁定球板Y的位置和旋转角度，如下。将球板的位置移动改为物理的移动方式，使用Rigidbody2D里的MovePosition方法，代码如下
  • 论文阅读笔记2 sixfrogs 论文阅读笔记论文阅读cnn
    OptimizingMemoryEfficiencyforDeepConvolutionalNeuralNetworksonGPUs1论文简介作者研究了CNN各层的访存效率，并揭示了数据结构和访存模式对CNN的性能影响。并提出了优化方法。2方法介绍2.1Benchmarks数据集：MNIST，CIFAR，ImageNetCNN：AlexNet，ZFNet，VGG2.2实验设置CPU：IntelXe
  • [论文阅读]DAMO-YOLO——实时目标检测设计报告 一朵小红花HH 知识蒸馏目标检测YOLO目标检测目标跟踪论文阅读人工智能
    DAMO-YOLODAMO-YOLO:AReportonReal-TimeObjectDetectionDesign实时目标检测设计报告论文网址：DAMO-YOLO简读论文这篇论文介绍了一个名为DAMO-YOLO的新型目标检测方法,相比YOLO系列的其他方法有着更好的性能。该方法的优势来自于几项新技术:使用了MAE-NAS作为骨干网络,可以自动搜索出不同延迟预算下的优化网络结构。MAE-NAS被称
  • django数据迁移失败，数据库未创建 No changes detected 随心但不率性 djangopython后端
    接手一个django新项目，启动服务前首先需要做数据迁移python3manage.pymakemigrationspython3manage.pymigrate如果执行上述命令后需要的数据表未创建，且报Nochangesdetected可以检查下每个app目录下是否有migrations目录，若没有，则需要新建，且在该目录下创建文件__init__.py该文件可以为空migrations/__i
  • 若依导出没有显示时间或者显示时间格式不对 蹦跑的蜗牛 java若依
    若依导出没有显示时间或者显示时间格式不对在导出输出时，没有显示时间或者显示时间格式不对，会出现以下的数据样式好的，直接修改对应的domain就行，没有这个参数的直接加上这个参数，因为它是继承的，你看不见/**创建时间*/@JsonFormat(pattern="yyyy-MM-ddHH:mm:ss")@Excel(name="创建时间",width=30,dateFormat="yyyy-MM-d
  • 抖音网页版免密登录 蹦跑的蜗牛 pythonchrome开发语言
    通过保存cookie设置cookie做到抖音免密登录问题：老板给了一批抖音号，每次发作品的时候都需要用手机扫码，几个还到行，几十个让人很崩溃解决办法：1、开发浏览器插件首先我想到的是用浏览器插件，用jquery.cook.min.js去做，之前用这个做过广告屏蔽，抖音一键下载，在手机上下载有水印，是在是受不了，现在是看上哪个下载那个，这速度杠杠的。有需要的可以联系我。想着是简单可能这方法虽然能设置
  • MinIO上传 蹦跑的蜗牛 java
    MinIO上传docker搭建minioxml配置文件yml配置文件获取yml配置参数minio配置上传服务类docker搭建minioversion:'3'services:minio:image:minio/minio:RELEASE.2023-04-13T03-08-07Zcontainer_name:minioports:#api端口-"9000:9000"#控制台端口-"9001:900
  • Flutter 国际化(跟随系统及应用内切换)和数据本地存储 油焖茄子 fluttercocoamacos
    iOS国际化项目配置苹果的我以前写过，点击链接查看，如果只是通过flutter配置国际化，那只需要把Localizations里面添加需要支持的语言包即可，其他的就不用配置了。Android国际化项目配置添加依赖flutter_localizations:sdk:flutterPubget两种方法，第一种是使用intl插件，第二种是使用JSON文件，先记录第一种，安装插件(AndroidStudi
  • 《AI大模型开发笔记》DeepSeek技术创新点 Richard Chijq AI大模型开发笔记人工智能笔记
    一、DeepSeek横空出世DeepSeekV3以颠覆性技术架构创新强势破局！革命性的上下文处理机制实现长文本推理成本断崖式下降，综合算力需求锐减90%，开启高效AI新纪元！最新开源的DeepSeekV3模型不仅以顶尖基准测试成绩比肩业界SOTA模型，更以惊人的训练效率引发行业震动——仅耗费280万H800GPU小时（对应4e24FLOP@40%MFU）即达成巅峰性能。对比同级别Llama3-40
  • Spring Data JPA与SpEL：实现通用泛型仓库 t0_54manong python数据库sql个人开发
    在SpringDataJPA中，SpEL（SpringExpressionLanguage）是一种强大的表达式语言，可以用于动态地构建查询语句。通过结合SpEL和泛型，我们可以创建通用的仓库接口，从而减少代码重复并提高开发效率。本文将通过一个具体的例子来展示如何使用SpEL和泛型创建通用仓库。一、背景与需求假设我们有一个任务管理系统，其中包含两种任务类型：异步任务（AsyncTask）和同步任务（
  • SpringBoot -拦截器Interceptor、过滤器 Filter 及设置 小登ai学习 springboot后端
    SpringBoot拦截器（Interceptor）的概念-在SpringBoot中，拦截器是一种AOP的实现方式。它主要用于拦截请求，在请求处理之前和之后执行特定的代码逻辑。与过滤器不同的是，拦截器更侧重于对SpringMVC中的控制器（Controller）进行拦截，能够访问到SpringMVC上下文中的对象，比如获取请求的处理器（Handler）信息、模型（Model）和视图（View）相关
  • Spring Boot拦截器(Interceptor)详解 大地爱 面试学习路线阿里巴巴springboot后端java
    拦截器Interceptor拦截器我们主要分为三个方面进行讲解：介绍下什么是拦截器，并通过快速入门程序上手拦截器拦截器的使用细节通过拦截器Interceptor完成登录校验功能1.快速入门什么是拦截器？是一种动态拦截方法调用的机制，类似于过滤器。拦截器是Spring框架中提供的，用来动态拦截控制器方法的执行。拦截器的作用：拦截请求，在指定方法调用前后，根据业务需要执行预先设定的代码。在拦截器当中，
  • 【笔记ing】牛津高阶英汉双解词典（第9版）Oxford Advanced Learner‘s English-Chinese Dictionary(Ninth) edition 许科大 英语
    Abbreviationsusedinthedictionary本词典使用的缩写abbr.abbreviation缩写adj.adjective形容词adv.adverb副词Ccountablenoun可数名词conj.conjunction连词det.determiner限定词Iintransitiveverb不及物动词n.noun名词pl.plural复数pppastparticiple过去分
  • Flutter_学习记录_showDialog/showModalBottomSheet setState 无法更新UI问题 一人前行 flutter学习flutter
    前言今天写Demo时，用showModalBottomSheet，添加点击事件调用setState()方法后，UI依然不更新，百度了一下，从这两个文章找到了对应的解决方案：FluttershowDialog/showModalBottomSheet刷新UIshowModalBottomSheetsetState无法更新UI问题解决方案解决方案用：StatefulBuilder包裹一下方可。代码如下
  • transformers.deepspeed icesord 人工智能python
    报错：nomodulenamedtransformers.deepspeed原因：版本更新后，已取消transformers.deepspeed新版本中更改为transformers.integrations.deepspeed解决方案：根据trace信息，将原先的importtransformers.deepspeedfromtransformers.deepspeedimport......全
  • 蓝桥杯好题推荐-----高精度减法 羽晨同学 C++蓝桥杯C++组蓝桥杯职场和发展
    个人主页：羽晨同学个人格言:“成为自己未来的主人~”题目链接记录详情-洛谷|计算机科学教育新生态https://www.luogu.com.cn/record/205122671思路讲解这个题目的解题思路，其实是和高精度加法是非常像的。怎么说呢，其实开始的时候，由于范围受限的原因，所以我们必须把数字存到字符串中，然后用倒序，存到数组中，然后进行高精度减法，进行高精度减法的时候，我们可以逐个相减，然
  • flutter 中使用什么本地数据存储 草明 Flutterflutter
    在Flutter中，你可以使用多种本地数据存储方式来保存和管理应用程序的数据。以下是一些常用的本地数据存储方式：1.SharedPreferences：shared_preferences包是Flutter的一个插件，用于在应用程序的持久化存储中存储小量的键值对数据。这对于存储用户偏好设置和应用程序配置等数据非常有用。2.SQLite：SQLite是一个轻量级的关系型数据库引擎，可以嵌入到Flut
  • 使用flutter_secure_storage，保障你的应用数据安全无忧！ 平依佩Ula
    使用flutter_secure_storage，保障你的应用数据安全无忧！flutter_secure_storagemogol/flutter_secure_storage:这是一个为Flutter框架提供的安全存储插件，允许开发者在Android和iOS平台上加密存储敏感信息，如用户凭据、API密钥等。项目地址:https://gitcode.com/gh_mirrors/fl/flutte
  • C++（四）类与对象 下 cloud_disspated c++开发语言
    再谈构造函数构造函数体赋值在创建对象时，编译器通过调用构造函数，给对象中各个成员变量一个合适的初始值classDate{public:Date(intyear,intmonth,intday){_year=year;_month=month;_day=day;}private:int_year;int_month;int_day;};虽然上述构造函数调用之后，对象中已经有了一个初始值，但是不能将其
  • Lua：Lua函数设计与实现_2024-07-14_15-37-17.Tex chenjj4003 游戏开发2lua开发语言kotlin网络android微信
    Lua：Lua函数设计与实现Lua函数基础函数定义与调用在Lua中，函数是一等公民，这意味着它们可以被赋值给变量、存储在数据结构中、作为参数传递给其他函数，甚至可以作为返回值。函数定义使用function关键字，后跟函数名和参数列表，然后是函数体，最后以end结束。--定义一个函数，计算两个数的和functionsum(a,b)returna+bend--调用函数localresult=sum(5
  • sql统计相同项个数并按名次显示 朱辉辉33 javaoracle
    现在有如下这样一个表： A表 ID Name time ------------------------------ 0001 aaa 2006-11-18 0002 ccc 2006-11-18 0003 eee 2006-11-18 0004 aaa 2006-11-18 0005 eee 2006-11-18 0004 aaa 2006-11-18 0002 ccc 20
  • Android+Jquery Mobile学习系列-目录 白糖_ JQuery Mobile
    最近在研究学习基于Android的移动应用开发，准备给家里人做一个应用程序用用。向公司手机移动团队咨询了下，觉得使用Android的WebView上手最快，因为WebView等于是一个内置浏览器，可以基于html页面开发，不用去学习Android自带的七七八八的控件。然后加上Jquery mobile的样式渲染和事件等，就能非常方便的做动态应用了。   从现在起，往后一段时间，我打算
  • 如何给线程池命名 daysinsun 线程池
            在系统运行后，在线程快照里总是看到线程池的名字为pool-xx，这样导致很不好定位，怎么给线程池一个有意义的名字呢。参照ThreadPoolExecutor类的ThreadFactory，自己实现ThreadFactory接口，重写newThread方法即可。参考代码如下：     public class Named
  • IE 中"HTML Parsing Error:Unable to modify the parent container element before the 周凡杨 html解析errorreadyState
      错误： IE 中"HTML Parsing Error:Unable to modify the parent container element before the child element is closed"     现象： 同事之间几个IE 测试情况下，有的报这个错，有的不报。经查询资料后，可归纳以下原因。
  • java上传 g21121 java
    我们在做web项目中通常会遇到上传文件的情况，用struts等框架的会直接用的自带的标签和组件，今天说的是利用servlet来完成上传。 我们这里利用到commons-fileupload组件，相关jar包可以取apache官网下载：http://commons.apache.org/ 下面是servlet的代码： //定义一个磁盘文件工厂 DiskFileItemFactory fact
  • SpringMVC配置学习 510888780 springmvc
    spring MVC配置详解 现在主流的Web MVC框架除了Struts这个主力 外，其次就是Spring MVC了，因此这也是作为一名程序员需要掌握的主流框架，框架选择多了，应对多变的需求和业务时，可实行的方案自然就多了。不过要想灵活运用Spring MVC来应对大多数的Web开发，就必须要掌握它的配置及原理。 　　一、Spring MVC环境搭建：（Spring 2.5.6 + Hi
  • spring mvc-jfreeChart 柱图(1) 布衣凌宇 jfreechart
    第一步：下载jfreeChart包，注意是jfreeChart文件lib目录下的，jcommon-1.0.23.jar和jfreechart-1.0.19.jar两个包即可； 第二步：配置web.xml; web.xml代码如下 <servlet>     <servlet-name>jfreechart</servlet-nam
  • 我的spring学习笔记13-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java P
  • java 线程池使用 Runnable&Callable&Future antlove javathreadRunnablecallablefuture
    1. 创建线程池 ExecutorService executorService = Executors.newCachedThreadPool();   2. 执行一次线程，调用Runnable接口实现 Future<?> future = executorService.submit(new DefaultRunnable()); System.out.prin
  • XML语法元素结构的总结 百合不是茶 xml树结构
    1.XML介绍1969年   gml (主要目的是要在不同的机器进行通信的数据规范)1985年   sgml  standard generralized markup language1993年   html(www网)1998年  xml   extensible markup language
  • 改变eclipse编码格式 bijian1013 eclipse编码格式
    1.改变整个工作空间的编码格式         改变整个工作空间的编码格式，这样以后新建的文件也是新设置的编码格式。         Eclipse->window->preferences->General->workspace-
  • javascript中return的设计缺陷 bijian1013 JavaScriptAngularJS
    代码1： <script> var gisService = (function(window) { return { name:function () { alert(1); } }; })(this); gisService.name(); &l
  • 【持久化框架MyBatis3八】Spring集成MyBatis3 bit1129 Mybatis3
    pom.xml配置 Maven的pom中主要包括： MyBatis MyBatis-Spring Spring MySQL-Connector-Java Druid applicationContext.xml配置   <?xml version="1.0" encoding="UTF-8"?> &
  • java web项目启动时自动加载自定义properties文件 bitray javaWeb监听器相对路径
    创建一个类 public class ContextInitListener implements ServletContextListener 使得该类成为一个监听器。用于监听整个容器生命周期的，主要是初始化和销毁的。 类创建后要在web.xml配置文件中增加一个简单的监听器配置，即刚才我们定义的类。 <listener> <des
  • 用nginx区分文件大小做出不同响应 ronin47
    昨晚和前21v的同事聊天，说到我离职后一些技术上的更新。其中有个给某大客户(游戏下载类)的特殊需求设计，因为文件大小差距很大——估计是大版本和补丁的区别——又走的是同一个域名，而squid在响应比较大的文件时，尤其是初次下载的时候，性能比较差，所以拆成两组服务器，squid服务于较小的文件，通过pull方式从peer层获取，nginx服务于较大的文件，通过push方式由peer层分发同步。外部发布
  • java-67-扑克牌的顺子.从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的.2-10为数字本身，A为1，J为11，Q为12，K为13，而大 bylijinnan java
    package com.ljn.base; import java.util.Arrays; import java.util.Random; public class ContinuousPoker { /** * Q67 扑克牌的顺子 从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的。 * 2-10为数字本身，A为1，J为1
  • 翟鸿燊老师语录 ccii 翟鸿燊
    一、国学应用智慧TAT之亮剑精神A 1. 角色就是人格     就像你一回家的时候，你一进屋里面，你已经是儿子，是姑娘啦，给老爸老妈倒怀水吧，你还觉得你是老总呢？还拿派呢？就像今天一样，你们往这儿一坐，你们之间是什么，同学，是朋友。     还有下属最忌讳的就是领导向他询问情况的时候，什么我不知道，我不清楚，该你知道的你凭什么不知道
  • [光速与宇宙]进行光速飞行的一些问题 comsci 问题
         在人类整体进入宇宙时代，即将开展深空宇宙探索之前，我有几个猜想想告诉大家     仅仅是猜想。。。未经官方证实      1：要在宇宙中进行光速飞行，必须首先获得宇宙中的航行通行证，而这个航行通行证并不是我们平常认为的那种带钢印的证书，是什么呢？ 下面我来告诉
  • oracle undo解析 cwqcwqmax9 oracle
    oracle undo解析2012-09-24 09:02:01     我来说两句       作者：虫师收藏    我要投稿 Undo是干嘛用的？         &nb
  • java中各种集合的详细介绍 dashuaifu java集合
    一，java中各种集合的关系图 Collection       接口的接口     对象的集合  ├ List           子接口   &n
  • 卸载windows服务的方法 dcj3sjt126com windowsservice
    卸载Windows服务的方法 在Windows中，有一类程序称为服务，在操作系统内核加载完成后就开始加载。这里程序往往运行在操作系统的底层，因此资源占用比较大、执行效率比较高，比较有代表性的就是杀毒软件。但是一旦因为特殊原因不能正确卸载这些程序了，其加载在Windows内的服务就不容易删除了。即便是删除注册表中的相 应项目，虽然不启动了，但是系统中仍然存在此项服务，只是没有加载而已。如果安装其他
  • Warning: The Copy Bundle Resources build phase contains this target's Info.plist dcj3sjt126com iosxcode
        http://developer.apple.com/iphone/library/qa/qa2009/qa1649.html Excerpt: You are getting this warning because you probably added your Info.plist file to your Copy Bundle
  • 2014之C++学习笔记（一） Etwo C++EtwoEtwoiterator迭代器
            已经有很长一段时间没有写博客了，可能大家已经淡忘了Etwo这个人的存在，这一年多以来，本人从事了AS的相关开发工作，但最近一段时间，AS在天朝的没落，相信有很多码农也都清楚，现在的页游基本上达到饱和，手机上的游戏基本被unity3D与cocos占据，AS基本没有容身之处。so。。。最近我并不打算直接转型
  • js跨越获取数据问题记录 haifengwuch jsonpjsonAjax
    js的跨越问题，普通的ajax无法获取服务器返回的值。   第一种解决方案，通过getson，后台配合方式，实现。 Java后台代码： protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { String ca
  • 蓝色jQuery导航条 ini JavaScripthtmljqueryWebhtml5
    效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/39.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery鼠标悬停上下滑动导航条 - 柯乐义<
  • linux部署jdk,tomcat,mysql kerryg jdktomcatlinuxmysql
    1、安装java环境jdk:     一般系统都会默认自带的JDK,但是不太好用，都会卸载了，然后重新安装。    1.1）、卸载：      （rpm -qa :查询已经安装哪些软件包；        rmp -q 软件包：查询指定包是否已
  • DOMContentLoaded VS onload VS onreadystatechange mutongwu jqueryjs
    1. DOMContentLoaded 在页面html、script、style加载完毕即可触发，无需等待所有资源（image/iframe）加载完毕。（IE9+） 2. onload是最早支持的事件，要求所有资源加载完毕触发。 3. onreadystatechange 开始在IE引入，后来其它浏览器也有一定的实现。涉及以下 document , applet, embed, fra
  • sql批量插入数据 qifeifei 批量插入
    hi，   自己在做工程的时候，遇到批量插入数据的数据修复场景。我的思路是在插入前准备一个临时表，临时表的整理就看当时的选择条件了，临时表就是要插入的数据集，最后再批量插入到数据库中。    WITH tempT AS ( SELECT item_id AS combo_id, item_id, now() AS create_date FROM a
  • log4j打印日志文件 如何实现相对路径到 项目工程下 thinkfreer Weblog4j应用服务器日志
    最近为了实现统计一个网站的访问量，记录用户的登录信息，以方便站长实时了解自己网站的访问情况，选择了Apache 的log4j,但是在选择相对路径那块 卡主了，X度了好多方法(其实大多都是一样的内用，还一个字都不差的)，都没有能解决问题，无奈搞了2天终于解决了，与大家分享一下 需求： 用户登录该网站时，把用户的登录名,ip,时间。统计到一个txt文档里，以方便其他系统调用此txt。项目名
  • linux下mysql-5.6.23.tar.gz安装与配置 笑我痴狂 mysqllinuxunix
    1.卸载系统默认的mysql [root@localhost ~]# rpm -qa | grep mysql mysql-libs-5.1.66-2.el6_3.x86_64 mysql-devel-5.1.66-2.el6_3.x86_64 mysql-5.1.66-2.el6_3.x86_64 [root@localhost ~]# rpm -e mysql-libs-5.1
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他