紫色飞猪
紫色飞猪

Heartbeat+DRBD+MySQL高可用架构方案与实施过程细节

原文出自老男孩博文，这篇博文写的很是好，如此转载。

http://blog.51cto.com/oldboy/1240412

互联网公司从初期到后期的数据库架构拓展

 

 

Heartbeat介绍

 

官方站点：http://linux-ha.org/wiki/Main_Page

heartbeat可以资源(VIP地址及程序服务)从一台有故障的服务器快速的转移到另一台正常的服务器提供服务，heartbeat和keepalived相似，heartbeat可以实现failover功能，但不能实现对后端的健康检查

 

DRBD介绍

官方站点：http://www.drbd.org/

DRBD(DistributedReplicatedBlockDevice)是一个基于块设备级别在远程服务器直接同步和镜像数据的软件，用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。它可以实现在网络中两台服务器之间基于块设备级别的实时镜像或同步复制(两台服务器都写入成功)/异步复制(本地服务器写入成功)，相当于网络的RAID1，由于是基于块设备(磁盘，LVM逻辑卷)，在文件系统的底层，所以数据复制要比cp命令更快

DRBD已经被MySQL官方写入文档手册作为推荐的高可用的方案之一

 

MySQL介绍

官方站点：http://www.mysql.com/

MySQL是一个开放源码的小型关联式数据库管理系统。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。

 

heartbeat和keepalived应用场景及区别

很多网友说为什么不使用keepalived而使用长期不更新的heartbeat，下面说一下它们之间的应用场景及区别

1、对于web，db，负载均衡(lvs,haproxy,nginx)等，heartbeat和keepalived都可以实现

2、lvs最好和keepalived结合，因为keepalived最初就是为lvs产生的，(heartbeat没有对RS的健康检查功能，heartbeat可以通过ldircetord来进行健康检查的功能)

3、mysql双主多从，NFS/MFS存储，他们的特点是需要数据同步，这样的业务最好使用heartbeat，因为heartbeat有自带的drbd脚本

总结：无数据同步的应用程序高可用可选择keepalived，有数据同步的应用程序高可用可选择heartbeat

1、Heartbeat+DRBD+MySQL安装部署

(1)、架构拓扑

架构说明：

一主多从最常用的架构，多个从库可以使用lvs来提供读的负载均衡

解决一主单点的问题，当主库宕机后，可以实现主库宕机后备节点自动接管，所有的从库会自动和新的主库进行同步，实现了mysql主库的热备方案

(2)、系统环境

系统环境

系统

CentOSrelease5.8

系统位数

X86

内核版本

2.6.18

软件环境

heartbeat

heartbeat-2.1.3-3

drbd

drbd83-8.3.13-2

mysql

5.5.27

(3)、部署环境

角色

IP

VIP

192.168.4.1(内网提供服务的地址)

master1

eth0:(数据库无公网地址)

eth1:192.168.4.2/16(内网)

eth2:172.16.4.2/16(心跳线)

eth3:172.168.4.2/16(DRBD千兆数据传输)

master2

eth0:(数据库无公网地址)

eth1:192.168.4.3/16(内网)

eth2:172.16.4.3/16(心跳线)

eth3:172.168.4.3/16(DRBD千兆数据传输)

slave1

eth1:192.168.4.4/16(外网)

说明：从库通过主库的VIP进行主从同步replication

需求：

1、主库master1宕机后master2自动接管VIP以及所有从库

2、在master2接管时，不影响从库的主从同步replication

 

(4)、主库服务器数据分区信息

磁盘

容量

分区

挂载点

说明

/dev/sdb

1G

/dev/sdb1

/data/

存放数据

/dev/sdb2

  

存放drbd同步的状态信息

注意

1、metadata分区一定不能格式化建立文件系统(sdb2存放drbd同步的状态信息)

2、分好的分区不要进行挂载

3、生产环境DRBDmetadata分区一般可设置为1-2G，数据分区看需求给最大

4、在生产环境中两块硬盘一样大

 

2、heartbeat安装部署

(1)、配置服务器间心跳连接路由

主节点

1

2

[root@master1 ~]# route add -host 172.16.4.3 dev eth2<==到对端的心跳路由

[root@master1 ~]# route add -host 172.168.4.3 dev eth3<==到对端的DRBD数据路由

备节点

1

2

[root@master2 ~]# route add -host 172.16.4.2 dev eth2

[root@master2 ~]# route add -host 172.168.4.2 dev eth3

(2)、安装heartbeat

1

2

3

[root@master1 ~]# yum install heartbeat -y

[root@master1 ~]# yum install heartbeat -y

提示：需要执行两遍安装heartbeat操作

(3)、配置heartbeat

主备节点两端的配置文件(ha.cfauthkeysharesources)完全相同

1)、ha.cf

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

[root@master1 ~]# vim /etc/ha.d/ha.cf

#log configure

debugfile /var/log/ha-debug

logfile /var/log/ha-log

logfacility local1

#options configure

keepalive 2

deadtime 30

warntime 10

initdead 120

#bcast  eth2

mcast eth2 225.0.0.7 694 1 0

#node configure

auto_failback on

node    master1     <==主节点主机名

node    master2     <==备节点主机名

crm no

2)、配置authkeys

1

2

3

[root@master1 ~]# vim /etc/ha.d/authkeys

auth 1

1 sha1 47e9336850f1db6fa58bc470bc9b7810eb397f04

3)、配置haresources

1

2

3

4

5

6

7

[root@master1 ~]# vim /etc/ha.d/haresources

master1 IPaddr::192.168.4.1/16/eth1

#master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

说明：

drbddisk::data      <==启动drbd data资源，相当于执行/etc/ha.d/resource.d/drbddisk data stop/start操作

Filesystem::/dev/drbd1::/data::ext3     <==drbd分区挂载到/data目录，相当于执行/etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 stop/start        <==相当于系统中执行mount /dev/drbd1 /data

mysql               <==启动mysql服务脚本，相当于/etc/init.d/mysql stop/start

(4)、启动heartbeat

1

2

3

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# chkconfig heartbeat off

说明：关闭开机自启动，当服务器重启时，需要人工去启动

(5)、测试heartbeat

正常状态

1

2

3

4

5

6

7

8

[root@master1 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

说明：master1节点拥有vip地址，master2节点没有

模拟主节点宕机后的状态

1

2

3

4

5

6

[root@master1 ~]# /etc/init.d/heartbeat stop

[root@master2 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

说明：master1宕机后，vip地址漂移到master2节点上，master2成为主节点

模拟主节点故障恢复后的状态

1

2

3

4

5

6

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

说明：master1抢占vip资源

 

3、DRBD安装部署

(1)、新添加硬盘

1

2

3

4

5

6

7

[root@master1 ~]# fdisk /dev/sdb

说明：sdb磁盘分两个分区sdb1和sdb2

[root@master1 ~]# partprobe

[root@master1 ~]# mkfs.ext3 /dev/sdb1

说明：sdb2分区为meta data分区，不需要格式化操作

[root@master1 ~]# tune2fs -c -1 /dev/sdb1

说明：设置最大挂载数为-1

(2)、安装DRBD

1

2

3

[root@master1 ~]# yum install kmod-drbd83 drbd83 -y

[root@master1 ~]# modprobe drbd

注意：不要设置echo 'modprobe drbd' >>/etc/rc.loca开机自动加载drbd模块，如果drbd服务是开机自启动的，会先启动drbd服务在加载drbd的顺序，导致drbd启动不了出现的问题

(3)、配置DRBD

主备节点两端配置文件完全一致

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

[root@master1 ~]# cat /etc/drbd.conf

global {

# minor-count 64;

# dialog-refresh 5; # 5 seconds

# disable-ip-verification;

usage-count no;

}

common {

protocol C;

disk {

on-io-error   detach;

#size 454G;

no-disk-flushes;

no-md-flushes;

}

net {

sndbuf-size 512k;

# timeout       60;    #  6 seconds  (unit = 0.1 seconds)

# connect-int   10;    # 10 seconds  (unit = 1 second)

# ping-int      10;    # 10 seconds  (unit = 1 second)

# ping-timeout   5;    # 500 ms (unit = 0.1 seconds)

max-buffers     8000;

unplug-watermark   1024;

max-epoch-size  8000;

# ko-count 4;

# allow-two-primaries;

cram-hmac-alg "sha1";

shared-secret "hdhwXes23sYEhart8t";

after-sb-0pri disconnect;

after-sb-1pri disconnect;

after-sb-2pri disconnect;

rr-conflict disconnect;

# data-integrity-alg "md5";

# no-tcp-cork;

}

syncer {

rate 120M;

al-extents 517;

}

}

resource data {

on master1 {

device     /dev/drbd1;

disk       /dev/sdb1;

address    192.168.4.2:7788;

meta-disk  /dev/sdb2 [0];

}

on master2 {

device     /dev/drbd1;

disk       /dev/sdb1;

address    192.168.4.3:7788;

meta-disk  /dev/sdb2 [0];

}

}

 

(4)、初始化meta分区

1

2

3

4

5

[root@master1 ~]# drbdadm create-md data

Writing meta data...

initializing activity log

NOT initialized bitmap

New drbd meta data block successfully created.

(5)、初始化设备同步(覆盖备节点，保持数据一致)

1

[root@master1 ~]# drbdadm -- --overwrite-data-of-peer primary data

(6)、启动drbd

1

2

[root@master1 ~]# drbdadm up all

[root@master1 ~]# chkconfig drbd off

(7)、挂载drbd分区到data数据目录

1

2

3

[root@master1 ~]# drbdadm primary all

[root@master1 ~]# mount /dev/drbd1 /data

说明：/data目录为数据库的数据目录

(8)、测试DRBD

正常状态

 

1

2

3

4

5

6

7

8

9

10

11

[root@master1 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:497984 nr:0 dw:1 dr:498116 al:1 bm:31 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----

ns:0 nr:497984 dw:497984 dr:0 al:0 bm:30 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

说明：master1为主节点，master为备节点

模拟master1宕机

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

[root@master1 ~]# umount /dev/drbd1

[root@master1 ~]# drbdadm down all

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----

ns:0 nr:497985 dw:497985 dr:0 al:0 bm:30 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# drbdadm primary all

[root@master2 ~]# mount /dev/drbd1 /data

[root@master2 ~]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda3              19G  5.1G   13G  29% /

/dev/sda1             190M   18M  163M  10% /boot

tmpfs                  60M     0   60M   0% /dev/shm

/dev/drbd1            471M   11M  437M   3% /data

说明：master1宕机后，master2可以升级为主节点，可挂载drbd分区继续使用

 

4、MySQL安装部署

注意：三台数据库都安装mysql服务，master2只安装到makeinstall即可，mysqld服务不要设置为开机自启动

(1)、解决perl编译问题

1

2

echo 'export LC_ALL=C'>> /etc/profile

source /etc/profile

 

(2)、安装CAMKE

1

2

3

4

5

6

cd /home/xu/tools

wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz

tar zxf cmake-2.8.4.tar.gz

cd cmake-2.8.4

./configure

make & make install

 

(3)、创建用户

1

2

groupadd mysql

useradd -g mysql mysql

 

(4)、编译安装mysql

1

2

3

4

5

6

7

8

9

10

11

12

wget http://mysql.ntu.edu.tw/Downloads/MySQL-5.5/mysql-5.5.27.tar.gz

tar zxf mysql-5.5.27.tar.gz

cd mysql-5.5.27

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \

-DMYSQL_UNIX_ADDR=/tmp/mysql.sock \

-DDEFAULT_CHARSET=utf8 \

-DDEFAULT_COLLATION=utf8_general_ci \

-DWITH_EXTRA_CHARSETS=complex \

-DWITH_READLINE=1 \

-DENABLED_LOCAL_INFILE=1

make -j 4

make install

 

(5)、设置mysql环境变量

1

2

[root@master1 ~]# echo 'PATH=$PATH:/usr/local/mysql/bin' >>/etc/profile

[root@master1 ~]# source /etc/profile

 

(6)、初始化数据库

1

2

3

4

[root@master1 ~]# mount /dev/drbd1 /data

说明：数据库存放数据的目录是drbd分区

[root@master1 ~]# cd /usr/local/mysql/

[root@master1 ~]# ./scripts/mysql_install_db --datadir=/data/ --user=mysql

 

(7)、启动数据库

1

2

3

4

5

[root@master1 ~]# vim /etc/init.d/mysqld

datadir=/data

说明：修改mysql启动脚本，指定数据库的目录为/data

[root@master1 ~]# /etc/init.d/mysqld start

[root@master1 ~]# chkconfig mysqld off

 

(8)、测试数据库

1

2

3

4

5

6

7

8

[root@master1 ~]# mysql -uroot -e "show databases;"

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

+--------------------+

 

 

5、故障切换测试

(1)、架构正常状态

master1主节点正常状态

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

[root@master1 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.2/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master1 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:39558 nr:12 dw:39570 dr:151 al:16 bm:1 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master1 ~]# mysql -uroot -e "create database coral;"

[root@master1 ~]# mysql -uroot -e "show databases like 'coral';"

+------------------+

| Database (coral) |

+------------------+

| coral            |

+------------------+

说明：master1为主节点，拥有VIP地址，为drbd的主节点

master2备节点正常状态

1

2

3

4

5

6

7

8

9

[root@master2 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----

ns:0 nr:48 dw:48 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

说明：master2备节点没有VIP地址，为drbd备节点

 

 

(2)、模拟master1宕机故障状态

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

[root@master1 ~]# /etc/init.d/heartbeat stop    <==模拟master1故障宕机

[root@master2 ~]# tailf /var/log/ha-log         <==查看备节点接管日志

heartbeat[13209]: 2013/01/23_04:09:36 info: Received shutdown notice from 'master1'.

heartbeat[13209]: 2013/01/23_04:09:36 info: Resources being acquired from master1.

heartbeat[15293]: 2013/01/23_04:09:36 info: acquire local HA resources (standby).

heartbeat[15294]: 2013/01/23_04:09:37 info: No local resources [/usr/share/heartbeat/ResourceManager listkeys master2] to acquire.

heartbeat[15293]: 2013/01/23_04:09:37 info: local HA resource acquisition completed (standby).

heartbeat[13209]: 2013/01/23_04:09:37 info: Standby resource acquisition done [foreign].

harc[15319]:    2013/01/23_04:09:37 info: Running /etc/ha.d/rc.d/status status

mach_down[15335]:       2013/01/23_04:09:37 info: Taking over resource group IPaddr::192.168.4.1/16/eth1

ResourceManager[15361]: 2013/01/23_04:09:37 info: Acquiring resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

IPaddr[15388]:  2013/01/23_04:09:37 INFO:  Resource is stopped

ResourceManager[15361]: 2013/01/23_04:09:37 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 start

IPaddr[15486]:  2013/01/23_04:09:38 INFO: Using calculated netmask for 192.168.4.1: 255.255.0.0

IPaddr[15486]:  2013/01/23_04:09:38 INFO: eval ifconfig eth1:0 192.168.4.1 netmask 255.255.0.0 broadcast 192.168.255.255

IPaddr[15457]:  2013/01/23_04:09:38 INFO:  Success

ResourceManager[15361]: 2013/01/23_04:09:38 info: Running /etc/ha.d/resource.d/drbddisk data start

Filesystem[15636]:      2013/01/23_04:09:39 INFO:  Resource is stopped

ResourceManager[15361]: 2013/01/23_04:09:39 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 start

Filesystem[15717]:      2013/01/23_04:09:39 INFO: Running start for /dev/drbd1 on /data

Filesystem[15706]:      2013/01/23_04:09:39 INFO:  Success

ResourceManager[15361]: 2013/01/23_04:09:40 info: Running /etc/init.d/mysqld  start

mach_down[15335]:       2013/01/23_04:09:44 info: /usr/share/heartbeat/mach_down: nice_failback: foreign resources acquired

mach_down[15335]:       2013/01/23_04:09:44 info: mach_down takeover complete for node master1.

heartbeat[13209]: 2013/01/23_04:09:44 info: mach_down takeover complete.

heartbeat[13209]: 2013/01/23_04:10:09 WARN: node master1: is dead

heartbeat[13209]: 2013/01/23_04:10:09 info: Dead node master1 gave up resources.

heartbeat[13209]: 2013/01/23_04:10:09 info: Link master1:eth2 dead.

说明：当备节点无法检测到主节点的心跳时，自动接管资源，启动VIP地址、drbd服务，自动挂载drbd，启动mysqld服务，备节点接管后，数据依然存在，检测启动的服务如下：

[root@master2 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# cat /proc/drbd

version: 8.3.13 (api:88/proto:86-96)

GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by [email protected], 2012-05-07 11:56:36

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----

ns:3 nr:95 dw:98 dr:10 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@master2 ~]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda3              19G  4.7G   14G  26% /

/dev/sda1             190M   18M  163M  10% /boot

tmpfs                  60M     0   60M   0% /dev/shm

/dev/drbd1            471M   40M  408M   9% /data

[root@master2 ~]# mysql -uroot -e "show databases like 'coral';"

+------------------+

| Database (coral) |

+------------------+

| coral            |

+------------------+

 

(3)、模拟master1宕机恢复状态

启动的顺序是：先启动VIP--启动drbd资源--挂载drbd分区--启动mysqld服务，日志如下：

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# tailf /var/log/ha-log

heartbeat[27970]: 2013/01/09_17:34:14 info: Version 2 support: no

heartbeat[27970]: 2013/01/09_17:34:14 WARN: Logging daemon is disabled --enabling logging daemon is recommended

heartbeat[27970]: 2013/01/09_17:34:14 info: **************************

heartbeat[27970]: 2013/01/09_17:34:14 info: Configuration validated. Starting heartbeat 2.1.3

heartbeat[27971]: 2013/01/09_17:34:14 info: heartbeat: version 2.1.3

heartbeat[27971]: 2013/01/09_17:34:14 info: Heartbeat generation: 1351554533

heartbeat[27971]: 2013/01/09_17:34:14 info: glib: UDP multicast heartbeat started for group 225.0.0.7 port 694 interface eth2 (ttl=1 loop=0)

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_TriggerHandler: Added signal manual handler

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_TriggerHandler: Added signal manual handler

heartbeat[27971]: 2013/01/09_17:34:14 info: G_main_add_SignalHandler: Added signal handler for signal 17

heartbeat[27971]: 2013/01/09_17:34:14 info: Local status now set to: 'up'

heartbeat[27971]: 2013/01/09_17:34:16 info: Link master2:eth2 up.

heartbeat[27971]: 2013/01/09_17:34:16 info: Status update for node master2: status active

harc[27978]:    2013/01/09_17:34:16 info: Running /etc/ha.d/rc.d/status status

heartbeat[27971]: 2013/01/09_17:34:17 info: Comm_now_up(): updating status to active

heartbeat[27971]: 2013/01/09_17:34:17 info: Local status now set to: 'active'

heartbeat[27971]: 2013/01/09_17:34:17 info: remote resource transition completed.

heartbeat[27971]: 2013/01/09_17:34:17 info: remote resource transition completed.

heartbeat[27971]: 2013/01/09_17:34:17 info: Local Resource acquisition completed. (none)

heartbeat[27971]: 2013/01/09_17:34:18 info: master2 wants to go standby [foreign]

heartbeat[27971]: 2013/01/09_17:34:20 info: standby: acquire [foreign] resources from master2

heartbeat[27997]: 2013/01/09_17:34:20 info: acquire local HA resources (standby).

ResourceManager[28010]: 2013/01/09_17:34:20 info: Acquiring resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

IPaddr[28037]:  2013/01/09_17:34:21 INFO:  Resource is stopped

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 start

IPaddr[28135]:  2013/01/09_17:34:21 INFO: Using calculated netmask for 192.168.4.1: 255.255.0.0

IPaddr[28135]:  2013/01/09_17:34:21 INFO: eval ifconfig eth1:0 192.168.4.1 netmask 255.255.0.0 broadcast 192.168.255.255

IPaddr[28106]:  2013/01/09_17:34:21 INFO:  Success

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/drbddisk data start

Filesystem[28286]:      2013/01/09_17:34:21 INFO:  Resource is stopped

ResourceManager[28010]: 2013/01/09_17:34:21 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 start

Filesystem[28367]:      2013/01/09_17:34:21 INFO: Running start for /dev/drbd1 on /data

Filesystem[28356]:      2013/01/09_17:34:21 INFO:  Success

ResourceManager[28010]: 2013/01/09_17:34:22 info: Running /etc/init.d/mysqld  start

heartbeat[27997]: 2013/01/09_17:34:25 info: local HA resource acquisition completed (standby).

heartbeat[27971]: 2013/01/09_17:34:25 info: Standby resource acquisition done [foreign].

heartbeat[27971]: 2013/01/09_17:34:25 info: Initial resource acquisition complete (auto_failback)

heartbeat[27971]: 2013/01/09_17:34:25 info: remote resource transition completed.

 

 

备节点释放资源顺序：停止mysqld服务--卸载drbd1分区--设置drbd为备节点--关闭VIP地址，日志如下：

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

[root@master2 ~]# tailf /var/log/ha-log

heartbeat[13209]: 2013/01/23_04:26:53 info: Heartbeat restart on node master1

heartbeat[13209]: 2013/01/23_04:26:53 info: Link master1:eth2 up.

heartbeat[13209]: 2013/01/23_04:26:53 info: Status update for node master1: status init

heartbeat[13209]: 2013/01/23_04:26:53 info: Status update for node master1: status up

harc[16151]:    2013/01/23_04:26:53 info: Running /etc/ha.d/rc.d/status status

harc[16167]:    2013/01/23_04:26:53 info: Running /etc/ha.d/rc.d/status status

heartbeat[13209]: 2013/01/23_04:26:53 info: all clients are now paused

heartbeat[13209]: 2013/01/23_04:26:55 info: Status update for node master1: status active

harc[16183]:    2013/01/23_04:26:55 info: Running /etc/ha.d/rc.d/status status

heartbeat[13209]: 2013/01/23_04:26:55 info: all clients are now resumed

heartbeat[13209]: 2013/01/23_04:26:55 info: remote resource transition completed.

heartbeat[13209]: 2013/01/23_04:26:55 info: master2 wants to go standby [foreign]

heartbeat[13209]: 2013/01/23_04:26:55 info: standby: master1 can take our foreign resources

heartbeat[16199]: 2013/01/23_04:26:55 info: give up foreign HA resources (standby).

ResourceManager[16212]: 2013/01/23_04:26:55 info: Releasing resource group: master1 IPaddr::192.168.4.1/16/eth1 drbddisk::data Filesystem::/dev/drbd1::/data::ext3 mysqld

ResourceManager[16212]: 2013/01/23_04:26:55 info: Running /etc/init.d/mysqld  stop

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd1 /data ext3 stop

Filesystem[16297]:      2013/01/23_04:26:57 INFO: Running stop for /dev/drbd1 on /data

Filesystem[16297]:      2013/01/23_04:26:57 INFO: Trying to unmount /data

Filesystem[16297]:      2013/01/23_04:26:57 INFO: unmounted /data successfully

Filesystem[16286]:      2013/01/23_04:26:57 INFO:  Success

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/drbddisk data stop

ResourceManager[16212]: 2013/01/23_04:26:57 info: Running /etc/ha.d/resource.d/IPaddr 192.168.4.1/16/eth1 stop

IPaddr[16445]:  2013/01/23_04:26:58 INFO: ifconfig eth1:0 down

IPaddr[16416]:  2013/01/23_04:26:58 INFO:  Success

heartbeat[16199]: 2013/01/23_04:26:58 info: foreign HA resource release completed (standby).

heartbeat[13209]: 2013/01/23_04:26:58 info: Local standby process completed [foreign].

heartbeat[13209]: 2013/01/23_04:27:02 WARN: 1 lost packet(s) for [master1] [15:17]

heartbeat[13209]: 2013/01/23_04:27:02 info: remote resource transition completed.

heartbeat[13209]: 2013/01/23_04:27:02 info: No pkts missing from master1!

heartbeat[13209]: 2013/01/23_04:27:02 info: Other node completed standby takeover of foreign resources.

 

 

6、从库同VIP同步

(1)、master配置

1)、设置server-id值并开启Binlog参数

1

2

3

4

5

[root@master1 ~]# vim /etc/my.cnf

log-bin=/usr/local/mysql/mysql-bin

server-id = 3

[root@master1 ~]# /etc/init.d/mysqld restart

注意：只有master1有重启操作，master2无需重启操作，因为备节点的mysql是未启动状态，备节点只有heartbeat才能启动mysql

 

2)、授权并建立同步账户rep

1

2

[root@master1 ~]# mysql -uroot -p

mysql> GRANT REPLICATION SLAVE ON *.* TO 'rep'@'192.168.4.%' IDENTIFIED BY 'rep';

 

(2)、slave配置

1)、设置server-id值并关闭binlog设置

1

2

3

4

5

[root@slave1 ~]# vim /etc/my.cnf

#log-bin=mysql-bin

server-id       = 4

[root@slave1 ~]# /etc/init.d/mysqld restart

说明：从库无需开启binlog日志功能，除非有需求做级联复制架构或对mysql增量备份操作才开启

2)、配置同步参数

1

2

3

4

5

6

7

8

[root@Slave ~]# mysql -uroot

CHANGE MASTER TO

MASTER_HOST='192.168.4.1',

MASTER_PORT=3306,

MASTER_USER='rep',

MASTER_PASSWORD='rep',

MASTER_LOG_FILE='mysql-bin.000001',

MASTER_LOG_POS=0;

3)、检查是否主从同步

1

2

3

4

5

6

[root@Slave ~]# mysql -uroot

mysql> show slave status\G

...

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

...

(3)、模拟高可用宕机切换是否影响从库同步

1)、主从正常状态

1

2

3

4

5

6

7

8

9

10

11

12

[root@master1 ~]# mysql -uroot

mysql> create database coral1;

Query OK, 1 row affected (0.02 sec)

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%';"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

+-------------------+

2)、模拟高可用主节点宕机

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

[root@master1 ~]# /etc/init.d/heartbeat stop

说明：模拟主节点宕机

[root@master2 ~]# ip addr|grep eth1

3: eth1: mtu 1500 qdisc pfifo_fast qlen 1000

inet 192.168.4.3/16 brd 192.168.255.255 scope global eth1

inet 192.168.4.1/16 brd 192.168.255.255 scope global secondary eth1:0

[root@master2 ~]# mysql -uroot

mysql> create database coral2;

Query OK, 1 row affected (0.08 sec)

说明：VIP地址已经漂移到master2上面

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%'"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

| coral2            |

+-------------------+

注意：高可用主备节点切换过程中，会有一段时间从库才能连接上，大于在60秒内

说明：此时主从同步是正常的

3)、模拟高可用主节点宕机恢复

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

[root@master1 ~]# /etc/init.d/heartbeat start

[root@master1 ~]# mysql -uroot

mysql> create database coral3;

[root@slave1 ~]# mysql -uroot -e "show slave status\G"|egrep "Slave_IO_Running|Slave_SQL_Running"

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

[root@slave1 ~]# mysql -uroot -e "show databases like 'coral%'"

+-------------------+

| Database (coral%) |

+-------------------+

| coral1            |

| coral2            |

| coral3            |

+-------------------+

说明：高可用主节点故障恢复后也不影响主从库的同步

6、高可用脑裂问题及解决方案

(1)、导致裂脑发生的原因

1、高可用服务器之间心跳链路故障，导致无法相互检查心跳

2、高可用服务器上开启了防火墙，阻挡了心跳检测

3、高可用服务器上网卡地址等信息配置不正常，导致发送心跳失败

4、其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件BUG等

(2)、防止裂脑一些方案

1、加冗余线路

2、检测到裂脑时，强行关闭心跳检测(远程关闭主节点，控制电源的电路fence)

3、做好脑裂的监控报警

4、报警后，备节点在接管时设置比较长的时间去接管，给运维人员足够的时间去处理(人为处理)

5、启动磁盘锁，正在服务的一方锁住磁盘，裂脑发生时，让对方完全抢不走"共享磁盘资源"

磁盘锁存在的问题：

使用锁磁盘会有死锁的问题，如果占用共享磁盘的一方不主动"解锁"另一方就永远得不到共享磁盘，假如服务器节点突然死机或崩溃，就不可能执行解锁命令，备节点也就无法接管资源和服务了，有人在HA中设计了智能锁，正在提供服务的一方只在发现心跳全部断开时才会启用磁盘锁，平时就不上锁

你可能感兴趣的:(Linux架构部分,Keepalived,Mysql,Lvs)

  • 22、JavaScript学习笔记——ES5严格模式 lvh98 javascript学习前端
    ES5严格模式当前使用的ES语法是基于ES3.0的方法加上ES5.0的新增方法。默认情况下，ES3.0和ES5.0冲突的部分，会沿用ES3.0的方法；而在ES5.0严格模式下，冲突部分会使用ES5.0的方法。1.“usestrict”不再兼容ES3.0的一些不规则语法。使用全新的ES5.0规范。1.1ES5.0严格模式的启动要选择使用严格模式，需要使用严格模式编译指示（pragma），即一个不赋值
  • 用SpringBoot+mysql+html实现ATM 系统总结与扩展 SAFE20242034 #一SpringBootspringbootmysqlhtml
    这里写目录标题ATM系统总结与扩展项目概述主要功能模块1.用户注册2.用户登录3.账户查询4.存款与取款5.转账6.修改密码7.销户系统改进建议功能扩展技术优化完整代码实现数据库表设计后端代码（SpringBoot示例）1.Account实体类2.AccountRepository接口3.AccountController类前端代码（HTML+JavaScript示例）实际开发与部署步骤**1.开
  • Invocation of init method failed； nested exception is java.sql.SQLException: com.mysql.cj.jdbc.Drive weixin_42277889 mysqljavasql
    代码更新后连不上数据库，前天都还可以，现在不行了，一直报错mysql没有。Pom文件全局搜也灭有。一开始是查不到的，但是实际上pom文件中引入了，maven没有更新。。。。
  • Window系统下开发Qt——在图片上绘制图形 十年编程老舅 QT开发qtc++qt5开发语言ui
    在图像处理程序中，经常需要在图片上绘制一些图像，用以提示用户或展示一些信息。例如，需要绘制一个矩形框，显示当前处理的图像是原图像的一部分。一般在Qt中，可以使用QLabel控件来显示图片。但是使用QLabel既显示图片又显示自己绘制的图形，会很不方便。可以自定义个类，继承自QLabel，并且重写QLabel的paintEvent方法，在此方法中，绘制自己的图形。QT文章推荐阅读：Qt开发必备技术栈
  • 基于 Spring 的本地事务管理 可儿·四系桜 java数据库
    1.什么是本地事务？本地事务是指在单一数据库系统内执行的一组操作，这些操作要么全部完成，要么全部不执行，是一个不可分割的工作单元。本地事务具有ACID特性：原子性（Atomicity）：事务中的所有操作都作为一个整体提交或回滚；如果事务的一部分失败，则整个事务都会被撤销。一致性（Consistency）：事务将数据库从一个一致状态转换到另一个一致状态，确保数据的完整性和规则得到遵守。隔离性（Iso
  • 科研绘图系列：R语言绘制线性回归连线图（line chart） 生信学习者1 SCI科研绘图系列r语言线性回归数据可视化
    禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者!文章目录介绍加载R包数据下载导入数据数据预处理画图保存图片系统信息参考介绍科研绘图系列：R语言绘制线性回归连线图（linechart）加载R包library(tidyverse)library(ggthemes)library(readxl)数据下载所需要的数据和代码通过以下链接下载：百度网盘链接:
  • 知识图谱与大语言模型：构建智能问答系统 AGI大模型与大数据研究院 大数据AI人工智能计算大数据人工智能语言模型AI大模型LLMJavaPython架构设计AgentRPA
    1.背景介绍在当今的信息时代，数据的获取和处理已经成为了我们生活中不可或缺的一部分。然而，随着数据量的爆炸性增长，如何从海量的数据中提取有用的信息，进而为用户提供精准的服务，已经成为了一个重要的研究课题。在这个背景下，知识图谱和大语言模型应运而生，它们通过对数据的深度挖掘和智能处理，为构建智能问答系统提供了可能。2.核心概念与联系2.1知识图谱知识图谱是一种新型的数据结构，它以图的形式表示实体之间
  • React Native开发从入门到精通 赵梓宇 reactnative学习react.js
    目录第一部分：ReactNative入门ReactNative简介什么是ReactNativeReactNative与原生开发对比ReactNative的优缺点开发环境搭建Node.js和npm的安装ReactNativeCLI和Expo的安装与使用AndroidStudio和Xcode配置模拟器和真机调试环境搭建第一个ReactNative应用创建项目项目结构解析简单的页面编写和运行第二部分：R
  • DM数据库体系结构详解 weixin_46474599 达梦数据库
    数据库体系结构分成四个部分，分别是DM逻辑结构，DM物理存储结构，DM内存结构，管理DM线程。DM逻辑结构：1.DM数据库和实例的联系与区别（1）DM数据库指的是磁盘上存放在DM数据库中的数据的集合，一般包括：数据文件、日志文件、控制文件以及临时数据文件等。（2）实例一般是由一组正在运行的DM后台进程/线程以及一个大型的共享内存组成。简单来说，实例就是操作DM数据库的一种手段，是用来访问数据库的内
  • mysql.sock.lock的作用_不能创建 mysql.sock.lock是怎么回事 0110君
    15052003:26:57mysqld_safeStartingmysqlddaemonwithdatabasesfrom/usr/local/mysql/data2015-05-20T03:26:58.070269Z0[Warning]TIMESTAMPwithimplicitDEFAULTvalueisdeprecated.Pleaseuse--explicit_defaults_for_t
  • mysql.sock.lock的作用,[轉帖]mysql.sock的作用 彩彩彩虹
    2、socketmysql.sock的作用是server和client在同一台服務器，並且使用localhost進行鏈接的時候，就會使用socket來進行連接——僅此而已也就是：為主機名為localhost建立的MySQL連接，該連接過程通過一個套接字文件mysql.socket實現的。所以該文件被刪后，用localhost用戶是連接不到MySQL服務器的。必須建立一條tcp/ip連接，即使用12
  • 华为2024校招AI芯片开发工程师面试题详解 AI天才研究院 ChatGPTAI大模型企业级应用开发实战大数据AI人工智能大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    引言核心关键词华为2024校招AI芯片开发工程师面试题详解摘要本文旨在详细解析华为2024校招AI芯片开发工程师的面试题，通过系统的分析，帮助读者深入了解AI芯片的基础知识、设计原理以及面试策略。文章将分为七个主要部分，从AI芯片的概述到面试经验分享，再到行业动态和未来展望，全面覆盖AI芯片开发的核心内容。通过实际案例分析，本文还将展示如何将理论知识应用于实际项目中，为读者提供宝贵的开发实践经验和
  • 电脑键盘按键都代表着什么意思? szkfp
    F1F12通常称为功能键，其中F指的是Function功能的意思，说明F1F12是12个功能键。每一个电脑键盘标配都是顶端都有F1~F12一排按键。我估计全部掌握的人还真不算多，今天高手君就给大家普及一下F1~F12键在日常Windows系统中的功能和使用。注意，仅限台式机或者笔记本的外接键盘。(部分笔记本自带键盘F1~F12被赋予了其他功能，不再此文讨论之列)。F1：帮助键。当碰到一个程序或一个
  • 备赛蓝桥杯之第十五届职业院校组省赛第三题：产品360度展示 云端·目前学前端 备赛蓝桥杯蓝桥杯职场和发展
    提示：本篇文章仅仅是作者自己目前在备赛蓝桥杯中，自己学习与刷题的学习笔记，写的不好，欢迎大家批评与建议由于个别题目代码量与题目量偏大，请大家自己去蓝桥杯官网【连接高校和企业-蓝桥云课】去寻找原题，在这里只提供部分原题代码本题目为：2024年十五届省赛职业院校组真题第三题：产品360度展示题目：需要考生作答的代码段如下：/***@param{*}initialValue初始值*@param{Arra
  • 2020-08-15 打开秋天的内核 深度学习pythonpythontkinter
    Python科学计算器本文分三部分特点介绍程序设计说明最终完整代码如果是高手，请直接跳过设计说明看最终完整代码。一、特点介绍这个计算器之所以称“Python科学计算器”，也绝非浪得虚名，肯定有它独特的地方才向大家推荐。1、具有科学计算功能。按照Python的方式输入，键盘按键和鼠标点击按钮混合输入。一般的计算例如12+34-56*78/910肯定不在话下，2\sqrt2
  • LVGL+FreeRTOS实战项目：智能健康助手（软件篇） 爱学电子的刻刻帝 stm32LVGLfreertos
    简介在智能健康助手项目中，软件部分是整个系统的核心，包括外设控制、操作系统管理、图形界面交互等功能。本文将对软件部分进行整体介绍，并划分为三个主要模块：STM32外设部分、FreeRTOS部分和LVGL部分，为后续的详细讲解铺垫。项目概述本项目采用STM32F411CEU6作为主控，结合LVGL图形界面库和FreeRTOS实时操作系统，实现智能健康监测与交互功能。系统集成多个传感器（MPU6050
  • MongoDB 大俗大雅，上来问分片真三俗 -- 4 分什么分 Austindatabases mongodb数据库
    开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,OceanBase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，可以解决你的问题。加群请联系liuaustin3，（共2710人左右1+2+3+4+5+6+7+8+9）(123456群均已爆满，7群400+，开8群9群)这是MongoDB宣传周的第五篇，这周真漫长，
  • flask搜索mysql_数据库|Flask实现简单搜索功能 科技松鼠会 flask搜索mysql
    数据库|Flask实现简单搜索功能2021-01-16问题描述用Flask实现简单搜索功能主要是通过form的方式传值，再到数据库中查询。下面是数据库的内容，主要是实现对content进行模糊匹配。图1数据库内容解决方案1.首先打开pycharm，构建一个最简单的flask应用。#search.pyfromflaskimportFlaskapp=Flask(__name__)@app.route(
  • mybatis/mybatis-plus模糊查询语句特殊字符转义拦截器的实现 Java云海. mysql数据库database
    在开发中，我们通常会遇到这样的情况。用户在录入信息是录入了‘%’，而在查询时无法精确匹配‘%’。究其原因，‘%’是MySQL的关键字，如果我们想要精确匹配‘%’，那么需要对其进行转义，本文就详细的介绍一下目录1.使用mybatis提供的拦截器拦截所有的查询请求。2.定义SQL语句转义模板，分别对Map和Object对象进行处理mybatis/mybatis-plus模糊查询语句特殊字符转义拦截器在
  • 阿里巴巴大数据系统体系架构 大连赵哥 大数据架构
    数据应用层：这是最顶层，面向不同的用户群体提供服务，包括对内（公司内部使用）、对平台（平台用户）、对商家（商家使用）、对公众（普通消费者）。数据服务与基础工具层：这一层提供了一些基础服务和工具，例如：OneService：可能是一种服务或工具，用于统一数据服务。TDDL+MySQL：TDDL是淘宝分布式数据层的缩写，与MySQL结合使用，提供数据库服务。HBase：一个分布式列存储系统，适合于存储
  • Redis与MySql的区别 GugarF95 redismysql数据库
    Redis和MySQL是两种不同类型的数据库系统，它们在数据存储方式、性能特点、适用场景等方面存在诸多区别，以下是详细介绍：数据存储类型MySQL：是一种关系型数据库管理系统（RDBMS），以表格的形式组织数据，表由行和列组成，每行代表一个记录，每列代表一个属性。通过定义表结构，包括字段类型、长度、是否为主键等约束条件，来存储结构化数据，如用户信息表、订单表等。支持复杂的数据关系，如一对一、一对多
  • MySQL UNION 操作详解 lsx202406 开发语言
    MySQLUNION操作详解引言在数据库操作中，UNION是一个非常重要的概念，它允许我们在一个查询中合并多个SELECT语句的结果集。UNION操作通常用于将来自不同表的数据合并在一起，或者将同一表中的数据按照不同的条件进行合并。本文将详细介绍MySQL中的UNION操作，包括其语法、使用场景以及注意事项。UNION语法UNION语法的基本格式如下：SELECTcolumn_name(s)FRO
  • C# EntityFramework 连接 MySQL 吃不胖的猫o(=^ェ^=)m c#mysql
    安装1.安装MySQL-connector-NET6.9.12.msi2.安装MySQL-for-visualstudio1.2.9.msi3.安装MySQL.Data(版本需要与MySQLConnector/NET相同)：在VisualStudio的"程序包管理控制台"执行Install-PackageMySQL.Data6.9.124.安装MySql.Data.Entity(版本需要与MySQ
  • C#使用实体类Entity Framework Core操作mysql入门：从数据库反向生成模型2 处理连接字符串 初级代码游戏 dotnet和C#数据库mysqlEntityFramework
    初级代码游戏的专栏介绍与文章目录-CSDN博客我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。这些代码大部分以Linux为目标但部分代码是纯C++的，可以在任何平台上使用。源码指引：github源码指引_初级代码游戏的博客-CSDN博客本文接上一篇：C#使用实体类EntityFrameworkCore操作mysql入门：从数据库反向生成模型-C
  • 用自然语言与mysql数据库对话几种方案的思考 闲云野鹤_SG 数据库mysqlAItext2sql自然语言本地部署大模型
    如何用自然语言与mysql数据库对话,而不是用sql语句去查询数据库?处于安全考虑,可训练一个本地大语言模型来完成此项任务,mysql服务器中的数据大约有两万多条记录,服务器的作用主要是记录设备的出库和回库的流水账(即以时间为序的记录),但有一些sql查询比较复杂,必须根据特定的sql语句查询,否则很难得到准确稳定的答案,调试和训练大模型的方法有多种方式,比如lora训练模型,提示词方式,rag方
  • 汉字编码原则及0XA1与0X80代表的含义。（汉字编码原则为转发） 爱吃甜食_ C++C++基础细节
    字符串转GB2312编码后，若码值小于0XA1，则表示这不是一个汉字。字符串转GB2321编码后，若高位码值小于0X80，则表示此字符串不是由两个部分拼接而成。（Windows中，中文简体字符集的编码是同时用1个字节和2个字节来表示的。当高位是0x00～0x7f时，为一个字节，高位为0x80以上时用2个字节表示）网上得到字符串对应的编码都是直接转unsignedchar，若是使用UNICODE，则
  • Pathlib操作文件IN Python Louis yeap pythonpython开发语言pathlib文件
    系列文章目录文章目录目录系列文章目录文章目录前言一、Pathlib是什么？二、使用步骤前言pathlib是Python标准库中用于操作文件和目录路径的模块，自Python3.4起引入。它提供了一种面向对象的方式处理路径，使路径操作更加简洁、可读和跨平台。pathlib取代了传统模块如os.path和部分shutil的功能，成为推荐的路径操作工具。一、Pathlib是什么？pathlib是Pytho
  • Django安装mysqlclient报错 Louis yeap macosdjango后端python
    系列文章目录文章目录系列文章目录前言总结前言CollectingmysqlclientUsingcachedmysqlclient-2.2.4.tar.gz(90kB)Installingbuilddependencies...doneGettingrequirementstobuildwheel...errorerror:subprocess-exited-with-error×Gettingr
  • 开源OA办公系统 零起飞 ERP开源oa
    介绍07FlyOA是一款基于TP5+HAdmin+Mysql打造的简单实用的开源的企业办公系统框架。可以帮助解决企业办公项目60%的重复工作，让开发更多关注业务逻辑。既能快速提高开发效率，帮助公司节省人力成本，同时又不失灵活性。使用07FLyOA可以简单快速地开发出企业级的Web应用系统。系统特点系统各功能模块，一目了然，操作简单；通用型的后台权限管理框架，员工的操作记录全覆盖跟踪，紧随潮流、极低
  • Django 静态文件配置实战指南 ivwdcwso djangosqlitepython开发
    静态文件（如CSS、JavaScript、图片等）是Django项目中构建用户界面的重要组成部分。然而，静态文件的配置问题常常导致开发和生产环境中的404NotFound错误。本文将详细介绍如何正确配置Django静态文件，结合最佳实践，帮助你解决常见的静态文件问题，并确保项目在不同环境中正常运行。©ivwdcwso(ID:u012172506)1.静态文件的基本概念1.1什么是静态文件？静态文件
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他