cuiruidu3106
cuiruidu3106

MyCat分库分表--实战10--多节点扩容与多节点删除

项目环境： 

192.168.8.30  mycat

192.168.8.31  node1

192.168.8.32  node2

192.168.8.33  node3

三个节点MySQL均为单实例

一、当前分片信息配置

schema.xml 




         
           
        
	
        
        
        
       
        
        
        
        
        
        
        
        
        
	
                select user()
                
                
        
        
                select user()
                
                
        
        
                select user()
                
                
        

rule.xml 


                
                        id
                        murmur-id
                


                0
                0
                9
                160        

当前user04进行hash分区，共9个分片，存放在9个物理库。

二、数据查看

node1 


mysql> select * from testdb01.user04;
+----+--------+
| id | name   |
+----+--------+
|  8 | steven |
| 14 | steven |
| 16 | steven |
| 17 | steven |
| 34 | steven |
| 49 | steven |
+----+--------+
6 rows in set (0.00 sec)
mysql> select * from testdb02.user04;
+----+--------+
| id | name   |
+----+--------+
|  9 | steven |
| 10 | steven |
| 44 | steven |
| 45 | steven |
| 46 | steven |
| 48 | steven |
+----+--------+
6 rows in set (0.06 sec)
mysql> select * from testdb03.user04;
+----+--------+
| id | name   |
+----+--------+
| 11 | steven |
| 24 | steven |
| 33 | steven |
| 35 | steven |
| 40 | steven |
+----+--------+
5 rows in set (0.07 sec)

node2 


mysql> select * from testdb13.user04;
+----+--------+
| id | name   |
+----+--------+
| 20 | steven |
| 25 | steven |
| 38 | steven |
| 39 | steven |
+----+--------+
4 rows in set (0.07 sec)
mysql> select * from testdb14.user04;
+----+--------+
| id | name   |
+----+--------+
|  1 | steven |
| 41 | steven |
| 50 | steven |
+----+--------+
3 rows in set (0.03 sec)
mysql> select * from testdb15.user04;
+----+--------+
| id | name   |
+----+--------+
| 12 | steven |
| 18 | steven |
| 32 | steven |
| 36 | steven |
+----+--------+
4 rows in set (0.12 sec)

node3 


mysql> select * from testdb25.user04;
+----+--------+
| id | name   |
+----+--------+
|  6 | steven |
| 13 | steven |
| 19 | steven |
| 23 | steven |
| 27 | steven |
| 28 | steven |
| 29 | steven |
| 31 | steven |
| 37 | steven |
+----+--------+
9 rows in set (0.05 sec)
mysql> select * from testdb26.user04;
+----+--------+
| id | name   |
+----+--------+
|  4 | steven |
|  5 | steven |
| 15 | steven |
| 22 | steven |
| 42 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb27.user04;
+----+--------+
| id | name   |
+----+--------+
|  2 | steven |
|  3 | steven |
|  7 | steven |
| 21 | steven |
| 26 | steven |
| 30 | steven |
| 43 | steven |
| 47 | steven |
+----+--------+
8 rows in set (0.06 sec)

下面增加9个分片，重新进行配置

三、配置schema.xml，rule.xml

复制schema.xml、rule.xml并重命名为newSchema.xml、newRule.xml放于conf目录下，修改newSchema.xml和newRule.xml配置文件为扩容后的mycat配置参数(表的节点数、数据源、路由规则）

newSchema.xml 




         
           
        
	
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
        
	
                select user()
                
                
        
        
                select user()
                
                
        
        
                select user()
                
                
        

newRule.xml 


                
                        id
                        murmur-id
                


                0
                0
                18
                160        

将分片数量改为18

四、修改migrateTables.properties 

#schema1=tb1,tb2,...
#schema2=all（写all或者不写将对此schema下拆分节点变化的拆分表全部进行重新路由）
#...
#sample
#TESTDB=travelrecord,company,goods
mycatdb=user04

五、重新分区

修改 bin 目录下的 dataMigrate.sh 脚本文件，

../bin/dataMigrate.sh 

[root@mycat conf]# ../bin/dataMigrate.sh 
"/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java" -DMYCAT_HOME="/usr/local/mycat" -classpath "/usr/local/mycat/conf:/usr/local/mycat/lib/classes:/usr/local/mycat/lib/asm-4.0.jar:/usr/local/mycat/lib/commons-collections-3.2.1.jar:/usr/local/mycat/lib/commons-lang-2.6.jar:/usr/local/mycat/lib/curator-client-2.11.0.jar:/usr/local/mycat/lib/curator-framework-2.11.0.jar:/usr/local/mycat/lib/curator-recipes-2.11.0.jar:/usr/local/mycat/lib/disruptor-3.3.4.jar:/usr/local/mycat/lib/dom4j-1.6.1.jar:/usr/local/mycat/lib/druid-1.0.26.jar:/usr/local/mycat/lib/ehcache-core-2.6.11.jar:/usr/local/mycat/lib/fastjson-1.2.12.jar:/usr/local/mycat/lib/guava-19.0.jar:/usr/local/mycat/lib/hamcrest-core-1.3.jar:/usr/local/mycat/lib/hamcrest-library-1.3.jar:/usr/local/mycat/lib/jline-0.9.94.jar:/usr/local/mycat/lib/joda-time-2.9.3.jar:/usr/local/mycat/lib/jsr305-2.0.3.jar:/usr/local/mycat/lib/kryo-2.10.jar:/usr/local/mycat/lib/leveldb-0.7.jar:/usr/local/mycat/lib/leveldb-api-0.7.jar:/usr/local/mycat/lib/log4j-1.2.17.jar:/usr/local/mycat/lib/log4j-1.2-api-2.5.jar:/usr/local/mycat/lib/log4j-api-2.5.jar:/usr/local/mycat/lib/log4j-core-2.5.jar:/usr/local/mycat/lib/log4j-slf4j-impl-2.5.jar:/usr/local/mycat/lib/mapdb-1.0.7.jar:/usr/local/mycat/lib/minlog-1.2.jar:/usr/local/mycat/lib/mongo-java-driver-2.11.4.jar:/usr/local/mycat/lib/Mycat-server-1.6.6.1-release.jar:/usr/local/mycat/lib/mysql-binlog-connector-java-0.16.1.jar:/usr/local/mycat/lib/mysql-connector-java-5.1.35.jar:/usr/local/mycat/lib/netty-3.7.0.Final.jar:/usr/local/mycat/lib/netty-buffer-4.1.9.Final.jar:/usr/local/mycat/lib/netty-common-4.1.9.Final.jar:/usr/local/mycat/lib/objenesis-1.2.jar:/usr/local/mycat/lib/reflectasm-1.03.jar:/usr/local/mycat/lib/sequoiadb-driver-1.12.jar:/usr/local/mycat/lib/slf4j-api-1.6.1.jar:/usr/local/mycat/lib/univocity-parsers-2.2.1.jar:/usr/local/mycat/lib/velocity-1.7.jar:/usr/local/mycat/lib/wrapper.jar:/usr/local/mycat/lib/zookeeper-3.4.6.jar" -server -Xms2G -Xmx2G -XX:MaxPermSize=64M -XX:+AggressiveOpts -XX:MaxDirectMemorySize=2G io.mycat.util.dataMigrator.DataMigrator -tempFileDir= -isAwaysUseMaster=true -mysqlBin= -cmdLength=110*1024 -charset=utf8 -deleteTempFileDir=true -threadCount= -delThreadCount= -queryPageSize=
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
2018-11-23 17:25:57:664 [1]-> creating migrator schedule and temp files for migrate...
 +---------------------------------------------[mycatdb:user04] migrate info---------------------------------------------+
 |tableSize      = 50                                                                                                    |
 |migrate before = [dn1, dn2, dn3, dn13, dn14, dn15, dn25, dn26, dn27]                                                   |
 |migrate after  = [dn1, dn2, dn3, dn4, dn5, dn6, dn13, dn14, dn15, dn16, dn17, dn18, dn25, dn26, dn27, dn28, dn29, dn30]|
 |rule function  = PartitionByMurmurHash                                                                                 |
 +-----------------------------------------------------------------------------------------------------------------------+
 +----------------[mycatdb:user04] migrate schedule----------------+
 |dn13[4] -> [0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0]|
 |dn14[3] -> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 2, 0]|
 |dn15[4] -> [0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0]|
 |dn1[6]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 1, 0, 0, 0, 1]|
 |dn25[9] -> [0, 0, 0, 0, 0, 0, 5, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1]|
 |dn26[5] -> [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 0]|
 |dn27[8] -> [0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 1, 1, 0, 0, 0, 0]|
 |dn2[6]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 1, 0, 0]|
 |dn3[5]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0]|
 +-----------------------------------------------------------------+
2018-11-23 17:26:10:896 [2]-> start migrate data...
[mycatdb:user04] dn1->dn26 completed in 740ms
[mycatdb:user04] dn1->dn17 completed in 792ms
[mycatdb:user04] dn1->dn30 completed in 472ms
[mycatdb:user04] dn2->dn17 completed in 474ms
[mycatdb:user04] dn2->dn18 completed in 400ms
[mycatdb:user04] dn2->dn25 completed in 458ms
[mycatdb:user04] dn2->dn28 completed in 388ms
[mycatdb:user04] dn3->dn16 completed in 477ms
[mycatdb:user04] dn3->dn25 completed in 410ms
[mycatdb:user04] dn3->dn29 completed in 423ms
[mycatdb:user04] dn13->dn4 completed in 455ms
[mycatdb:user04] dn13->dn17 completed in 483ms
[mycatdb:user04] dn14->dn27 completed in 496ms
[mycatdb:user04] dn14->dn29 completed in 449ms
[mycatdb:user04] dn15->dn6 completed in 399ms
[mycatdb:user04] dn15->dn17 completed in 395ms
[mycatdb:user04] dn15->dn25 completed in 512ms
[mycatdb:user04] dn25->dn13 completed in 486ms
[mycatdb:user04] dn25->dn16 completed in 473ms
[mycatdb:user04] dn25->dn18 completed in 375ms
[mycatdb:user04] dn25->dn30 completed in 395ms
[mycatdb:user04] dn25->dn27 completed in 482ms
[mycatdb:user04] dn26->dn17 completed in 422ms
[mycatdb:user04] dn26->dn14 completed in 495ms
[mycatdb:user04] dn26->dn25 completed in 440ms
[mycatdb:user04] dn26->dn28 completed in 438ms
[mycatdb:user04] dn26->dn29 completed in 424ms
[mycatdb:user04] dn27->dn15 completed in 438ms
[mycatdb:user04] dn27->dn25 completed in 404ms
[mycatdb:user04] dn27->dn26 completed in 396ms
2018-11-23 17:26:18:106 [3]-> cleaning redundant data...
[mycatdb:user04] clean dataNode dn2 completed in 97ms
[mycatdb:user04] clean dataNode dn3 completed in 130ms
[mycatdb:user04] clean dataNode dn2 completed in 201ms
[mycatdb:user04] clean dataNode dn3 completed in 279ms
[mycatdb:user04] clean dataNode dn1 completed in 243ms
[mycatdb:user04] clean dataNode dn1 completed in 274ms
[mycatdb:user04] clean dataNode dn3 completed in 200ms
[mycatdb:user04] clean dataNode dn1 completed in 187ms
[mycatdb:user04] clean dataNode dn2 completed in 199ms
[mycatdb:user04] clean dataNode dn2 completed in 183ms
[mycatdb:user04] clean dataNode dn15 completed in 120ms
[mycatdb:user04] clean dataNode dn15 completed in 146ms
[mycatdb:user04] clean dataNode dn13 completed in 155ms
[mycatdb:user04] clean dataNode dn13 completed in 223ms
[mycatdb:user04] clean dataNode dn14 completed in 166ms
[mycatdb:user04] clean dataNode dn14 completed in 234ms
[mycatdb:user04] clean dataNode dn15 completed in 221ms
[mycatdb:user04] clean dataNode dn25 completed in 111ms
[mycatdb:user04] clean dataNode dn27 completed in 118ms
[mycatdb:user04] clean dataNode dn25 completed in 152ms
[mycatdb:user04] clean dataNode dn26 completed in 186ms
[mycatdb:user04] clean dataNode dn27 completed in 149ms
[mycatdb:user04] clean dataNode dn26 completed in 182ms
[mycatdb:user04] clean dataNode dn25 completed in 183ms
[mycatdb:user04] clean dataNode dn26 completed in 208ms
[mycatdb:user04] clean dataNode dn25 completed in 164ms
[mycatdb:user04] clean dataNode dn27 completed in 207ms
[mycatdb:user04] clean dataNode dn25 completed in 242ms
[mycatdb:user04] clean dataNode dn26 completed in 179ms
[mycatdb:user04] clean dataNode dn26 completed in 129ms
2018-11-23 17:26:21:423 [4]-> validating tables migrate result...
 +------migrate result-------+
 |[mycatdb:user04] -> success|
 +---------------------------+
2018-11-23 17:26:22:385 migrate data complete in 24736ms

六、重命名newSchema.xml和newRule.xml

扩容成功后，将newSchema.xml和newRule.xml重命名为schema.xml和rule.xml并替换掉原文件，重启mycat服务，整个扩容过程完成。

七、验证数据

node1 


mysql> select * from testdb01.user04;
+----+--------+
| id | name   |
+----+--------+
| 16 | steven |
| 49 | steven |
+----+--------+
2 rows in set (0.01 sec)
mysql> select * from testdb02.user04;
+----+--------+
| id | name   |
+----+--------+
| 46 | steven |
| 48 | steven |
+----+--------+
2 rows in set (0.00 sec)
mysql> select * from testdb03.user04;
+----+--------+
| id | name   |
+----+--------+
| 24 | steven |
| 40 | steven |
+----+--------+
2 rows in set (0.00 sec)
mysql> select * from testdb04.user04;
+----+--------+
| id | name   |
+----+--------+
| 20 | steven |
| 25 | steven |
| 39 | steven |
+----+--------+
3 rows in set (0.00 sec)
mysql> select * from testdb05.user04;
Empty set (0.01 sec)
mysql> select * from testdb06.user04;
+----+--------+
| id | name   |
+----+--------+
| 32 | steven |
| 36 | steven |
+----+--------+
2 rows in set (0.00 sec)

node2 


mysql> select * from testdb13.user04;
+----+--------+
| id | name   |
+----+--------+
|  6 | steven |
| 19 | steven |
| 23 | steven |
| 28 | steven |
| 29 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb14.user04;
+----+--------+
| id | name   |
+----+--------+
|  5 | steven |
+----+--------+
1 row in set (0.00 sec)
mysql> select * from testdb15.user04;
+----+--------+
| id | name   |
+----+--------+
|  7 | steven |
| 26 | steven |
| 30 | steven |
| 43 | steven |
| 47 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb16.user04;
+----+--------+
| id | name   |
+----+--------+
| 33 | steven |
| 37 | steven |
+----+--------+
2 rows in set (0.00 sec)
mysql> select * from testdb17.user04;
+----+--------+
| id | name   |
+----+--------+
| 10 | steven |
| 12 | steven |
| 14 | steven |
| 15 | steven |
| 34 | steven |
| 38 | steven |
+----+--------+
6 rows in set (0.01 sec)
mysql> select * from testdb18.user04;
+----+--------+
| id | name   |
+----+--------+
| 31 | steven |
| 45 | steven |
+----+--------+
2 rows in set (0.00 sec)

node3 


mysql> select * from testdb25.user04;
+----+--------+
| id | name   |
+----+--------+
|  2 | steven |
| 18 | steven |
| 22 | steven |
| 35 | steven |
| 44 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb26.user04;
+----+--------+
| id | name   |
+----+--------+
|  3 | steven |
| 17 | steven |
+----+--------+
2 rows in set (0.00 sec)
mysql> select * from testdb27.user04;
+----+--------+
| id | name   |
+----+--------+
| 21 | steven |
| 27 | steven |
| 41 | steven |
+----+--------+
3 rows in set (0.00 sec)
mysql> select * from testdb28.user04;
+----+--------+
| id | name   |
+----+--------+
|  9 | steven |
| 42 | steven |
+----+--------+
2 rows in set (0.00 sec)
mysql> select * from testdb29.user04;
+----+--------+
| id | name   |
+----+--------+
|  1 | steven |
|  4 | steven |
| 11 | steven |
| 50 | steven |
+----+--------+
4 rows in set (0.00 sec)
mysql> select * from testdb30.user04;
+----+--------+
| id | name   |
+----+--------+
|  8 | steven |
| 13 | steven |
+----+--------+
2 rows in set (0.00 sec)

可以看到user04分片由原来的9个分片变成了18个分片，验证完毕。

下面我们将缩减分片至9个分片

八、配置schema.xml，rule.xml

复制schema.xml、rule.xml并重命名为newSchema.xml、newRule.xml放于conf目录下，修改newSchema.xml和newRule.xml配置文件为缩容后的mycat配置参数(表的节点数、数据源、路由规则）

newSchema.xml 




         
           
           
           
           
        
	
        
        
        
        
        
        
        
        
        
        
        
        
        
	
                select user()
                
                
        
        
                select user()
                
                
        
        
                select user()
                
                
        

newRule.xml 


                
                        id
                        murmur-id
                


                0
                0
                9
                160        

九、重新分区

修改 bin 目录下的 dataMigrate.sh 脚本文件，

../bin/dataMigrate.sh 

[root@mycat conf]# ../bin/dataMigrate.sh
"/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre/bin/java" -DMYCAT_HOME="/usr/local/mycat" -classpath "/usr/local/mycat/conf:/usr/local/mycat/lib/classes:/usr/local/mycat/lib/asm-4.0.jar:/usr/local/mycat/lib/commons-collections-3.2.1.jar:/usr/local/mycat/lib/commons-lang-2.6.jar:/usr/local/mycat/lib/curator-client-2.11.0.jar:/usr/local/mycat/lib/curator-framework-2.11.0.jar:/usr/local/mycat/lib/curator-recipes-2.11.0.jar:/usr/local/mycat/lib/disruptor-3.3.4.jar:/usr/local/mycat/lib/dom4j-1.6.1.jar:/usr/local/mycat/lib/druid-1.0.26.jar:/usr/local/mycat/lib/ehcache-core-2.6.11.jar:/usr/local/mycat/lib/fastjson-1.2.12.jar:/usr/local/mycat/lib/guava-19.0.jar:/usr/local/mycat/lib/hamcrest-core-1.3.jar:/usr/local/mycat/lib/hamcrest-library-1.3.jar:/usr/local/mycat/lib/jline-0.9.94.jar:/usr/local/mycat/lib/joda-time-2.9.3.jar:/usr/local/mycat/lib/jsr305-2.0.3.jar:/usr/local/mycat/lib/kryo-2.10.jar:/usr/local/mycat/lib/leveldb-0.7.jar:/usr/local/mycat/lib/leveldb-api-0.7.jar:/usr/local/mycat/lib/log4j-1.2.17.jar:/usr/local/mycat/lib/log4j-1.2-api-2.5.jar:/usr/local/mycat/lib/log4j-api-2.5.jar:/usr/local/mycat/lib/log4j-core-2.5.jar:/usr/local/mycat/lib/log4j-slf4j-impl-2.5.jar:/usr/local/mycat/lib/mapdb-1.0.7.jar:/usr/local/mycat/lib/minlog-1.2.jar:/usr/local/mycat/lib/mongo-java-driver-2.11.4.jar:/usr/local/mycat/lib/Mycat-server-1.6.6.1-release.jar:/usr/local/mycat/lib/mysql-binlog-connector-java-0.16.1.jar:/usr/local/mycat/lib/mysql-connector-java-5.1.35.jar:/usr/local/mycat/lib/netty-3.7.0.Final.jar:/usr/local/mycat/lib/netty-buffer-4.1.9.Final.jar:/usr/local/mycat/lib/netty-common-4.1.9.Final.jar:/usr/local/mycat/lib/objenesis-1.2.jar:/usr/local/mycat/lib/reflectasm-1.03.jar:/usr/local/mycat/lib/sequoiadb-driver-1.12.jar:/usr/local/mycat/lib/slf4j-api-1.6.1.jar:/usr/local/mycat/lib/univocity-parsers-2.2.1.jar:/usr/local/mycat/lib/velocity-1.7.jar:/usr/local/mycat/lib/wrapper.jar:/usr/local/mycat/lib/zookeeper-3.4.6.jar" -server -Xms2G -Xmx2G -XX:MaxPermSize=64M -XX:+AggressiveOpts -XX:MaxDirectMemorySize=2G io.mycat.util.dataMigrator.DataMigrator -tempFileDir= -isAwaysUseMaster=true -mysqlBin= -cmdLength=110*1024 -charset=utf8 -deleteTempFileDir=true -threadCount= -delThreadCount= -queryPageSize=
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
2018-11-23 17:47:02:047 [1]-> creating migrator schedule and temp files for migrate...
 +---------------------------------------------[mycatdb:user04] migrate info---------------------------------------------+
 |tableSize      = 50                                                                                                    |
 |migrate before = [dn1, dn2, dn3, dn4, dn5, dn6, dn13, dn14, dn15, dn16, dn17, dn18, dn25, dn26, dn27, dn28, dn29, dn30]|
 |migrate after  = [dn1, dn2, dn3, dn13, dn14, dn15, dn25, dn26, dn27]                                                   |
 |rule function  = PartitionByMurmurHash                                                                                 |
 +-----------------------------------------------------------------------------------------------------------------------+
 +--[mycatdb:user04] migrate schedule---+
 |dn13[5] -> [0, 0, 0, 0, 0, 0, 5, 0, 0]|
 |dn14[1] -> [0, 0, 0, 0, 0, 0, 0, 1, 0]|
 |dn15[5] -> [0, 0, 0, 0, 0, 0, 0, 0, 5]|
 |dn16[2] -> [0, 0, 1, 0, 0, 0, 1, 0, 0]|
 |dn17[6] -> [2, 1, 0, 1, 0, 1, 0, 1, 0]|
 |dn18[2] -> [0, 1, 0, 0, 0, 0, 1, 0, 0]|
 |dn1[2]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0]|
 |dn25[5] -> [0, 1, 1, 0, 0, 1, 0, 1, 1]|
 |dn26[2] -> [1, 0, 0, 0, 0, 0, 0, 0, 1]|
 |dn27[3] -> [0, 0, 0, 0, 1, 0, 1, 0, 0]|
 |dn28[2] -> [0, 1, 0, 0, 0, 0, 0, 1, 0]|
 |dn29[4] -> [0, 0, 1, 0, 2, 0, 0, 1, 0]|
 |dn2[2]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0]|
 |dn30[2] -> [1, 0, 0, 0, 0, 0, 1, 0, 0]|
 |dn3[2]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0]|
 |dn4[3]  -> [0, 0, 0, 3, 0, 0, 0, 0, 0]|
 |dn5[0]  -> [0, 0, 0, 0, 0, 0, 0, 0, 0]|
 |dn6[2]  -> [0, 0, 0, 0, 0, 2, 0, 0, 0]|
 +--------------------------------------+
2018-11-23 17:47:06:683 [2]-> start migrate data...
[mycatdb:user04] dn6->dn15 completed in 763ms
[mycatdb:user04] dn4->dn13 completed in 835ms
[mycatdb:user04] dn13->dn25 completed in 473ms
[mycatdb:user04] dn14->dn26 completed in 468ms
[mycatdb:user04] dn15->dn27 completed in 414ms
[mycatdb:user04] dn16->dn3 completed in 406ms
[mycatdb:user04] dn16->dn25 completed in 439ms
[mycatdb:user04] dn17->dn1 completed in 474ms
[mycatdb:user04] dn17->dn2 completed in 426ms
[mycatdb:user04] dn17->dn13 completed in 396ms
[mycatdb:user04] dn17->dn15 completed in 408ms
[mycatdb:user04] dn17->dn26 completed in 444ms
[mycatdb:user04] dn18->dn2 completed in 420ms
[mycatdb:user04] dn18->dn25 completed in 508ms
[mycatdb:user04] dn25->dn2 completed in 439ms
[mycatdb:user04] dn25->dn3 completed in 459ms
[mycatdb:user04] dn25->dn15 completed in 422ms
[mycatdb:user04] dn25->dn26 completed in 442ms
[mycatdb:user04] dn25->dn27 completed in 448ms
[mycatdb:user04] dn26->dn1 completed in 412ms
[mycatdb:user04] dn26->dn27 completed in 434ms
[mycatdb:user04] dn27->dn14 completed in 436ms
[mycatdb:user04] dn27->dn25 completed in 442ms
[mycatdb:user04] dn28->dn2 completed in 453ms
[mycatdb:user04] dn28->dn26 completed in 397ms
[mycatdb:user04] dn29->dn3 completed in 381ms
[mycatdb:user04] dn29->dn14 completed in 405ms
[mycatdb:user04] dn29->dn26 completed in 440ms
[mycatdb:user04] dn30->dn1 completed in 437ms
[mycatdb:user04] dn30->dn25 completed in 358ms
2018-11-23 17:47:13:659 [3]-> cleaning redundant data...
[mycatdb:user04] clean dataNode dn6 completed in 267ms
[mycatdb:user04] clean dataNode dn4 completed in 285ms
[mycatdb:user04] clean dataNode dn17 completed in 154ms
[mycatdb:user04] clean dataNode dn17 completed in 228ms
[mycatdb:user04] clean dataNode dn15 completed in 141ms
[mycatdb:user04] clean dataNode dn16 completed in 248ms
[mycatdb:user04] clean dataNode dn18 completed in 241ms
[mycatdb:user04] clean dataNode dn14 completed in 192ms
[mycatdb:user04] clean dataNode dn16 completed in 316ms
[mycatdb:user04] clean dataNode dn17 completed in 254ms
[mycatdb:user04] clean dataNode dn17 completed in 325ms
[mycatdb:user04] clean dataNode dn17 completed in 222ms
[mycatdb:user04] clean dataNode dn13 completed in 170ms
[mycatdb:user04] clean dataNode dn18 completed in 198ms
[mycatdb:user04] clean dataNode dn25 completed in 101ms
[mycatdb:user04] clean dataNode dn29 completed in 195ms
[mycatdb:user04] clean dataNode dn30 completed in 240ms
[mycatdb:user04] clean dataNode dn29 completed in 279ms
[mycatdb:user04] clean dataNode dn27 completed in 172ms
[mycatdb:user04] clean dataNode dn25 completed in 176ms
[mycatdb:user04] clean dataNode dn28 completed in 258ms
[mycatdb:user04] clean dataNode dn25 completed in 162ms
[mycatdb:user04] clean dataNode dn25 completed in 202ms
[mycatdb:user04] clean dataNode dn28 completed in 313ms
[mycatdb:user04] clean dataNode dn26 completed in 185ms
[mycatdb:user04] clean dataNode dn29 completed in 243ms
[mycatdb:user04] clean dataNode dn30 completed in 258ms
[mycatdb:user04] clean dataNode dn27 completed in 161ms
[mycatdb:user04] clean dataNode dn25 completed in 168ms
[mycatdb:user04] clean dataNode dn26 completed in 160ms
2018-11-23 17:47:17:586 [4]-> validating tables migrate result...
 +------migrate result-------+
 |[mycatdb:user04] -> success|
 +---------------------------+
2018-11-23 17:47:18:102 migrate data complete in 16057ms

十、重命名newSchema.xml和newRule.xml

缩容成功后，将newSchema.xml和newRule.xml重命名为schema.xml和rule.xml并替换掉原文件，重启mycat服务，整个缩容过程完成。

十一、验证数据

node1 


mysql> select * from testdb01.user04;
+----+--------+
| id | name   |
+----+--------+
|  8 | steven |
| 14 | steven |
| 16 | steven |
| 17 | steven |
| 34 | steven |
| 49 | steven |
+----+--------+
6 rows in set (0.00 sec)
mysql> select * from testdb02.user04;
+----+--------+
| id | name   |
+----+--------+
|  9 | steven |
| 10 | steven |
| 44 | steven |
| 45 | steven |
| 46 | steven |
| 48 | steven |
+----+--------+
6 rows in set (0.00 sec)
mysql> select * from testdb03.user04;
+----+--------+
| id | name   |
+----+--------+
| 11 | steven |
| 24 | steven |
| 33 | steven |
| 35 | steven |
| 40 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb04.user04;
Empty set (0.00 sec)
mysql> select * from testdb05.user04;
Empty set (0.01 sec)
mysql> select * from testdb06.user04;
Empty set (0.00 sec)

node2 


mysql> select * from testdb13.user04;
+----+--------+
| id | name   |
+----+--------+
| 20 | steven |
| 25 | steven |
| 38 | steven |
| 39 | steven |
+----+--------+
4 rows in set (0.00 sec)
mysql> select * from testdb14.user04;
+----+--------+
| id | name   |
+----+--------+
|  1 | steven |
| 41 | steven |
| 50 | steven |
+----+--------+
3 rows in set (0.00 sec)
mysql> select * from testdb15.user04;
+----+--------+
| id | name   |
+----+--------+
| 12 | steven |
| 18 | steven |
| 32 | steven |
| 36 | steven |
+----+--------+
4 rows in set (0.00 sec)
mysql> select * from testdb16.user04;
Empty set (0.00 sec)
mysql> select * from testdb17.user04;
Empty set (0.00 sec)
mysql> select * from testdb18.user04;
Empty set (0.00 sec)

node3 


mysql> select * from testdb25.user04;
+----+--------+
| id | name   |
+----+--------+
|  6 | steven |
| 13 | steven |
| 19 | steven |
| 23 | steven |
| 27 | steven |
| 28 | steven |
| 29 | steven |
| 31 | steven |
| 37 | steven |
+----+--------+
9 rows in set (0.01 sec)
mysql> select * from testdb26.user04;
+----+--------+
| id | name   |
+----+--------+
|  4 | steven |
|  5 | steven |
| 15 | steven |
| 22 | steven |
| 42 | steven |
+----+--------+
5 rows in set (0.01 sec)
mysql> select * from testdb27.user04;
+----+--------+
| id | name   |
+----+--------+
|  2 | steven |
|  3 | steven |
|  7 | steven |
| 21 | steven |
| 26 | steven |
| 30 | steven |
| 43 | steven |
| 47 | steven |
+----+--------+
8 rows in set (0.01 sec)
mysql> select * from testdb28.user04;
Empty set (0.00 sec)
mysql> select * from testdb29.user04;
Empty set (0.00 sec)
mysql> select * from testdb30.user04;
Empty set (0.00 sec)

缩容之后，user04的所有数据变成了9个分片，其他分片没有存放数据，验证完毕。

遇到的问题：

由于测试环境之前用作一主两从测试环境，开启了gtid_mode，所以出现报错：

ERROR 1840 (HY000) at line 3 in file: '/usr/local/mycat/temp/mycatdb-user04/dn1(old)-dn17(new)/user04.sql': @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty. -> mysql -h192.168.8.32 -P3306 -uroot -pmysql -Dtestdb17  -f --default-character-set=utf8 -e "source /usr/local/mycat/temp/mycatdb-user04/dn1(old)-dn17(new)/user04.sql"

解决方法：关闭gtid_mode

另外，扩容也可以采用停机方法，备份逻辑表所有数据，重新进行分片，然后再导入备份的数据，从而完成扩容的目的。



来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30135314/viewspace-2221470/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30135314/viewspace-2221470/

你可能感兴趣的:(MyCat分库分表--实战10--多节点扩容与多节点删除)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • 店群合一模式下的社区团购新发展——结合链动 2+1 模式、AI 智能名片与 S2B2C 商城小程序源码 说私域 人工智能小程序
    摘要：本文探讨了店群合一的社区团购平台在当今商业环境中的重要性和优势。通过分析店群合一模式如何将互联网社群与线下终端紧密结合，阐述了链动2+1模式、AI智能名片和S2B2C商城小程序源码在这一模式中的应用价值。这些创新元素的结合为社区团购带来了新的机遇，提升了用户信任感、拓展了营销渠道，并实现了线上线下的完美融合。一、引言随着互联网技术的不断发展，社区团购作为一种新兴的商业模式，在满足消费者日常需
  • 2021-08-26 影幽
    在生活中，女人与男人的感悟往往有所不同。人生最大的舞台就是生活，大幕随时都可能拉开，关键是你愿不愿意表演都无法躲避。在生活中，遇事不要急躁，不要急于下结论，尤其生气时不要做决断，要学会换位思考，大事化小小事化了，把复杂的事情尽量简单处理，千万不要把简单的事情复杂化。永远不要扭曲，别人善意，无药可救。昨天是张过期的支票，明天是张信用卡，只有今天才是现金，要善加利用！执着的攀登者不必去与别人比较自己的
  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • 高级编程--XML+socket练习题 masa010 java开发语言
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
  • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿 小鹿_33
    预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
  • 回溯 Leetcode 332 重新安排行程 mmaerd Leetcode刷题学习记录leetcode算法职场和发展
    重新安排行程Leetcode332学习记录自代码随想录给你一份航线列表tickets，其中tickets[i]=[fromi,toi]表示飞机出发和降落的机场地点。请你对该行程进行重新规划排序。所有这些机票都属于一个从JFK（肯尼迪国际机场）出发的先生，所以该行程必须从JFK开始。如果存在多种有效的行程，请你按字典排序返回最小的行程组合。例如，行程[“JFK”,“LGA”]与[“JFK”,“LGB
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 《庄子.达生9》 钱江潮369
    【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • 水泥质量纠纷案代理词 徐宝峰律师
    贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
  • Goolge earth studio 进阶4——路径修改与平滑 陟彼高冈yu Googleearthstudio进阶教程旅游
    如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • 18-115 一切思考不能有效转化为行动，都TM是扯淡！ 成长时间线
    7月25号写了一篇关于为什么会断更如此严重的反思，然而，之后日更仅仅维持了一周，又出现了这次更严重的现象。从8月2号到昨天8月6号，5天！又是5天没有更文！虽然这次断更时间和上次一样，那为什么说这次更严重？因为上次之后就分析了问题的原因，以及应该如何解决，按理说应该会好转，然而，没过几天严重断更的现象再次出现，想想，经过反思，问题依然没有解决与改变，这让我有些担忧。到底是哪里出了问题，难道我就真的
  • 山东大学小树林支教调研团青青仓木队——翟晓楠 山东大学青青仓木队
    过了半年，又一次启程，又一次回到支教的初心之地。比起上一次的试探与不安，我更多了一丝稳重与熟练。心境、处境也都随着半个学期的过去而变得不同，半个学期中，身体上的，心理上的，太多的逆境让我变得步履维艰，曲曲折折，弯弯绕绕，我仿佛打不起精神，没有胃口，没有动力。感觉走的不顺畅的时候，支教这个旅程，给了我力量。自告奋勇承担起队长这一职务的我，从组织时的复杂和困难的经历，协调各种问题，从无到有，和校长和队
  • 直返最高等级与直返APP：无需邀请码的返利新体验 古楼
    随着互联网的普及和电商的兴起，直返模式逐渐成为一种流行的商业模式。在这种模式下，消费者通过购买产品或服务，获得一定的返利，并可以分享给更多的人。其中，直返最高等级和直返APP是直返模式中的重要概念和工具。本文将详细介绍直返最高等级的概念、直返APP的使用以及与邀请码的关系。【高省】APP（高佣金领导者）是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，运行三年，稳定可靠。高省APP，
  • Git常用命令－修改远程仓库地址 猿大师 LinuxJavagitjava
    查看远程仓库地址gitremote-v返回结果originhttps://git.coding.net/＊＊＊＊＊.git(fetch)originhttps://git.coding.net/＊＊＊＊＊.git(push)修改远程仓库地址gitremoteset-urloriginhttps://git.coding.net/＊＊＊＊＊.git先删除后增加远程仓库地址gitremotermori
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 2020-04-12每天三百字之连接与替代 冷眼看潮
    不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • ASM系列四 利用Method 组件动态注入方法逻辑 lijingyao8206 字节码技术jvmAOP动态代理ASM
            这篇继续结合例子来深入了解下Method组件动态变更方法字节码的实现。通过前面一篇，知道ClassVisitor 的visitMethod()方法可以返回一个MethodVisitor的实例。那么我们也基本可以知道，同ClassVisitor改变类成员一样，MethodVIsistor如果需要改变方法成员，注入逻辑，也可以
  • java编程思想 --内部类 百合不是茶 java内部类匿名内部类
    内部类;了解外部类 并能与之通信 内部类写出来的代码更加整洁与优雅   1,内部类的创建  内部类是创建在类中的 package com.wj.InsideClass; /* * 内部类的创建 */ public class CreateInsideClass { public CreateInsideClass(
  • web.xml报错 crabdave web.xml
    web.xml报错   The content of element type "web-app" must match "(icon?,display-  name?,description?,distributable?,context-param*,filter*,filter-mapping*,listener*,servlet*,s
  • 泛型类的自定义 麦田的设计者 javaandroid泛型
       为什么要定义泛型类，当类中要操作的引用数据类型不确定的时候。 采用泛型类，完成扩展。   例如有一个学生类     Student{ Student(){ System.out.println("I'm a student....."); } }  有一个老师类  
  • CSS清除浮动的4中方法 IT独行者 JavaScriptUIcss
    清除浮动这个问题，做前端的应该再熟悉不过了，咱是个新人，所以还是记个笔记，做个积累，努力学习向大神靠近。CSS清除浮动的方法网上一搜，大概有N多种，用过几种，说下个人感受。 1、结尾处加空div标签 clear:both 1 2 3 4 .div 1 { background : #000080 ; border : 1px   s
  • Cygwin使用windows的jdk 配置方法 _wy_ jdkwindowscygwin
    1.[vim /etc/profile]    JAVA_HOME="/cgydrive/d/Java/jdk1.6.0_43"  (windows下jdk路径为D:\Java\jdk1.6.0_43)    PATH="$JAVA_HOME/bin:${PATH}"    CLAS
  • linux下安装maven 无量 mavenlinux安装
    Linux下安装maven(转) 1.首先到Maven官网 下载安装文件，目前最新版本为3.0.3，下载文件为 apache-maven-3.0.3-bin.tar.gz，下载可以使用wget命令； 2.进入下载文件夹，找到下载的文件，运行如下命令解压 tar -xvf  apache-maven-2.2.1-bin.tar.gz 解压后的文件夹
  • tomcat的https 配置,syslog-ng配置 aichenglong tomcathttp跳转到httpssyslong-ng配置syslog配置
    1) tomcat配置https,以及http自动跳转到https的配置     1)TOMCAT_HOME目录下生成密钥(keytool是jdk中的命令)      keytool -genkey -alias tomcat -keyalg RSA -keypass changeit -storepass changeit
  • 关于领号活动总结 alafqq 活动
    关于某彩票活动的总结 具体需求，每个用户进活动页面，领取一个号码，1000中的一个； 活动要求 1，随机性，一定要有随机性； 2，最少中奖概率，如果注数为3200注，则最多中4注 3，效率问题，（不能每个人来都产生一个随机数，这样效率不高）； 4，支持断电（仍然从下一个开始），重启服务；（存数据库有点大材小用，因此不能存放在数据库） 解决方案 1，事先产生随机数1000个，并打
  • java数据结构 冒泡排序的遍历与排序 百合不是茶 java
    java的冒泡排序是一种简单的排序规则   冒泡排序的原理：           比较两个相邻的数，首先将最大的排在第一个，第二次比较第二个 ，此后一样；         针对所有的元素重复以上的步骤，除了最后一个     例题；将int array[]
  • JS检查输入框输入的是否是数字的一种校验方法 bijian1013 js
    如下是JS检查输入框输入的是否是数字的一种校验方法： <form method=post target="_blank"> 数字：<input type="text" name=num onkeypress="checkNum(this.form)"><br> </form>
  • Test注解的两个属性：expected和timeout bijian1013 javaJUnitexpectedtimeout
    JUnit4：Test文档中的解释： 　　The Test annotation supports two optional parameters. 　　The first, expected, declares that a test method should throw an exception. 　　If it doesn't throw an exception or if it
  • [Gson二]继承关系的POJO的反序列化 bit1129 POJO
    父类     package inheritance.test2; import java.util.Map; public class Model { private String field1; private String field2; private Map<String, String> infoMap
  • 【Spark八十四】Spark零碎知识点记录 bit1129 spark
    1. ShuffleMapTask的shuffle数据在什么地方记录到MapOutputTracker中的 ShuffleMapTask的runTask方法负责写数据到shuffle map文件中。当任务执行完成成功，DAGScheduler会收到通知，在DAGScheduler的handleTaskCompletion方法中完成记录到MapOutputTracker中  
  • WAS各种脚本作用大全 ronin47 WAS 脚本
    　　　http://www.ibm.com/developerworks/cn/websphere/library/samples/SampleScripts.html 　　　无意中，在WAS官网上发现的各种脚本作用，感觉很有作用，先与各位分享一下 　　　 获取下载 这些示例 jacl 和 Jython 脚本可用于在 WebSphere Application Server 的不同版本中自
  • java-12.求 1+2+3+..n不能使用乘除法、 for 、 while 、 if 、 else 、 switch 、 case 等关键字以及条件判断语句 bylijinnan switch
    借鉴网上的思路，用java实现： public class NoIfWhile { /** * @param args * * find x=1+2+3+....n */ public static void main(String[] args) { int n=10; int re=find(n); System.o
  • Netty源码学习-ObjectEncoder和ObjectDecoder bylijinnan javanetty
    Netty中传递对象的思路很直观： Netty中数据的传递是基于ChannelBuffer（也就是byte[]）； 那把对象序列化为字节流，就可以在Netty中传递对象了 相应的从ChannelBuffer恢复对象，就是反序列化的过程 Netty已经封装好ObjectEncoder和ObjectDecoder 先看ObjectEncoder ObjectEncoder是往外发送
  • spring 定时任务中cronExpression表达式含义 chicony cronExpression
    一个cron表达式有6个必选的元素和一个可选的元素，各个元素之间是以空格分隔的，从左至右，这些元素的含义如下表所示： 代表含义            是否必须 允许的取值范围         &nb
  • Nutz配置Jndi ctrain JNDI
    1、使用JNDI获取指定资源： var ioc = { dao : { type :"org.nutz.dao.impl.NutDao", args : [ {jndi :"jdbc/dataSource"} ] } } 以上方法,仅需要在容器中配置好数据源,注入到NutDao即可.
  • 解决 /bin/sh^M: bad interpreter: No such file or directory daizj shell
    在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。   分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。 解决： 1）在windows下转换： 利用一些编辑器如UltraEdit或EditPlus等工具
  • [转]for 循环为何可恨？ dcj3sjt126com 程序员读书
      Java的闭包(Closure)特征最近成为了一个热门话题。 一些精英正在起草一份议案，要在Java将来的版本中加入闭包特征。 然而，提议中的闭包语法以及语言上的这种扩充受到了众多Java程序员的猛烈抨击。 不久前，出版过数十本编程书籍的大作家Elliotte Rusty Harold发表了对Java中闭包的价值的质疑。 尤其是他问道“for 循环为何可恨？”[http://ju
  • Android实用小技巧 dcj3sjt126com android
    1、去掉所有Activity界面的标题栏 　　修改AndroidManifest.xml 　　在application 标签中添加android:theme="@android:style/Theme.NoTitleBar"   2、去掉所有Activity界面的TitleBar 和StatusBar  　　修改AndroidManifes
  • Oracle 复习笔记之序列 eksliang Oracle 序列sequenceOracle sequence
    转载请出自出处：http://eksliang.iteye.com/blog/2098859 1.序列的作用 序列是用于生成唯一、连续序号的对象 一般用序列来充当数据库表的主键值 2.创建序列语法如下：   create sequence s_emp start with 1 --开始值 increment by 1 --増长值 maxval
  • 有“品”的程序员 gongmeitao 工作
    完美程序员的10种品质　　   完美程序员的每种品质都有一个范围，这个范围取决于具体的问题和背景。没有能解决所有问题的   完美程序员（至少在我们这个星球上），并且对于特定问题，完美程序员应该具有以下品质： 　　1. 才智非凡- 能够理解问题、能够用清晰可读的代码翻译并表达想法、善于分析并且逻辑思维能力强   （范围：用简单方式解决复杂问题）　　
  • 使用KeleyiSQLHelper类进行分页查询 hvt sql.netC#asp.nethovertree
    本文适用于sql server单主键表或者视图进行分页查询，支持多字段排序。KeleyiSQLHelper类的最新代码请到http://hovertree.codeplex.com/SourceControl/latest下载整个解决方案源代码查看。或者直接在线查看类的代码：http://hovertree.codeplex.com/SourceControl/latest#HoverTree.D
  • SVG 教程 （三）圆形，椭圆，直线 天梯梦 svg
    SVG <circle> SVG 圆形 - <circle> <circle> 标签可用来创建一个圆： 下面是SVG代码： <svg xmlns="http://www.w3.org/2000/svg" version="1.1"> <circle cx="100" c
  • 链表栈 luyulong java数据结构
    public class Node { private Object object; private Node next; public Node() { this.next = null; this.object = null; } public Object getObject() { return object; } public
  • 基础数据结构和算法十：2-3 search tree sunwinner Algorithm2-3 search tree
      Binary search tree works well for a wide variety of applications, but they have poor worst-case performance. Now we introduce a type of binary search tree where costs are guaranteed to be loga
  • spring配置定时任务 stunizhengjia springtimer
    最近因工作的需要，用到了spring的定时任务的功能,觉得spring还是很智能化的,只需要配置一下配置文件就可以了,在此记录一下，以便以后用到：     //------------------------定时任务调用的方法------------------------------ /** * 存储过程定时器 */ publi
  • ITeye 8月技术图书有奖试读获奖名单公布 ITeye管理员 活动
    ITeye携手博文视点举办的8月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 8月试读活动回顾： http://webmaster.iteye.com/blog/2102830 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《跨终端Web》 gleams：http
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他