zhengzizhi

大数据MySQL分库后如何高效精确地合并数据库节点结果集进行分页查询的通杀方案


USE testdb; -- 分3个表存储用户信息
CREATE TABLE `users0` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

CREATE TABLE `users1` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

CREATE TABLE `users2` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 初始化3个表的记录 
DELIMITER $$

USE `testdb`$$

DROP PROCEDURE IF EXISTS `generateInitData`$$

CREATE DEFINER=`root`@`%` PROCEDURE `generateInitData`(totalRows INT)
BEGIN
	SET @num = 0;
	WHILE @num < totalRows DO
		SET @user_id = @num;
		SET @user_name = CONCAT('test', @user_id);
		SET @email = CONCAT(@user_name, '@163.com');
		SET @password = FLOOR(RAND() * 1000000);
		SET @created_at = CURRENT_TIMESTAMP(6);
		SET @current = @num % 3;
		IF @current = 0 THEN
			INSERT INTO users0(`user_id`,`user_name`,`email`,`password`,`created_at`) VALUES(@user_id,@user_name,@email,@password,@created_at);
		ELSEIF @current = 1 THEN
			INSERT INTO users1(`user_id`,`user_name`,`email`,`password`,`created_at`) VALUES(@user_id,@user_name,@email,@password,@created_at);
		ELSEIF @current = 2 THEN
			INSERT INTO users2(`user_id`,`user_name`,`email`,`password`,`created_at`) VALUES(@user_id,@user_name,@email,@password,@created_at);
		END IF;
		SET @num = @num + 1;
	END WHILE;
END$$

DELIMITER ;

-- 调用存储过程初始化100万条记录 
CALL generateInitData(1000000)


1 queries executed, 1 success, 0 errors, 0 warnings

查询：call generateInitData(1000000)

共 1000000 行受到影响

执行耗时   : 5 min 36 sec
传送时间   : 0 sec
总耗时      : 5 min 36 sec

$ mysql -uroot -h192.168.10.10 -p123456
USE testdb0; -- 分3个数据库存储用户信息（分库不分表）
CREATE TABLE `users` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;


$ mysql -uroot -h192.168.10.11 -p123456
USE testdb1; -- 分3个数据库存储用户信息（分库不分表）
CREATE TABLE `users` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;


$ mysql -uroot -h192.168.10.12 -p123456
USE testdb2; -- 分3个数据库存储用户信息（分库不分表）
CREATE TABLE `users` (
  `user_id` BIGINT(20) NOT NULL,
  `user_name` VARCHAR(100) NOT NULL,
  `email` VARCHAR(120) NOT NULL,
  `password` VARCHAR(60) NOT NULL,
  `created_at` TIMESTAMP(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6),
  `last_modified` TIMESTAMP(6) NULL DEFAULT NULL,
  PRIMARY KEY (`user_id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

使用MySQL 客户端可视化管理工具SQLyog Ultimate 将数据库 testdb 中3个表 users0,users1,users2分别导出对应保存

为users0.csv ,users1.csv ,users2.csv 这3个csv格式的文件（文件大小均为23.3Mb大小）

同样使用SQLyog，然后将文件users0.csv导入到数据库服务器节点192.168.10.10 数据库表名称为testdb0.users中；

同样使用SQLyog，然后将文件users1.csv导入到数据库服务器节点192.168.10.11 数据库表名称为testdb1.users中；

同样使用SQLyog，然后将文件users2.csv导入到数据库服务器节点192.168.10.12 数据库表名称为testdb2.users中；

第1个数据库节点

$ mysql -uroot -h192.168.10.10 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 25
Server version: 10.3.10-MariaDB-log MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> use testdb0
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 0,30;  -- 第1页，每页30行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       0 | test0     | [email protected]  | 723968   | 2018-10-30 00:45:03.120618 | NULL          |
|       3 | test3     | [email protected]  | 623938   | 2018-10-30 00:45:03.123731 | NULL          |
|       6 | test6     | [email protected]  | 367932   | 2018-10-30 00:45:03.125267 | NULL          |
|       9 | test9     | [email protected]  | 588289   | 2018-10-30 00:45:03.126534 | NULL          |
|      12 | test12    | [email protected] | 129007   | 2018-10-30 00:45:03.127923 | NULL          |
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
|      30 | test30    | [email protected] | 396205   | 2018-10-30 00:45:03.135756 | NULL          |
|      33 | test33    | [email protected] | 783877   | 2018-10-30 00:45:03.137019 | NULL          |
|      36 | test36    | [email protected] | 12670    | 2018-10-30 00:45:03.137753 | NULL          |
|      39 | test39    | [email protected] | 848919   | 2018-10-30 00:45:03.139071 | NULL          |
|      42 | test42    | [email protected] | 571448   | 2018-10-30 00:45:03.139800 | NULL          |
|      45 | test45    | [email protected] | 795033   | 2018-10-30 00:45:03.140792 | NULL          |
|      48 | test48    | [email protected] | 173555   | 2018-10-30 00:45:03.142139 | NULL          |
|      51 | test51    | [email protected] | 418536   | 2018-10-30 00:45:03.143215 | NULL          |
|      54 | test54    | [email protected] | 796930   | 2018-10-30 00:45:03.144229 | NULL          |
|      57 | test57    | [email protected] | 453970   | 2018-10-30 00:45:03.145270 | NULL          |
|      60 | test60    | [email protected] | 800511   | 2018-10-30 00:45:03.146273 | NULL          |
|      63 | test63    | [email protected] | 783696   | 2018-10-30 00:45:03.147218 | NULL          |
|      66 | test66    | [email protected] | 81956    | 2018-10-30 00:45:03.148277 | NULL          |
|      69 | test69    | [email protected] | 396697   | 2018-10-30 00:45:03.149708 | NULL          |
|      72 | test72    | [email protected] | 522975   | 2018-10-30 00:45:03.151594 | NULL          |
|      75 | test75    | [email protected] | 127242   | 2018-10-30 00:45:03.153122 | NULL          |
|      78 | test78    | [email protected] | 59026    | 2018-10-30 00:45:03.154210 | NULL          |
|      81 | test81    | [email protected] | 286569   | 2018-10-30 00:45:03.155240 | NULL          |
|      84 | test84    | [email protected] | 331839   | 2018-10-30 00:45:03.156243 | NULL          |
|      87 | test87    | [email protected] | 809766   | 2018-10-30 00:45:03.157165 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
30 rows in set (0.114 sec)

MariaDB [testdb0]>

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 0,5;  -- 第1页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       0 | test0     | [email protected]  | 723968   | 2018-10-30 00:45:03.120618 | NULL          |
|       3 | test3     | [email protected]  | 623938   | 2018-10-30 00:45:03.123731 | NULL          |
|       6 | test6     | [email protected]  | 367932   | 2018-10-30 00:45:03.125267 | NULL          |
|       9 | test9     | [email protected]  | 588289   | 2018-10-30 00:45:03.126534 | NULL          |
|      12 | test12    | [email protected] | 129007   | 2018-10-30 00:45:03.127923 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.115 sec)

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;  -- 第2页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.120 sec)

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;  -- 第3页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      30 | test30    | [email protected] | 396205   | 2018-10-30 00:45:03.135756 | NULL          |
|      33 | test33    | [email protected] | 783877   | 2018-10-30 00:45:03.137019 | NULL          |
|      36 | test36    | [email protected] | 12670    | 2018-10-30 00:45:03.137753 | NULL          |
|      39 | test39    | [email protected] | 848919   | 2018-10-30 00:45:03.139071 | NULL          |
|      42 | test42    | [email protected] | 571448   | 2018-10-30 00:45:03.139800 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.121 sec)

MariaDB [testdb0]>

第2个数据库节点

$ mysql -uroot -h192.168.10.11 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 26
Server version: 10.3.10-MariaDB-log MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> use testdb1
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 0,30;  -- 第1页，每页30行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       1 | test1     | [email protected]  | 749248   | 2018-10-30 00:45:03.122768 | NULL          |
|       4 | test4     | [email protected]  | 396682   | 2018-10-30 00:45:03.124253 | NULL          |
|       7 | test7     | [email protected]  | 504876   | 2018-10-30 00:45:03.125680 | NULL          |
|      10 | test10    | [email protected] | 679698   | 2018-10-30 00:45:03.127149 | NULL          |
|      13 | test13    | [email protected] | 744177   | 2018-10-30 00:45:03.128836 | NULL          |
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
|      31 | test31    | [email protected] | 714861   | 2018-10-30 00:45:03.136280 | NULL          |
|      34 | test34    | [email protected] | 762310   | 2018-10-30 00:45:03.137254 | NULL          |
|      37 | test37    | [email protected] | 683589   | 2018-10-30 00:45:03.138255 | NULL          |
|      40 | test40    | [email protected] | 104783   | 2018-10-30 00:45:03.139306 | NULL          |
|      43 | test43    | [email protected] | 925761   | 2018-10-30 00:45:03.140221 | NULL          |
|      46 | test46    | [email protected] | 231775   | 2018-10-30 00:45:03.141379 | NULL          |
|      49 | test49    | [email protected] | 546448   | 2018-10-30 00:45:03.142399 | NULL          |
|      52 | test52    | [email protected] | 457953   | 2018-10-30 00:45:03.143479 | NULL          |
|      55 | test55    | [email protected] | 882178   | 2018-10-30 00:45:03.144484 | NULL          |
|      58 | test58    | [email protected] | 209548   | 2018-10-30 00:45:03.145568 | NULL          |
|      61 | test61    | [email protected] | 945062   | 2018-10-30 00:45:03.146522 | NULL          |
|      64 | test64    | [email protected] | 947155   | 2018-10-30 00:45:03.147487 | NULL          |
|      67 | test67    | [email protected] | 255729   | 2018-10-30 00:45:03.148598 | NULL          |
|      70 | test70    | [email protected] | 885156   | 2018-10-30 00:45:03.150226 | NULL          |
|      73 | test73    | [email protected] | 907812   | 2018-10-30 00:45:03.152236 | NULL          |
|      76 | test76    | [email protected] | 725802   | 2018-10-30 00:45:03.153404 | NULL          |
|      79 | test79    | [email protected] | 553271   | 2018-10-30 00:45:03.154481 | NULL          |
|      82 | test82    | [email protected] | 665017   | 2018-10-30 00:45:03.155528 | NULL          |
|      85 | test85    | [email protected] | 263061   | 2018-10-30 00:45:03.156504 | NULL          |
|      88 | test88    | [email protected] | 89461    | 2018-10-30 00:45:03.157420 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
30 rows in set (0.118 sec)

MariaDB [testdb1]>

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 0,5;  -- 第1页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       1 | test1     | [email protected]  | 749248   | 2018-10-30 00:45:03.122768 | NULL          |
|       4 | test4     | [email protected]  | 396682   | 2018-10-30 00:45:03.124253 | NULL          |
|       7 | test7     | [email protected]  | 504876   | 2018-10-30 00:45:03.125680 | NULL          |
|      10 | test10    | [email protected] | 679698   | 2018-10-30 00:45:03.127149 | NULL          |
|      13 | test13    | [email protected] | 744177   | 2018-10-30 00:45:03.128836 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.117 sec)

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;  -- 第2页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.117 sec)

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;  -- 第3页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      31 | test31    | [email protected] | 714861   | 2018-10-30 00:45:03.136280 | NULL          |
|      34 | test34    | [email protected] | 762310   | 2018-10-30 00:45:03.137254 | NULL          |
|      37 | test37    | [email protected] | 683589   | 2018-10-30 00:45:03.138255 | NULL          |
|      40 | test40    | [email protected] | 104783   | 2018-10-30 00:45:03.139306 | NULL          |
|      43 | test43    | [email protected] | 925761   | 2018-10-30 00:45:03.140221 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.119 sec)

MariaDB [testdb1]>

第3个数据库节点

$ mysql -uroot -h192.168.10.12 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 27
Server version: 10.3.10-MariaDB-log MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> use testdb2
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 0,30;  -- 第1页，每页30行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       2 | test2     | [email protected]  | 574336   | 2018-10-30 00:45:03.123408 | NULL          |
|       5 | test5     | [email protected]  | 111595   | 2018-10-30 00:45:03.124665 | NULL          |
|       8 | test8     | [email protected]  | 420583   | 2018-10-30 00:45:03.126236 | NULL          |
|      11 | test11    | [email protected] | 633620   | 2018-10-30 00:45:03.127411 | NULL          |
|      14 | test14    | [email protected] | 333863   | 2018-10-30 00:45:03.129391 | NULL          |
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
|      26 | test26    | [email protected] | 544890   | 2018-10-30 00:45:03.134524 | NULL          |
|      29 | test29    | [email protected] | 88721    | 2018-10-30 00:45:03.135494 | NULL          |
|      32 | test32    | [email protected] | 385692   | 2018-10-30 00:45:03.136537 | NULL          |
|      35 | test35    | [email protected] | 459920   | 2018-10-30 00:45:03.137486 | NULL          |
|      38 | test38    | [email protected] | 379937   | 2018-10-30 00:45:03.138554 | NULL          |
|      41 | test41    | [email protected] | 977159   | 2018-10-30 00:45:03.139536 | NULL          |
|      44 | test44    | [email protected] | 914463   | 2018-10-30 00:45:03.140512 | NULL          |
|      47 | test47    | [email protected] | 773776   | 2018-10-30 00:45:03.141648 | NULL          |
|      50 | test50    | [email protected] | 211576   | 2018-10-30 00:45:03.142665 | NULL          |
|      53 | test53    | [email protected] | 34158    | 2018-10-30 00:45:03.143774 | NULL          |
|      56 | test56    | [email protected] | 20101    | 2018-10-30 00:45:03.144770 | NULL          |
|      59 | test59    | [email protected] | 685831   | 2018-10-30 00:45:03.146028 | NULL          |
|      62 | test62    | [email protected] | 323776   | 2018-10-30 00:45:03.146824 | NULL          |
|      65 | test65    | [email protected] | 384684   | 2018-10-30 00:45:03.147819 | NULL          |
|      68 | test68    | [email protected] | 32777    | 2018-10-30 00:45:03.149365 | NULL          |
|      71 | test71    | [email protected] | 235688   | 2018-10-30 00:45:03.150772 | NULL          |
|      74 | test74    | [email protected] | 970136   | 2018-10-30 00:45:03.152536 | NULL          |
|      77 | test77    | [email protected] | 247286   | 2018-10-30 00:45:03.153726 | NULL          |
|      80 | test80    | [email protected] | 589276   | 2018-10-30 00:45:03.154719 | NULL          |
|      83 | test83    | [email protected] | 465378   | 2018-10-30 00:45:03.155809 | NULL          |
|      86 | test86    | [email protected] | 319790   | 2018-10-30 00:45:03.156748 | NULL          |
|      89 | test89    | [email protected] | 18006    | 2018-10-30 00:45:03.157663 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
30 rows in set (0.114 sec)

MariaDB [testdb2]>

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 0,5;  -- 第1页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|       2 | test2     | [email protected]  | 574336   | 2018-10-30 00:45:03.123408 | NULL          |
|       5 | test5     | [email protected]  | 111595   | 2018-10-30 00:45:03.124665 | NULL          |
|       8 | test8     | [email protected]  | 420583   | 2018-10-30 00:45:03.126236 | NULL          |
|      11 | test11    | [email protected] | 633620   | 2018-10-30 00:45:03.127411 | NULL          |
|      14 | test14    | [email protected] | 333863   | 2018-10-30 00:45:03.129391 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.115 sec)

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;  -- 第2页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
|      26 | test26    | [email protected] | 544890   | 2018-10-30 00:45:03.134524 | NULL          |
|      29 | test29    | [email protected] | 88721    | 2018-10-30 00:45:03.135494 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.115 sec)

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;  -- 第3页，每页5行
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      32 | test32    | [email protected] | 385692   | 2018-10-30 00:45:03.136537 | NULL          |
|      35 | test35    | [email protected] | 459920   | 2018-10-30 00:45:03.137486 | NULL          |
|      38 | test38    | [email protected] | 379937   | 2018-10-30 00:45:03.138554 | NULL          |
|      41 | test41    | [email protected] | 977159   | 2018-10-30 00:45:03.139536 | NULL          |
|      44 | test44    | [email protected] | 914463   | 2018-10-30 00:45:03.140512 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.116 sec)

MariaDB [testdb2]>

正式进入主题采用高效精确的二次查询方案

假如网页上每翻页一次，只显示15条记录

例如显示第2页记录来自3个数据库节点

SELECT * FROM users ORDER BY created_at LIMIT 页码值 * （显示15条/3个数据库节点数）,（显示15条/3个数据库节点数）

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 5,5; -- 第2页显示网页中15条记录中的部分记录
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.125 sec)

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;  -- 第2页显示网页中15条记录中的部分记录
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.129 sec)

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;  -- 第2页显示网页中15条记录中的部分记录
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
|      26 | test26    | [email protected] | 544890   | 2018-10-30 00:45:03.134524 | NULL          |
|      29 | test29    | [email protected] | 88721    | 2018-10-30 00:45:03.135494 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.127 sec)

MariaDB [testdb2]>

将上面3个结果合并在一起再次排序一次（我们可以用PHP Python Golang Java C# 等等语言实现此需求）

获得如下结果显示到页面上：

第1页 user_id 值范围从0开始到14结束，第2页 user_id 值范围从15开始到29结束

+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      26 | test26    | [email protected] | 544890   | 2018-10-30 00:45:03.134524 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
|      29 | test29    | [email protected] | 88721    | 2018-10-30 00:45:03.135494 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+

假如第3个数据库节点testdb2，user_id >= 26 的主键都不存在，模拟节点数据分布不均匀的情形

MariaDB [testdb2]> DELETE FROM users WHERE user_id >= 26;
Query OK, 333325 rows affected (1.343 sec)

MariaDB [testdb2]>

继续补充说明，把user_id >= 26 的主键都删掉，意思是第2页第3个数据库节点testdb2只会返回3条记录

我们一共需要15条记录，但是只返回13条记录从3个数据库节点，这显然是不对的，因为我们的数据库全部节点里面可有几十万行记录啊

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.361 sec)

MariaDB [testdb0]>

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.557 sec)

MariaDB [testdb1]>

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 5,5;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
3 rows in set (0.001 sec)

MariaDB [testdb2]>

缺少2条记录，此时不知道这2条记录该来自哪些节点，那么一次性搞定的办法就是第2次查询时，每页每个节点返回7条记录

遵循以下动态规则

SELECT * FROM users ORDER BY created_at LIMIT 页码值 * （显示15条/3个数据库节点数）,（显示15条/3个数据库节点数+缺少的记录行数）

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 5,7;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      15 | test15    | [email protected] | 436787   | 2018-10-30 00:45:03.130163 | NULL          |
|      18 | test18    | [email protected] | 459812   | 2018-10-30 00:45:03.131413 | NULL          |
|      21 | test21    | [email protected] | 991766   | 2018-10-30 00:45:03.132423 | NULL          |
|      24 | test24    | [email protected] | 926347   | 2018-10-30 00:45:03.133656 | NULL          |
|      27 | test27    | [email protected] | 330094   | 2018-10-30 00:45:03.134957 | NULL          |
|      30 | test30    | [email protected] | 396205   | 2018-10-30 00:45:03.135756 | NULL          |
|      33 | test33    | [email protected] | 783877   | 2018-10-30 00:45:03.137019 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
7 rows in set (0.131 sec)

MariaDB [testdb0]>

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 5,7;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      16 | test16    | [email protected] | 182346   | 2018-10-30 00:45:03.130450 | NULL          |
|      19 | test19    | [email protected] | 494952   | 2018-10-30 00:45:03.131681 | NULL          |
|      22 | test22    | [email protected] | 672856   | 2018-10-30 00:45:03.132717 | NULL          |
|      25 | test25    | [email protected] | 464786   | 2018-10-30 00:45:03.133945 | NULL          |
|      28 | test28    | [email protected] | 15801    | 2018-10-30 00:45:03.135256 | NULL          |
|      31 | test31    | [email protected] | 714861   | 2018-10-30 00:45:03.136280 | NULL          |
|      34 | test34    | [email protected] | 762310   | 2018-10-30 00:45:03.137254 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
7 rows in set (0.118 sec)

MariaDB [testdb1]>

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 5,7;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      17 | test17    | [email protected] | 601370   | 2018-10-30 00:45:03.130819 | NULL          |
|      20 | test20    | [email protected] | 95324    | 2018-10-30 00:45:03.132136 | NULL          |
|      23 | test23    | [email protected] | 388983   | 2018-10-30 00:45:03.133231 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
3 rows in set (0.001 sec)

MariaDB [testdb2]>

将合并的结果排序后，只取前15条记录，丢弃最后2条，这样第2页显示15条记录就齐活啦

那么第3页翻页时显示时，该发送怎样SQL到每个数据库节点呢?

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      30 | test30    | [email protected] | 396205   | 2018-10-30 00:45:03.135756 | NULL          |
|      33 | test33    | [email protected] | 783877   | 2018-10-30 00:45:03.137019 | NULL          |
|      36 | test36    | [email protected] | 12670    | 2018-10-30 00:45:03.137753 | NULL          |
|      39 | test39    | [email protected] | 848919   | 2018-10-30 00:45:03.139071 | NULL          |
|      42 | test42    | [email protected] | 571448   | 2018-10-30 00:45:03.139800 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.120 sec)

MariaDB [testdb0]>

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      31 | test31    | [email protected] | 714861   | 2018-10-30 00:45:03.136280 | NULL          |
|      34 | test34    | [email protected] | 762310   | 2018-10-30 00:45:03.137254 | NULL          |
|      37 | test37    | [email protected] | 683589   | 2018-10-30 00:45:03.138255 | NULL          |
|      40 | test40    | [email protected] | 104783   | 2018-10-30 00:45:03.139306 | NULL          |
|      43 | test43    | [email protected] | 925761   | 2018-10-30 00:45:03.140221 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
5 rows in set (0.118 sec)

MariaDB [testdb1]>

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 10,5;
Empty set (0.001 sec)

MariaDB [testdb2]>

后面所有的翻页规则依然遵循以下动态规则，此时缺少5行记录

SELECT * FROM users ORDER BY created_at LIMIT 页码值 * （显示15条/3个数据库节点数）,（显示15条/3个数据库节点数+缺少的记录行数）

MariaDB [testdb0]> SELECT * FROM users ORDER BY created_at LIMIT 10,10;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      30 | test30    | [email protected] | 396205   | 2018-10-30 00:45:03.135756 | NULL          |
|      33 | test33    | [email protected] | 783877   | 2018-10-30 00:45:03.137019 | NULL          |
|      36 | test36    | [email protected] | 12670    | 2018-10-30 00:45:03.137753 | NULL          |
|      39 | test39    | [email protected] | 848919   | 2018-10-30 00:45:03.139071 | NULL          |
|      42 | test42    | [email protected] | 571448   | 2018-10-30 00:45:03.139800 | NULL          |
|      45 | test45    | [email protected] | 795033   | 2018-10-30 00:45:03.140792 | NULL          |
|      48 | test48    | [email protected] | 173555   | 2018-10-30 00:45:03.142139 | NULL          |
|      51 | test51    | [email protected] | 418536   | 2018-10-30 00:45:03.143215 | NULL          |
|      54 | test54    | [email protected] | 796930   | 2018-10-30 00:45:03.144229 | NULL          |
|      57 | test57    | [email protected] | 453970   | 2018-10-30 00:45:03.145270 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
10 rows in set (0.117 sec)

MariaDB [testdb0]>

MariaDB [testdb1]> SELECT * FROM users ORDER BY created_at LIMIT 10,10;
+---------+-----------+----------------+----------+----------------------------+---------------+
| user_id | user_name | email          | password | created_at                 | last_modified |
+---------+-----------+----------------+----------+----------------------------+---------------+
|      31 | test31    | [email protected] | 714861   | 2018-10-30 00:45:03.136280 | NULL          |
|      34 | test34    | [email protected] | 762310   | 2018-10-30 00:45:03.137254 | NULL          |
|      37 | test37    | [email protected] | 683589   | 2018-10-30 00:45:03.138255 | NULL          |
|      40 | test40    | [email protected] | 104783   | 2018-10-30 00:45:03.139306 | NULL          |
|      43 | test43    | [email protected] | 925761   | 2018-10-30 00:45:03.140221 | NULL          |
|      46 | test46    | [email protected] | 231775   | 2018-10-30 00:45:03.141379 | NULL          |
|      49 | test49    | [email protected] | 546448   | 2018-10-30 00:45:03.142399 | NULL          |
|      52 | test52    | [email protected] | 457953   | 2018-10-30 00:45:03.143479 | NULL          |
|      55 | test55    | [email protected] | 882178   | 2018-10-30 00:45:03.144484 | NULL          |
|      58 | test58    | [email protected] | 209548   | 2018-10-30 00:45:03.145568 | NULL          |
+---------+-----------+----------------+----------+----------------------------+---------------+
10 rows in set (0.120 sec)

MariaDB [testdb1]>

MariaDB [testdb2]> SELECT * FROM users ORDER BY created_at LIMIT 10,10;
Empty set (0.000 sec)

MariaDB [testdb2]>

合并排序后，只取前15条记录，丢弃最后5条记录，在第2页中丢弃的user_id=42,user_id=43这两行记录此时出现在第3页网页上

二次查询虽然查询了两次，但是返回的记录精准，因为每个节点获取的数据量很少，性能非常优秀

不管数据源是采用何种哈希算法来切分存储数据，此方案通杀通用！

你可能感兴趣的:(MySQL)

mysql禁用远程登录 igotyback mysql
去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
MYSQL面试系列-04 king01299 面试 mysql 面试
MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解秋刀prince mysql mysql 数据库
提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
MongoDB知识概括 GeorgeLin98 持久层 mongodb
MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
入门MySQL——查询语法练习 K_un
前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
博客网站制作教程 2401_85194651 java maven
首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
ubuntu安装wordpress lissettecarlr
1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php 课程设计 vue.js
该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version 努力的菜鸟~ sql 数据库
YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）知识分享小能手大数据数据库 MySQL mysql 学习 oracle 数据库开发语言 adb 大数据
1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
鲲鹏 ARM 架构麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构 nginx 服务器
最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
Kubernetes部署MySQL数据持久化沫殇-MS Kubernetes MySQL数据库 kubernetes mysql 容器
一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
MySQL事务隔离级别和MVCC 简书徐小耳
MySQL事务隔离级别和MVCC参考：https://mp.weixin.qq.com/s/Jeg8656gGtkPteYWrG5_Nw1.MVCC只对读已提交和可重复的读有效果，而未提交读和串行则无意义。2.每条记录都会有trx_id(事务修改记录的id）和roll_pointer是一个指针指向旧版本的undo日志链表（row_id不是必必要的，如果有主键存在就不需要了）3.版本链的头结点就是记
CentOS7 安装MySQL5.7.44 不要Null了 java centos mysql
1.下载mysql安装包，我放在百度网盘里(下方链接)链接：https://pan.baidu.com/s/1_Mn1XW_1mWdTV4mhnLG66A提取码：s31n2.首先看看以前是否安装过mysqlrpm-qa|grep-imysql如果已经安装过mysql会提示卸载mysqlrpm-emysql-…3.使用FinallShell或者Xftp进行上传放到/usr/local/mysql，没
非关系型数据库天秤-white nosql
一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
六、全局锁和表锁：给表加个字段怎么有这么多阻碍 nieniemin
数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。6.1全局锁全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是Flushtableswithreadlock(FTWRL)。当你需要让整个库处于
Kubernetes 自定义控制器开发 IT回忆录 Kubenetes kubernetes
目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
【K8s】专题十一：Kubernetes 集群证书过期处理方法行者Sun1989 Kubernetes kubernetes 云原生容器
本文内容均来自个人笔记并重新梳理，如有错误欢迎指正！如果对您有帮助，烦请点赞、关注、转发、订阅专栏！专栏订阅入口Linux专栏|Docker专栏|Kubernetes专栏往期精彩文章【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法【Docker】（全网首发）KylinV10下MySQL容器内存占用异常的解决方法（续）【Docker】MySQL源码构建Docker镜
MySQl篇（SQL - 基本介绍）（持续更新迭代） wclass-zhengge mysql sql 数据库
目录一、简介二、SQL方言（分页查询为例）1.简介2.SQL方言大比拼2.1.Oracle2.1.1.使用ROWNUM实现分页查询2.1.2.使用ROW_NUMBER()实现分页查询2.2.MySQL2.3.PostgreSQL三、语法规范四、注释五、MySQL脚本中的标点符号一、简介1、SQL是结构化查询语言（StructureQueryLanguage），专门用来操作/访问关系型数据库的通用语
跟着黑马学mysql（5）小杜不吃糖 mysql 数据库
17.DQL-聚合函数DQL-聚合函数介绍将一列数据作为一个整体，进行纵向计算。常见聚合函数函数功能count统计数量max最大值min最小值avg平均值sum求和语法SELECT聚合函数(字段列表)FROM表名;注意：所有的null值不参与聚合函数的运算18.DQL-分组查询语法SELECT字段列表FROM表名[WHERE条件]GROUPBY分组字段名[HAVING分组后的过滤条件];where
梧桐数据库（WuTongDB）：数据库技术中都有哪些常见的优化器鲁鲁517 梧桐数据库梧桐数据库
以下是一些常见的数据库优化器：1.CBO（Cost-BasedOptimizer）应用场景：广泛应用于关系型数据库中，如Oracle、PostgreSQL、MySQL等。工作原理：通过计算不同执行计划的代价（如CPU、I/O等资源消耗），选择最低代价的执行计划。代表数据库：Oracle、PostgreSQL、MySQL。特点：CBO使用统计信息（如表大小、索引分布）来评估查询的代价。2.RBO（R
MySQL日志沉着冷静2024 MySQL mysql 数据库
MySQL日志文章目录MySQL日志MySQL三大日志binlog的三种格式redolog和binlog的区别和应用场景为什么崩溃恢复不用binlog而用redolog？redolog如何实现持久化redolog还能做什么？redolog的三种刷盘策略两阶段提交什么是？为什么？两阶段提交过程MySQL三大日志1.undologundolog是InnoDB存储引擎层的日志，实现了事务的原子性，主要用
MySQL锁沉着冷静2024 MySQL mysql 数据库
MySQL锁文章目录MySQL锁MySQL中锁的分类创建索引时会锁表吗线上修改表结构会加什么锁Innodb存储引擎的行级锁有哪些Update语句中，不带where条件，加什么锁？MySQL实现乐观锁MySQL死锁MySQL死锁是怎么发生的？检查死锁如何避免死锁MySQL中锁的分类全局锁：主要用于全库逻辑备份表级锁：表锁、元数据锁、意向锁表锁：通过locktables语句对表进行加锁，它不仅限制其他
Python实现mysql命令行 xu-jssy python mysql adb
一、源码importosimportpymysqldefsql_shell():password=input("EnterPassword:")#访问密码ifpassword.strip()!="yyds":print("Bye")return#清空控制台输出os.system("cls"ifos.name=="nt"else"clear")try:#连接到MySQL数据库conn=pymysql
mysql case 干货 lack倪酱
这是我舍友@某人提供的是为了做酒店时判断每个楼栋有几间空房子的。房间表与数据楼栋表与数据查询楼栋房间总数查询空房间数当时就在想怎么把后一个单列的数据合并到前面那三列的数据里呢？又是百度，又是谷歌，都是什么“unitall”。。表示我要的不是这个。有点难为我小脑瓜，实在是对数据库不了解，只会日常操作。最后是我舍友想出了解决办法直接贴图好了，如果想要了解case是什么，你可以自行查资料。学习查东西也是
计算机毕设Node.js+Vue校园易购二手交易平台（程序+LW+部署） Node程序源码强子 vue.js 课程设计 node.js
项目运行环境配置：Node.js最新版+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue。项目技术：Express框架+Node.js+Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是Nodejs最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
MySQL 源码｜55 - 语法解析(V2)：基础查询语句（query_specification）｜V20240915 长行 MySQL源码 mysql 源码语法解析查询
目录文档：MySQL源码｜源码剖析文档目录源码位置（版本=MySQL8.0.37）：sql/sql_yacc.yy前置文档：MySQL源码｜68-语法解析(V2)：LOCKING子句（锁定读取）｜V20240909MySQL源码｜39-语法解析(V2)：ORDERBY子句｜V20240814｜V20240912（第2版）MySQL源码｜40-语法解析(V2)：GROUPBY子句｜V20240814
老生常谈：MySQL高可用架构我有一头小花驴 mysql 架构数据库
引言“高可用”是互联网一个永恒的话题，先避开MySQL不谈，为了保证各种服务的高可用有几种常用的解决方案。服务冗余：把服务部署多份，当某个节点不可用时，切换到其他节点。服务冗余对于无状态的服务是相对容易的。服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要
mysql 隐秘后门_【技术分享】CVE-2016-5483：利用mysqldump备份可生成后门 Toby Dai mysql 隐秘后门
预估稿费：100RMB投稿方式：发送邮件至linwei#360.cn，或登陆网页版在线投稿前言mysqldump是用来创建MySQL数据库逻辑备份的一个常用工具。它在默认配置下可以生成一个.sql文件，其中包含创建/删除表和插入数据等。在导入转储文件的时候，攻击者可以通过制造恶意表名来实现任意SQL语句查询和shell命令执行的目的。另一个与之相关的漏洞利用场景可以参考。攻击场景攻击者已经能够访问
处理绿盟科技安全评估的系统漏洞自我修炼的小石头数据库运维开发工具
如下图一次扫描,中度风险39个,这个是必须要处理的.其中mysql占了36个,一看这个感觉整个人都不好了.但是最后解决的办法也很简单,就是升级.系统版本Redhat7.31.telnet因为要升级openssh,openssl,为了避免意外,首先要开启telnet服务,并把所有相关的包上传到服务器.1.1确认是否安装了telnet和xinetd（默认是没有安装）rpm-qatelnet*rpm-q
统一思想认识永夜-极光思想
1.统一思想认识的基础,才能有的放矢原因: 总有一种描述事物的方式最贴近本质,最容易让人理解. 如何让教育更轻松,在于找到最适合学生的方式. 难点在于,如何模拟对方的思维基础选择合适的方式. &
Joda Time使用笔记 bylijinnan java joda time
Joda Time的介绍可以参考这篇文章： http://www.ibm.com/developerworks/cn/java/j-jodatime.html 工作中也常常用到Joda Time，为了避免每次使用都查API，记录一下常用的用法： /** * DateTime变化（增减） */ @Tes
FileUtils API eksliang FileUtils FileUtils API
转载请出自出处：http://eksliang.iteye.com/blog/2217374 一、概述这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。非常的好用。
各种新兴技术不懂事的小屁孩技术
1:gradle Gradle 是以 Groovy 语言为基础，面向Java应用为主。基于DSL（领域特定语言）语法的自动化构建工具。现在构建系统常用到maven工具，现在有更容易上手的gradle，搭建java环境: http://www.ibm.com/developerworks/cn/opensource/os-cn-gradle/ 搭建android环境： http://m
tomcat6的https双向认证酷的飞上天空 tomcat6
1.生成服务器端证书 keytool -genkey -keyalg RSA -dname "cn=localhost,ou=sango,o=none,l=china,st=beijing,c=cn" -alias server -keypass password -keystore server.jks -storepass password -validity 36
托管虚拟桌面市场势不可挡蓝儿唯美
用户还需要冗余的数据中心，dinCloud的高级副总裁兼首席营销官Ali Din指出。该公司转售一个MSP可以让用户登录并管理和提供服务的用于DaaS的云自动化控制台，提供服务或者MSP也可以自己来控制。在某些情况下，MSP会在dinCloud的云服务上进行服务分层，如监控和补丁管理。 MSP的利润空间将根据其参与的程度而有所不同，Din说。 “我们有一些合作伙伴负责将我们推荐给客户作为个
spring学习——xml文件的配置 a-john spring
在Spring的学习中，对于其xml文件的配置是必不可少的。在Spring的多种装配Bean的方式中，采用XML配置也是最常见的。以下是一个简单的XML配置文件： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.or
HDU 4342 History repeat itself 模拟 aijuans 模拟
来源：http://acm.hdu.edu.cn/showproblem.php?pid=4342 题意：首先让求第几个非平方数，然后求从1到该数之间的每个sqrt(i)的下取整的和。思路：一个简单的模拟题目，但是由于数据范围大，需要用__int64。我们可以首先把平方数筛选出来，假如让求第n个非平方数的话，看n前面有多少个平方数，假设有x个，则第n个非平方数就是n+x。注意两种特殊情况，即
java中最常用jar包的用途 asia007 java
java中最常用jar包的用途 jar包用途axis.jarSOAP引擎包commons-discovery-0.2.jar用来发现、查找和实现可插入式接口，提供一些一般类实例化、单件的生命周期管理的常用方法.jaxrpc.jarAxis运行所需要的组件包saaj.jar创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法，以及接收和处理SOAP错误的方法. w
ajax获取Struts框架中的json编码异常和Struts中的主控制器异常的解决办法百合不是茶 js json编码返回异常
一:ajax获取自定义Struts框架中的json编码出现以下问题: 1,强制flush输出 json编码打印在首页 2, 不强制flush js会解析json 打印出来的是错误的jsp页面却没有跳转到错误页面 3, ajax中的dataType的json 改为text 会
JUnit使用的设计模式 bijian1013 java 设计模式 JUnit
JUnit源代码涉及使用了大量设计模式 1、模板方法模式（Template Method）定义一个操作中的算法骨架，而将一些步骤延伸到子类中去，使得子类可以不改变一个算法的结构，即可重新定义该算法的某些特定步骤。这里需要复用的是算法的结构，也就是步骤，而步骤的实现可以在子类中完成。
Linux常用命令（摘录） sunjing crond chkconfig
chkconfig --list 查看linux所有服务 chkconfig --add servicename 添加linux服务 netstat -apn | grep 8080 查看端口占用 env 查看所有环境变量 echo $JAVA_HOME 查看JAVA_HOME环境变量安装编译器 yum install -y gcc
【Hadoop一】Hadoop伪集群环境搭建 bit1129 hadoop
结合网上多份文档，不断反复的修正hadoop启动和运行过程中出现的问题，终于把Hadoop2.5.2伪分布式安装起来，跑通了wordcount例子。Hadoop的安装复杂性的体现之一是，Hadoop的安装文档非常多，但是能一个文档走下来的少之又少，尤其是Hadoop不同版本的配置差异非常的大。Hadoop2.5.2于前两天发布，但是它的配置跟2.5.0，2.5.1没有分别。 &nb
Anychart图表系列五之事件监听白糖_ chart
创建图表事件监听非常简单：首先是通过addEventListener('监听类型',js监听方法)添加事件监听，然后在js监听方法中定义具体监听逻辑。以钻取操作为例，当用户点击图表某一个point的时候弹出point的name和value，代码如下： <script> //创建AnyChart var chart = new AnyChart(); //添加钻取操作&quo
Web前端相关段子 braveCS web前端
Web标准：结构、样式和行为分离使用语义化标签 0）标签的语义：使用有良好语义的标签，能够很好地实现自我解释，方便搜索引擎理解网页结构，抓取重要内容。去样式后也会根据浏览器的默认样式很好的组织网页内容，具有很好的可读性，从而实现对特殊终端的兼容。 1）div和span是没有语义的：只是分别用作块级元素和行内元素的区域分隔符。当页面内标签无法满足设计需求时，才会适当添加div
编程之美-24点游戏 bylijinnan 编程之美
import java.util.ArrayList; import java.util.Arrays; import java.util.HashSet; import java.util.List; import java.util.Random; import java.util.Set; public class PointGame { /**编程之美
主页面子页面传值总结 chengxuyuancsdn 总结
1、showModalDialog returnValue是javascript中html的window对象的属性,目的是返回窗口值,当用window.showModalDialog函数打开一个IE的模式窗口时,用于返回窗口的值主界面 var sonValue=window.showModalDialog("son.jsp"); 子界面 window.retu
[网络与经济]互联网+的含义 comsci 互联网+
互联网+后面是一个人的名字 = 网络控制系统互联网+你的名字 = 网络个人数据库每日提示:如果人觉得不舒服,千万不要外出到处走动,就呆在床上,玩玩手游,更不能够去开车,现在交通状况不
oracle 创建视图 with check option daizj 视图 view oralce
我们来看下面的例子： create or replace view testview as select empno,ename from emp where ename like ‘M%’ with check option; 这里我们创建了一个视图，并使用了with check option来限制了视图。然后我们来看一下视图包含的结果： select * from testv
ToastPlugin插件在cordova3.3下使用 dibov Cordova
自己开发的Todos应用，想实现“ 再按一次返回键退出程序 ”的功能，采用网上的ToastPlugins插件，发现代码或文章基本都是老版本，运行问题比较多。折腾了好久才弄好。下面吧基于cordova3.3下的ToastPlugins相关代码共享。 ToastPlugin.java package&nbs
C语言22个系统函数 dcj3sjt126com c function
C语言系统函数一、数学函数下列函数存放在math.h头文件中Double floor(double num) 求出不大于num的最大数。Double fmod(x, y) 求整数x/y的余数。Double frexp(num, exp); double num; int *exp; 将num分为数字部分（尾数）x和以2位的指数部分n，即num=x*2n，指数n存放在exp指向的变量中，返回x。D
开发一个类的流程 dcj3sjt126com 开发
本人近日根据自己的开发经验总结了一个类的开发流程。这个流程适用于单独开发的构件，并不适用于对一个项目中的系统对象开发。开发出的类可以存入私人类库，供以后复用。以下是开发流程： 1. 明确类的功能，抽象出类的大概结构 2. 初步设想类的接口 3. 类名设计（驼峰式命名） 4. 属性设置(权限设置) 判断某些变量是否有必要作为成员属
java 并发 shuizhaosi888 java 并发
能够写出高伸缩性的并发是一门艺术在JAVA SE5中新增了3个包 java.util.concurrent java.util.concurrent.atomic java.util.concurrent.locks 在java的内存模型中，类的实例字段、静态字段和构成数组的对象元素都会被多个线程所共享，局部变量与方法参数都是线程私有的，不会被共享。
Spring Security（11）——匿名认证 234390216 Spring Security ROLE_ANNOYMOUS 匿名
匿名认证目录 1.1 配置 1.2 AuthenticationTrustResolver 对于匿名访问的用户，Spring Security支持为其建立一个匿名的AnonymousAuthenticat
NODEJS项目实践0.2[ express,ajax通信...] 逐行分析JS源代码 Ajax nodejs express
一、前言通过上节学习，我们已经 ubuntu系统搭建了一个可以访问的nodejs系统，并做了nginx转发。本节原要做web端服务及 mongodb的存取，但写着写着，web端就
在Struts2 的Action中怎样获取表单提交上来的多个checkbox的值 lhbthanks java html struts checkbox
第一种方法：获取结果String类型在 Action 中获得的是一个 String 型数据，每一个被选中的 checkbox 的 value 被拼接在一起，每个值之间以逗号隔开(,)。所以在 Action 中定义一个跟 checkbox 的 name 同名的属性来接收这些被选中的 checkbox 的 value 即可。以下是实现的代码：前台 HTML 代码：
003.Kafka基本概念 nweiren hadoop kafka
Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：消息源（Message）的分类。 Partition： Topic物理上的分组，一
Linux环境下安装JDK roadrunners jdk linux
1、准备工作创建JDK的安装目录： mkdir -p /usr/java/ 下载JDK，找到适合自己系统的JDK版本进行下载： http://www.oracle.com/technetwork/java/javase/downloads/index.html 把JDK安装包下载到/usr/java/目录，然后进行解压： tar -zxvf jre-7
Linux忘记root密码的解决思路 tomcat_oracle linux
1：使用同版本的linux启动系统，chroot到忘记密码的根分区passwd改密码　　2：grub启动菜单中加入init=/bin/bash进入系统，不过这时挂载的是只读分区。根据系统的分区情况进一步判断. 　　3: grub启动菜单中加入 single以单用户进入系统. 　　4:用以上方法mount到根分区把/etc/passwd中的root密码去除　　例如: 　　ro
跨浏览器 HTML5 postMessage 方法以及 message 事件模拟实现 xueyou jsonp jquery 框架 UI html5
postMessage 是 HTML5 新方法，它可以实现跨域窗口之间通讯。到目前为止，只有 IE8+, Firefox 3, Opera 9, Chrome 3和 Safari 4 支持，而本篇文章主要讲述 postMessage 方法与 message 事件跨浏览器实现。postMessage 方法 JSONP 技术不一样，前者是前端擅长跨域文档数据即时通讯，后者擅长针对跨域服务端数据通讯，p