Oracle分页查询出现重复数据、遗漏数据问题复现、解决

一、背景

  1. Oracle 数据库版本信息:
序号 BANNER
1 Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
2 PL/SQL Release 11.2.0.4.0 - Production
3 CORE 11.2.0.4.0 Production
4 TNS for 64-bit Windows: Version 11.2.0.4.0 - Production
5 NLSRTL Version 11.2.0.4.0 - Production
  1. 现象
    采用 Oracle 数据库进行分页查询时 第x页 数据和 第x+n页 数据存在重复数据,并且存在缺失/丢失数据的现象。

二、数据准备

在复现上述问题时我们需要先准备测试数据(表 AAA 有 A、B 两列共 33 条数据),脚本如下:

-- 创建测试表并导入数据
CREATE TABLE AAA
(
  A NUMBER(10),
  B NUMBER(10)
);
INSERT INTO AAA (A, B) VALUES (1, 123);
INSERT INTO AAA (A, B) VALUES (2, 123);
INSERT INTO AAA (A, B) VALUES (3, 123);
INSERT INTO AAA (A, B) VALUES (4, 123);
INSERT INTO AAA (A, B) VALUES (5, 123);
INSERT INTO AAA (A, B) VALUES (6, 123);
INSERT INTO AAA (A, B) VALUES (7, 123);
INSERT INTO AAA (A, B) VALUES (8, 123);
INSERT INTO AAA (A, B) VALUES (9, 123);
INSERT INTO AAA (A, B) VALUES (10, 123);
INSERT INTO AAA (A, B) VALUES (11, 123);
INSERT INTO AAA (A, B) VALUES (12, 123);
INSERT INTO AAA (A, B) VALUES (13, 123);
INSERT INTO AAA (A, B) VALUES (14, 123);
INSERT INTO AAA (A, B) VALUES (15, 123);
INSERT INTO AAA (A, B) VALUES (16, 123);
INSERT INTO AAA (A, B) VALUES (17, 123);
INSERT INTO AAA (A, B) VALUES (18, 1223);
INSERT INTO AAA (A, B) VALUES (19, 123);
INSERT INTO AAA (A, B) VALUES (20, 123);
INSERT INTO AAA (A, B) VALUES (21, 123);
INSERT INTO AAA (A, B) VALUES (22, 123);
INSERT INTO AAA (A, B) VALUES (23, 123);
INSERT INTO AAA (A, B) VALUES (24, 123);
INSERT INTO AAA (A, B) VALUES (25, 123);
INSERT INTO AAA (A, B) VALUES (26, 123);
INSERT INTO AAA (A, B) VALUES (27, 123);
INSERT INTO AAA (A, B) VALUES (28, 123);
INSERT INTO AAA (A, B) VALUES (29, 123);
INSERT INTO AAA (A, B) VALUES (30, 123);
INSERT INTO AAA (A, B) VALUES (31, 123);
INSERT INTO AAA (A, B) VALUES (32, 123);
INSERT INTO AAA (A, B) VALUES (33, 123);
COMMIT;

三、复现问题

使用分页查询脚本对每页进行查询:

--第一页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 10)
 WHERE RN > 0;

--第二页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 20)
 WHERE RN > 10;

--第三页
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 30)
 WHERE RN > 20;

--第四页 
SELECT *
  FROM (SELECT T.*, ROWNUM RN
          FROM (SELECT A.* FROM AAA A ORDER BY A.B ASC) T
         WHERE ROWNUM <= 40)
 WHERE RN > 30;

查询结果如下:
第一页数据:
Oracle分页查询出现重复数据、遗漏数据问题复现、解决_第1张图片
第二页数据:
Oracle分页查询出现重复数据、遗漏数据问题复现、解决_第2张图片
第三页数据:
Oracle分页查询出现重复数据、遗漏数据问题复现、解决_第3张图片
第四页数据:
Oracle分页查询出现重复数据、遗漏数据问题复现、解决_第4张图片

仔细观察每页的数据,从中可以看到A=17在第二页、第三页、第四页数据存在重复,A=8在第一页、第二页、第三页数据存在重复;另外我们还发现数据总量是 33 条数据,因为存在重复数据,在总量不变得情况下说明有数据丢失。
此外我们发现分页查询时我们的排序字段是 B ,并且 B 列中存在大量重复值(不全重复)全重复不会存在我们在这说的问题,在这就不说明了,感兴趣的话可以自己试试,将上面的数据 B=1223 改成和其他一样的就行。

四、产生原因

通过上一步的问题复现,我们发现在分页时排序字段是 B列,并且 B 列存在不同值(有大量重复值),通过伪列进行排序分页后变得不稳定导致,如果 B 列值都一样,那顺序从数据块中读取,不会产生上述问题。

五、解决方案

解决方案其他很简单,只需要将排序字段改成其他非大量重复列即可。

你可能感兴趣的:(➤,数据库,#,Oracle)