Mysql聚集索引和非聚集索引(堆组织表和索引组织表)

1.堆组织表(HOT)和索引组织表(IOT)有什么区别?

    myisam使用的堆组织表(Heap Organize Table, HOT),没有聚集索引的概念,使用B-tree索引的存储格式，显示都是随机顺序。
    innodb表是索引组织表(Index Organized Table, IOT)，它的索引则是采用 clustered index 方式，因此主键会按照顺序存储，每次有记录有更新时，会重新整理更新其主键。因此无论是直接从 myisam 表转换过来的，还是后来插入的记录，显示时都会按照主键的顺序。
mysql> select * from duplicate_key;
+----+------+
| id | p_id |
+----+------+
| 2 | 2 |
| 3 | 3 |
| 5 | 5 |
| 4 | 4 |
| 6 | 6 |
| 7 | 7 |
+----+------+
6 rows in set (0.00 sec)
此时的duplicate_key表是myisam引擎的，
update duplicate_key set id=id-1的时候会提示Duplicate entry '4' for key 'PRIMARY'错误。
update duplicate_key set id=id-1 order by id；如果这样做，就不会出错，原理上面已做出了说明。
如果是innodb引擎就不会出现这样的情况，因为他的聚集索引存储方式会按顺序来显示。
    在myisam引擎使用的时候如果你delete了其中的几条数据，这时的表就是一个hole表。如果你不使用表维护命令进行维护，你新插入的数据就会放到你刚刚删除的那个位置

    我们先来看看两种存储形式的不同之处：简单说，IOT表里数据物理存储顺序和主键索引的顺序一致，所以如果新增数据是离散的，会导致数据块趋于离散，而不是趋于顺序。而HOT表数据写入的顺序是按写入时间顺序存储的。
IOT表相比HOT表的优势是：
  1).范围查询效率更高;
  2).数据频繁更新(聚集索引本身不更新)时，更不容易产生碎片;
  3).特别适合有一小部分热点数据频繁读写的场景;
  4).通过主键访问数据时快速可达;
IOT表的不足则有：
  数据变化如果是离散为主的话，那么效率会比HOT表差;
HOT表的不足有：
  1).索引回表读开销很大;
  2).大部分数据读取时随机的，无法保证被顺序读取，开销大;
  3).每张InnoDB表只能创建一个聚集索引，聚集索引可以由一列或多列组成。
上面说过，InnoDB是聚集索引组织表，它的聚集索引选择规则是这样的：
  1).首先选择显式定义的主键索引做为聚集索引;
  2).如果没有，则选择第一个不允许NULL的唯一索引;
  3).还是没有的话，就采用InnoDB引擎内置的ROWID作为聚集索引;
    所以，对于 聚集索引 来说，你创建主键的时候，自动就创建了主键的聚集索引。出了主键的聚集索引,其他索引(普通索引)中不会保存行的物理位置,而是保存主键的值,所以通过"二级索引"进行查找是先找到主键,再找到行,要进行二次索引查找。我们来看看InnoDB主键索引的示意图：

    可以看到，在这个索引结构的叶子节点中，节点key值是主键的值，而节点的value则存储其余列数据，以及额外的ROWID、rollback pointer、trx id等信息。
    结合这个图，以及上面所述，我们可以知道：在InnoDB表中，其聚集索引相当于整张表，而整张表也是聚集索引。主键必然是聚集索引，而聚集索引则未必是主键。

----------------------------------------------------------------------------------------------------------------------

2.深入浅出理解索引结构

    实际上，可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。下面，我们举例来说明一下聚集索引和非聚集索引的区别：
    其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“安”字，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字。也就是说，字典的正文部分本身就是一个目录，您不需要再去查其他目录来找到您需要找的内容。我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
    如果遇到不认识的字，不知道它的发音，这时候，需要去根据“偏旁部首”查到您要找的字，然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“张”字，我们可以看到在查部首之后的检字表中“张”的页码是672页，检字表中“张”的上面是“驰”字，但页码却是63页，“张”的下面是“弩”字，页面是390页。很显然，这些字并不是真正的分别位于“张”字的上下方，现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。我们可以通过这种方式来找到您所需要的字，但它需要两个过程，先找到目录中的结果，然后再翻到您所需要的页码。我们把这种目录纯粹是目录，正文纯粹是正文的排序方式称为“非聚集索引”。
    通过以上例子，我们可以理解到什么是“聚集索引”和“非聚集索引”。进一步引申一下，我们可以很容易的理解：每个表只能有一个聚集索引，因为目录只能按照一种方法进行排序。    

-----------------------------------------------------------------------------------------------------------

3.聚集索引和非聚集索引的区别及优缺点：

区别：
    1).聚集索引一个表只能有一个，而非聚集索引一个表可以存在多个
    2).聚集索引存储记录是物理上连续存在，而非聚集索引是逻辑上的连续，物理存储并不连续
　3).聚集索引:物理存储按照索引排序；聚集索引是一种索引组织形式，索引的键值逻辑顺序决定了表数据行的物理存储顺序
　　非聚集索引:物理存储不按照索引排序；非聚集索引则就是普通索引了，仅仅只是对数据列创建相应的索引，不影响整个表的物理存储顺序.
    4).索引是通过二叉树的数据结构来描述的，我们可以这么理解聚簇索引：索引的叶节点就是数据节点。而非聚簇索引的叶节点仍然是索引节点，只不过有一个指针指向对应的数据块。
优势与缺点:
    聚集索引插入数据时速度要慢（时间花费在“物理存储的排序”上，也就是首先要找到位置然后插入）,查询数据比非聚集数据的速度快

其实上面的我们需要搞清楚以下几个问题：

　　 第一：聚集索引的约束是唯一性，是否要求字段也是唯一的呢？
　　分析：如果认为是的朋友，可能是受系统默认设置的影响，一般我们指定一个表的主键，如果这个表之前没有聚集索引，同时建立主键时候没有强制指定使用非聚集索引，SQL会默认在此字段上创建一个聚集索引，而主键都是唯一的，所以理所当然的认为创建聚集索引的字段也需要唯一。
　　结论：聚集索引可以创建在任何一列你想创建的字段上，这是从理论上讲，实际情况并不能随便指定，否则在性能上会是恶梦。

　　 第二：为什么聚集索引可以创建在任何一列上，如果此表没有主键约束，即有可能存在重复行数据呢？
　　粗一看，这还真是和聚集索引的约束相背，但实际情况真可以创建聚集索引。
　　分析其原因是：如果未使用 UNIQUE 属性创建聚集索引，数据库引擎将向表自动添加一个四字节 uniqueifier 列。必要时，数据库引擎 将向行自动添加一个 uniqueifier 值，使每个键唯一。此列和列值供内部使用，用户不能查看或访问。

　　 第三：是不是聚集索引就一定要比非聚集索引性能优呢？
　　如果想查询学分在60-90之间的学生的学分以及姓名，在学分上创建聚集索引是否是最优的呢？
　　答：否。既然只输出两列，我们可以在学分以及学生姓名上创建联合非聚集索引，此时的索引就形成了覆盖索引，即索引所存储的内容就是最终输出的数据，这种索引在比以学分为聚集索引做查询性能更好。

　　 第四：在数据库中通过什么描述聚集索引与非聚集索引的？
　　索引是通过二叉树的形式进行描述的，我们可以这样区分聚集与非聚集索引的区别：聚集索引的叶节点就是最终的数据节点，而非聚集索引的叶节仍然是索引节点，但它有一个指向最终数据的指针。

　　 第五：在主键是创建聚集索引的表在数据插入上为什么比主键上创建非聚集索引表速度要慢？
　　有了上面第四点的认识，我们分析这个问题就有把握了，在有主键的表中插入数据行，由于有主键唯一性的约束，所以需要保证插入的数据没有重复。我们来比较下主键为聚集索引和非聚集索引的查找情况：聚集索引由于索引叶节点就是数据页，所以如果想检查主键的唯一性，需要遍历所有数据节点才行，但非聚集索引不同，由于非聚集索引上已经包含了主键值，所以查找主键唯一性，只需要遍历所有的索引页就行（索引的存储空间比实际数据要少），这比遍历所有数据行减少了不少IO消耗。这就是为什么主键上创建非聚集索引比主键上创建聚集索引在插入数据时要快的真正原因。

--------------------------------------------------------------------------------------------

4.何时使用聚集索引或非聚集索引

动作描述	使用聚集索引	使用非聚集索引
列经常被分组排序	应	应
返回某范围内的数据	应	不应
一个或极少不同值	不应	不应
小数目的不同值	应	不应
大数目的不同值	不应	应
频繁更新的列	不应	应
外键列	应	应
主键列	应	应
频繁修改索引列	不应	应

----------------------------------------------------------------------------------------------------------------------------------

5.结合实际，谈索引使用的误区

    理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。
1、主键就是聚集索引--错误想法的
    这种想法是极端错误的，是对聚集索引的一种浪费。虽然默认是在主键上建立聚集索引的。
    通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。如果我们将这个列设为主键，mysql会将此列默认为聚集索引。这样做有好处，就是可以让您的数据在数据库中按照ID进行物理排序，但这样做意义不大。
    显而易见，聚集索引的优势是很明显的，而每个表中只能有一个聚集索引的规则，这使得聚集索引变得更加珍贵。
    从我们前面谈到的聚集索引的定义我们可以看出，使用聚集索引的最大好处就是能够根据查询要求，迅速缩小查询范围，避免全表扫描。在实际应用中，因为 ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。这就使让ID号这个主键作为聚集索引成为一种资源浪费。其次，让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则；当然，这种情况只是针对用户经常修改记录内容，特别是索引项的时候会负作用，但对于查询速度并没有影响。
    如在办公自动化系统中，无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。
    通常，办公自动化的首页会显示每个用户尚未签收的文件或会议。虽然我们的where语句可以仅仅限制当前用户尚未签收的情况，但如果您的系统已建立了很长时间，并且数据量很大，那么，每次每个用户打开首页的时候都进行一次全表扫描，这样做意义是不大的，绝大多数的用户1个月前的文件都已经浏览过了，这样做只能徒增数据库的开销而已。事实上，我们完全可以让用户打开系统首页时，数据库仅仅查询这个用户近3个月来未阅览的文件，通过“日期”这个字段来限制表扫描，提高查询速度。如果您的办公自动化系统已经建立的2年，那么您的首页显示速度理论上将是原来速度8倍，甚至更快。
    在这里之所以提到“理论上”三字，是因为如果您的聚集索引还是盲目地建在ID这个主键上时，您的查询速度是没有这么高的，即使您在“日期”这个字段上建立的索引（非聚合索引）。下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现（3个月内的数据为25万条）：
  1).仅在主键上建立聚集索引，并且不划分时间段：
    Select gid,fariqi,neibuyonghu,title from tgongwen
    用时：128470毫秒（即：128秒）
  2).在主键上建立聚集索引，在fariq上建立非聚集索引：
    select gid,fariqi,neibuyonghu,title from Tgongwen
    where fariqi> dateadd(day,-90,getdate())
    用时：53763毫秒（54秒）
  3).将聚合索引建立在日期列（fariqi）上：
    select gid,fariqi,neibuyonghu,title from Tgongwen
    where fariqi> dateadd(day,-90,getdate())
    用时：2423毫秒（2秒）
    虽然每条语句提取出来的都是25万条数据，各种情况的差异却是巨大的，特别是将聚集索引建立在日期列时的差异。事实上，如果您的数据库真的有1000 万容量的话，把主键建立在ID列上，就像以上的第1、2种情况，在网页上的表现就是超时，根本就无法显示。这也是摒弃ID列作为聚集索引的一个最重要的因素。得出以上速度的方法是：在各个select语句前加：
    declare @d datetime
    set @d=getdate()
    并在select语句后加：select [语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())

2、只要建立索引就能显著提高查询速度--错误想法的
    事实上，我们可以发现上面的例子中，第2、3条语句完全相同，且建立索引的字段也相同；不同的仅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查询速度却有着天壤之别。所以，并非是在任何字段上简单地建立索引就能提高查询速度。
    从建表的语句中，我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。在此字段上建立聚合索引是再合适不过了。在现实中，我们每天都会发几个文件，这几个文件的发文日期就相同，这完全符合建立聚集索引要求的：“既不能绝大多数都相同，又不能只有极少数相同”的规则。由此看来，我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。

3、把所有需要提高查询速度的字段都加进聚集索引，以提高查询速度--错误想法的
    上面已经谈到：在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要，我们可以把他们合并起来，建立一个复合索引（compound index）。
    很多人认为只要把任何字段加进聚集索引，就能提高查询速度，也有人感到迷惑：如果把复合的聚集索引字段分开查询，那么查询速度会减慢吗？带着这个问题，我们来看一下以下的查询速度（结果集都是25万条数据）：（日期列fariqi首先排在复合聚集索引的起始列，用户名neibuyonghu排在后列）：
  1).select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5''
    查询速度：2513毫秒
  2).select gid,fariqi,neibuyonghu,title from Tgongwen
    where fariqi>''2004-5-5'' and neibuyonghu=''办公室''
    查询速度：2516毫秒
  3).select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=''办公室''
    查询速度：60280毫秒
    从以上试验中，我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的，甚至比用上全部的复合索引列还要略快（在查询结果集数目一样的情况下）；而如果仅用复合聚集索引的非起始列作为查询条件的话，这个索引是不起任何作用的。当然，语句1、2的查询速度一样是因为查询的条目数一样，如果复合索引的所有列都用上，而且查询结果少的话，这样就会形成“索引覆盖”，因而性能可以达到最优。同时，请记住：无论您是否经常使用聚合索引的其他列，但其前导列一定要是使用最频繁的列。
------------------------------------------------------------------------------------------------------------------

6.其他书上没有的索引使用经验总结

1、用聚合索引比用不是聚合索引的主键速度快
   下面是实例语句：（都是提取25万条数据）
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
    使用时间：3326毫秒
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000
    使用时间：4470毫秒
    这里，用聚合索引比用不是聚合索引的主键速度快了近1/4。

2、用聚合索引比用一般的主键作order by时速度快，特别是在小数据量情况下
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi
    用时：12936
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid
    用时：18843
    这里，用聚合索引比用一般的主键作order by时，速度快了3/10。事实上，如果数据量很小的话，用聚集索引作为排序列要比使用非聚集索引速度快得明显的多；而数据量如果很大的话，如10万以上，则二者的速度差别不明显。

3、使用聚合索引内的时间段，搜索时间会按数据占整个数据表的百分比成比例减少，而无论聚合索引使用了多少个：
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1''
    用时：6343毫秒（提取100万条）
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-6-6''
    用时：3170毫秒（提取50万条）
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
    用时：3326毫秒（和上句的结果一模一样。如果采集的数量一样，那么用大于号和等于号是一样的）
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen
    　　where fariqi>''2004-1-1'' and fariqi<''2004-6-6''
    用时：3280毫秒

4、日期列不会因为有分秒的输入而减慢查询速度
   下面的例子中，共有100万条数据，2004年1月1日以后的数据有50万条，但只有两个不同的日期，日期精确到日；之前有数据50万条，有5000个不同的日期，日期精确到秒。
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen
    　　　　　　　　　　where fariqi>''2004-1-1'' order by fariqi
    用时：6390毫秒
    select gid,fariqi,neibuyonghu,reader,title from Tgongwen
    　　　　　　　　　　　　where fariqi<''2004-1-1'' order by fariqi
    用时：6453毫秒