数据库开发规范制定

最近开发的m2vop平台让人很窝火啊，数据库方面经常遇到一些问题，怒下决心在搞一个数据库系列的文章，本篇文章主要先介绍我们要模拟做的一个项目，然后讲讲数据库开发的规范。

2.数据库规范设计

2.1命名规范

• 所有数据库对象名称必须使用小写字母并用下划线分割
• 所有数据库对象名称禁止使用Mysql保留关键字
• 数据库对象的命名要能做到见名识义，并且最好不要超过32个字符
• 临时表必须以tmp为前缀并以日期为后缀，备份库，备份表必须以bak为前缀并以日期为后缀
• 所有存储相同数据的列名和列类型必须一致

2.2数据库基本设计规范

• 所有表必须适用Innodb存储引擎，它支持事务，行级锁，更好的恢复性，高并发下性能更好
• 数据库和表的字符集统一使用UTF-8，在Mysql中UTF8字符集汉字占3个字节，ASCII码占用1个字节。如果我们定义了一个VARCHAR（255），那么存储了255个中文会占用765个字节
• 所有表和字段都需要添加注释。使用comment从句添加表和列的备注，从一开始就进行数据字典的维护。
• 尽量控制单表数据量的大小，建议控制在500万以内。否则修改表结构，备份，回复都会有很大问题。可以用历史数据归档，分库分表等手段来控制数据量大小。
• 谨慎使用Mysql分区表。分区表在物理上表现为多个文件，在逻辑上表现为一个表。谨慎选择分区键，跨分区查询效率可能更低，建议采用物理分表的方式管理大数据。
• 尽量做到冷热数据分离，减小表的宽度。这样可以减少磁盘IO，保证热数据的内存缓存命中率，经常一起使用的列放到一个表中。Mysql限制最多存储4096列。
• 禁止在表中建立预留字段。因为预留字段的命名很难做到见名识义，预留字段无法确认存储的数据类型，所以无法选择合适的类型。

2.3数据库索引设计规范

• 单张表的索引数量最好不要超过5个
• 禁止给表中的每一个列建立索引
• 每个Innodb表只有一个主键，如果说我们没有明确指定主键，Mysql默认会选择表中的第一个非空索引充当主键，否则会生成一个占6个字节的主键（但是性能不好）
• 不使用更新频繁的列作为主键，不使用多列主键。这是因为主键频繁更新意味着存储逻辑顺序的频繁变动，必然带来大量的IO操作。
• 不适用UUID，MD5，HASH，字符串列作为主键，这是因为，我们无法保证他们的自动增长。
• 主键建议使用自增ID
• 常见的索引列建议：1.SELECT UPDATE DELETE语句的WHERE从句中的列 2.包含在order by、group by、distinct中的字段 3.多表join的关联列
• 区分度最高的列放在联合索引的最左侧
• 尽量把字段长度小的列放在联合索引的最左侧，这样页中存储的数据量越大

• 使用频繁的列放到联合索引左侧
  -避免建立重复的索引和冗余的索引

  
  
  

  重复索引
  
  
  

  a列是冗余的索引
• 对于频繁的查询有限考虑使用覆盖索引。覆盖索引就是包含了所有查询字段的索引。这样可以避免Innodb表进行索引的二次查询。可以把随机IO转变为顺序IO。
• 尽量避免使用外键。不建议使用外键约束，但一定在表与表之间的关联键上建立索引。外键可用于保证数据的参照完整性，但建议在业务端实现。外键会影响父表与子表的写操作从而降低性能。Mysql会默认给外键建立索引。

2.4 数据库字段设计规范

• 有限选择符合存储需要的最小的数据类型，将字符串转换为数字，比如把IP地址转换为INT类型。如下图所示：

  
  
  
• 对于非负型的数据来说，要优先使用无符号整型来存储。无符号相对于有符号可以多出一倍的存储空间。
• VARCHAR（N）中的N代表的是字符数，而不是字节数。虽然它是按照实际的长度进行存储，但是它读取到内存中时，为了效率，它会按照我们定义的长度读入内存，浪费内存。
• 避免使用TEXT和BLOB类型，建议把BLOB或是TEXT列分离到单独的扩展表中。而且他们只能使用前缀索引
• 避免使用ENUM数据类型。因为修改ENUM值需要使用ALTER语句。ENUM类型的ORDER BY操作效率低，需要额外操作，因为要转换成字符串类型才能ORDER BY。
• 禁止使用数值作为ENUM的枚举值，因为容易造成歧义。可以直接使用数值类型来存储。
• 尽可能把所有列定义为NOT NULL。因为索引NULL需要额外的空间来保存是否为空，所以要赵勇更多的空间。另外进行比较和计算时要对NULL值做特别的处理。
• 字符串存储日期型的数据是不正确的做法。缺点1：无法用日期函数进行计算和比较。缺点2：用字符串存储日期要占用更多的空间。

• 使用TIMESTAMP或DATETIME类型存储时间时我们要知道的东西如下：

  
  
  
• 同财务相关的金额类数据，必须使用decimal类型。1.Decimal类型为精准浮点数，在计算式不会丢失精度。2.占用空间由定义的宽度决定3.可用于存储比bigint更大的整数数据。

2.5SQL开发规范

• 建议使用预编译语句进行数据库操作：

  
  
  
  
  

  优点：只传递参数，比传递SQL语句更有效；相同语句可以一次解析，多次使用，提高处理效率；防止SQL注入

• 避免数据类型的隐式转换

  
  
  
• 充分利用表上的索引，而不是盲目增加索引
  避免使用双百分号进行查询；另外一个SQL只能利用到符合索引中的一列进行范围查询；使用left join和not exists来优化not in操作。
• 程序连接不同的数据库使用不同的账号，禁止跨库查询。这样可以为数据库迁移和分库分表留出余地；降低业务耦合度；避免权限过大而产生的安全风险
• 禁止使用select *进行查询，必须使用select字段列表进行查询。select * 会消耗更多的CPU和IO以及网络带宽资源；无法使用覆盖索引；可减少表结构变更带来的影响。
• 禁止使用不含字段列表的INSERT语句
  insert into t values('a','b')这种是绝对禁止的。禁止的原因是可减少表结构变更带来的影响。
• 避免使用子查询，可以把子查询优化为join操作。这是因为子查询的结果集无法使用索引；子查询会产生临时表操作，如果子查询数据量大则严重影响效率，且消耗过多的CPU及IO资源。
• 避免使用JOIN关联太多的表。每join一个表多占用一部分内存（join_buffer_size）。join会产生临时表操作，影响查询效率，Mysql最多允许关联61个表，建议不超过5个。
• 减少同数据库的交互次数。数据库更适合处理批量操作；合并多个相同的操作到一起，可以提高处理效率，比如alter table t1 add column c1 int,change column c2 c2 int...合并在一起
• 使用in代替or。in的值不要超过500个，in操作可以有效的利用索引
• 禁止使用order by rand()进行随机排序。这样会把表中所有符合条件的数据装载到内存中进行排序，会消耗大量的CPU和IO及内存资源。推荐在程序中获取一个随机值，然后从数据库中获取数据的方式。
• WHERE从句中禁止对列进行函数转换和计算。因为对列进行函数转换或计算会导致无法使用索引。
• 在明显不会有重复值时使用UNION ALL而不是UNION。UNION会把所有数据放到临时表中后再进行去重操作，UNION ALL不会再对结果集进行去重操作。
• 拆分复杂的大SQL为多个小SQL。Mysql一个SQL只能使用一个CPU进行计算，SQL拆分后可以通过并行执行来提高处理效率。

2.6 数据库操作规范

• 超100万行的批量写操作，要分批多次进行操作。因为大批量操作可能会造成严重的主从延迟；binlog日志为row格式时会产生大量的日志；避免产生大事务操作
• 对大表数据结构的修改一定要谨慎，会造成严重的锁表操作，尤其是生产环境，是不能忍受的。对于大表使用pt-online-schema-change修改表结构。这样可以避免大表修改产生的主从延迟；避免在对标字段进行修改时进行锁表；
• 禁止为程序使用的账号赋予super权限。当达到最大连接数限制时，还允许1个有super权限的用户连接；super权限只能留给DBA处理问题的账号使用
• 对于程序连接数据库账号，遵循权限最小原则。程序使用数据库账号只能在一个DB下使用，不准跨库；程序使用的账号原则上不准有drop权限。