Mycat问题总结
一丶自增主键设置
Mycat提供了几种设置自增主键的方式
- 本地文件方式
- 数据库方式
- 服务器时间戳方式
- 分布式ZK-ID生成器
第一种和第二种只适合单点设置，对于集群不适用。第四种方式适用，但是需要增加zk服务器，维护成本较高，或者由于某些原因不能用zk，此方式也会受到约束，故采用服务器时间戳的方式生成自增主键ID。
##### 以下为配置方法- 修改server.xml，设置为时间戳格式
2 - 修改sepuence_time_conf.properties，设置组合形式
WORKID=0-31 任意整数 DATAACENTERID=0-31 任意整数- 修改schema.xml,设置主键ID为自增
二丶按日期（天）分片
- 在查询时，应该具体到某一天去查询
这样查询数据只会去查某一个节点例如:SELECT * FROM table WHERE create_time = '2019-01-01';
如果需要查询时间段，应该用between...and，不能用>=或者<=,区别如下
SELECT * from alan_test WHERE create_date = '2019-01-01';
SELECT * FROM table WHERE create_time between '2019-01-01' and '2019-01-12';
按天分片，需要创建结束时间，到结束时间之后的数据会循环计算，具体存到哪个分片。
三丶固定分片Hash算法和取模分片的区别
- 固定分片Hash算法类似于十进制的求模运算，区别在于是二进制的操作,是取id的二进制低10位，即id二进制&1111111111。
此算法的优点在于如果按照 10 进制取模运算，在连续插入 1-10 时候 1-10会被分到1-10个分片，增大了插入的事务控制难度，而此算法根据二进制则可能会分到连续的分片，减少插入事务事务控制难度。但是该方法插入时计算量大，效率较低。 取模运算这种配置非常明确即根据 id进行十进制求模预算，相比固定分片hash。
此种在批量插入时可能存在批量插入单事务插入多数据分片，增大事务一致性难度，效率高。四丶修改配置文件注意
注意：修改server.xml等配置文件时，一定要注意编码格式。如果增加注释或者增加中文注释，一定要确保编码格式和之前的编码一样，一般都为UTF-8，否则会出现以下异常
WrapperSimpleApp: Encountered an error running main: java.lang.ExceptionInInitializerError
INFO | jvm 1 | 2019/01/17 08:26:35 | java.lang.ExceptionInInitializerError
INFO | jvm 1 | 2019/01/17 08:26:35 | at io.mycat.MycatStartup.main(MycatStartup.java:53)
INFO | jvm 1 | 2019/01/17 08:26:35 | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
INFO | jvm 1 | 2019/01/17 08:26:35 | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
INFO | jvm 1 | 2019/01/17 08:26:35 | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
INFO | jvm 1 | 2019/01/17 08:26:35 | at java.lang.reflect.Method.invoke(Method.java:606)
INFO | jvm 1 | 2019/01/17 08:26:35 | at org.tanukisoftware.wrapper.WrapperSimpleApp.run(WrapperSimpleApp.java:240)
INFO | jvm 1 | 2019/01/17 08:26:35 | at java.lang.Thread.run(Thread.java:744)
INFO | jvm 1 | 2019/01/17 08:26:35 | Caused by: io.mycat.config.util.ConfigException: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.五丶应用指定某个分片
此规则是在运行阶段，由应用自主决定数据存到哪个分片上面，此方法为直接根据字符子串（必须是数字）计算分区号。配置规则如下，修改rule.xml
user_id
sharding-by-substring
0
2 127
8
0
配置说明：
上面 columns 标识将要分片的表字段，algorithm 分片函数
此方法为直接根据字符子串（必须是数字）计算分区号（由应用传递参数，显式指定分区号）。
例如 id=05-100000002
在此配置中代表根据 id 中从 startIndex=0，开始，截取 siz=2 位数字即 05，05 就是获取的分区，如果没传默认分配到 defaultPartition
注意：由于字符子串必须为数字，所以在存入该字段值且该字段为int或者long类型时，首字符不能为0，在配置截取规则时，也不能配置从0开始。
六丶使用EXPLAIN查看路由结果
Mycat提供的EXPLAIN语句并不是用来查看执行计划的，而是用来查看路由结果的，如果要查询真正的执行计划，拿到路由结果里面的sql语句，到具体的实例上面查看就行了。例如下面的语句，就被路由到了3个库
explain SELECT * from alan_test WHERE create_date > '2019-01-01 10:00:00' and create_date < '2019-01-12 18:00:00';EXPLAIN不支持查看insert语句并且使用Mycat生成id的sql语句。这个很好理解，因为无法路由。如果使用会报如下异常
insert sql using mycat seq,you must provide primaryKey value for explain七丶根据按日期（天）分片，在mycat中执行以下sql报错
INSERT INTO item(value,indate) VALUES(1,NOW());错误信息如下：
[Err] 1064 - columnValue:'2019-01-17 09:40:01' Please check if the format satisfied.将NOW()改为字符串可执行成功
八丶使用程序insert数据（以下过程是通过程序执行）
执行以下sql可以保存成功
insert into item (indate, value) values (?, ?)执行查询语句
select item0_.id as id1_0_, item0_.indate as indate2_0_, item0_.value as value3_0_ from item item0_再次执行第一步sql保存失败，错误信息如下：
Caused by: java.sql.SQLException: Connection is read-only. Queries leading to data modification are not allowed at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:957) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:896) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:885) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:860) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.PreparedStatement.executeUpdateInternal(PreparedStatement.java:2040) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.PreparedStatement.executeUpdateInternal(PreparedStatement.java:2009) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.PreparedStatement.executeLargeUpdate(PreparedStatement.java:5094) ~[mysql-connector-java-5.1.38.jar:5.1.38] at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:1994) ~[mysql-connector-java-5.1.38.jar:5.1.38] at org.hibernate.engine.jdbc.internal.ResultSetReturnImpl.executeUpdate(ResultSetReturnImpl.java:204) ~[hibernate-core-5.0.11.Final.jar:5.0.11.Final] ... 117 common frames omitted
9.一致性Hash分片
一致性 hash 预算有效解决了分布式数据的扩容问题。
10.按单月小时拆分
分片字段必须为字符串格式，否则分片不成功，默认存到第一个分片里面；
保存的时间格式必须为‘yyyymmddHH’格式，不能多也不能少字符，否则分片不成功，默认存到第一个分片里面；
11.范围求模分片
该分片方法，有个非常大的优势，就是对扩容，原数据无需迁移
time_id
rang-mod
partition-range-mod.txt
0
partition-range-mod.txt 文件中的内容：
#1451577600000 是 2016-01-01 00:00:00 的long值
#1467302399000 是 2016-06-30 23:59:59 的long值
#1483199999000 是 2016-12-31 26:59:59 的long值
1451577600000-1467302399000=2
1467302399001-1483199999000=2上面的一个条目[1451577600000-1467302399000=2]代表一个分片组，开始范围--结束范围=该分片组有多少个分片(DataNode)。也就是我给出的方案是，2016上半年的数据存入分片组1，分片组1包含（dn1,dn2）两个节点，2016年下半年的数据，存入分片组2,（dn3,dn4），那2017年的数据怎么办呢，我们可以增加分片组来实现，也可修改配置文件，使用原来的1,2,3,4这样来配置，实现扩容时，不需要对原数据进行迁移。
12.日期范围hash分片
思想与范围求模一致，当由于日期在取模会有数据集中问题，所以改成 hash 方法。
先根据日期分组，再根据时间 hash 使得短期内数据分布的更均匀
优点可以避免扩容时的数据迁移，又可以一定程度上避免范围分片的热点问题
要求日期格式尽量精确些，不然达不到局部均匀的目的
col_date
range-date-hash
2014-01-01 00:00:00
3
yyyy-MM-dd HH:mm:ss
6
-
- 参数说明：
-- sBeginDate 代表开始时间
-- sPartionDay 代表多少天分一个分片
-- groupPartionSize 代表分片组的大小
- 参数说明：
-
- 详细解释：从sBeginDate时间开始计算，每sPartionDay天的数据为一个分片组，每个分片组可以分布在groupPartionSize个分片上面。上面的例子最多可以有三天进行分片，如果超出则会抛出以下异常
Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Can't find a valid data node for specified node index :ALAN_TEST -> RANGE_DATE -> 2019-01-11 12:00:00 -> Index : 4
The error may involve com.mycat.test.model.AlanTest.insert-Inline
The error occurred while setting parameters13.冷热数据分片
根据日期查询日志数据 冷热数据分布 ，最近 n 个月的到实时交易库查询，超过 n 个月的按照 m 天分片。
create_time
sharding-by-hotdate
yyyy-MM-dd
10
30 132
参数说明：
- dataFormat：时间格式化。按照给定的格式对参数进行格式化，方便计算具体的时间段
- sLastDay:热数据的天数。从当前服务器时间开始计算，之前sLastDay天的数据和之后所有的数据，全部为热数据。
- sPartionDay:冷数据的分片天数（按照天数分片）。冷数据按照这个范围进行分片，例如上面的规则配置，今天是2019年1月21日，往前推10天为2019年1月12日，则2019年1月12日之前的数据为冷数据，该批冷数据的分片规则为30天一个分片，即2018-12-12至2019-01-11的数据放入第2个分片，2018-11-12至2018-12-11的数据放入第2个分片...以此类推，如果数据库分区不够，则在保存的时候会抛出以下异常
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Can't find a valid data node for specified node index :ALAN_TEST -> CREATE_DATE -> 2018-11-09 12:00:00 -> Index : 314.修改数据
mycat中分片表中的分片字段是不能更新的，而Jpa(底层hibernate)默认是更新全字段。所以会产生冲突，抛出如下异常
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Sharding column can't be updated ALAN_TEST->RANGE_DATE14.1解决方案
- 对实体类增加注解：@Column(updatable=false)
- 或者修改实体映射文件
15.多条件查询
多条件查询，AND语句连接，只要有一个条件为分片的字段，那么会按照分片表进行查询，和条件的顺序没有关系。
16.join语句
目前支持的规则为，只有当分片规则相同，并且两个表的数据分布到了同一个分片数据库中，那么根据join查询出来的数据是完整的。
如果分片规则相同，分片不同，查询出来的数据是不完整的，即左连接只能查询左表数据，由连接只能查询右表数据。 内连接和inner数据都不能查询出来。
17.数据库表名大小写
最好采用数据库表名小写，因为如果采用大写，逻辑库中生成的为小写表名，在分片库中生成的为大写表名，这样会导致mycat找不到表而发生错误