Tankilo
Tankilo

DBLE XA事务源码分析

XA 本身

关于xa本身不会过多介绍（因为我也是看别人写的啊），可以两个方向去搜索

  1. 【官方】xa规范官方文档和MySQL xa官方文档
  2. 【民间】别人已经学习过记录的博客
    可以阅读 https://www.jianshu.com/p/7003d58ea182 ，我就用这个文章学习的

拓扑结构

借用https://www.jianshu.com/p/7003d58ea182里的图片

image.png

在DBLE这样的分库分表中间里，拓扑结构其实是这样的。

image.png

DBLE Server进程是AP,TM是作为代码逻辑模块内嵌在DBLE Server进程内部的。DBLE Server使用MySQL xa事务sql语法去定义事务边界。RM是分库分表背后的MySQL。

MySQL XA SQL语法

https://dev.mysql.com/doc/refman/5.7/en/xa-statements.html

XA {START|BEGIN} xid [JOIN|RESUME]
XA END xid [SUSPEND [FOR MIGRATE]]
XA PREPARE xid
XA COMMIT xid [ONE PHASE]
XA ROLLBACK xid
XA RECOVER [CONVERT XID]
  • XA START和XA END用于确定一个分支事务的边界
  • XA PREPARE 和XA COMMIT，XA ROLLBACK用来做2PC
  • XA RECOVER是管控命令，用来查看一阶段prepare过但是还没二阶段commit或者rollback的分支事务

XA事务状态变迁图

借用https://www.jianshu.com/p/7003d58ea182里的XA事务状态变迁

image.png

这个图需要注意的地方是
（1）如果你xa start开启一个全局事务以后，你不走到两个终点，你是没法继续开启下一个xa事务的。即使你xa start后什么DML也没执行，你也需要按照xa end, xa rollback的流程这样结束事务，否则XAER_RMFAIL: The command cannot be executed when global transaction is in the %s state这样的报错就会来敲门。
（2）当分布式事务里只有一个RM，即分布式事务退化成本地事务了，xa commit one phase 时会将prepare和commit 一起完成。 DBLE里面并没有使用这种优化！

再次借用https://www.jianshu.com/p/7003d58ea182里的图，这样只有四种到最终状态的路径。

image.png

关注xa prepare

在xa prepare执行成功之前，如果你关闭到MySQL的链接，事务会被MySQL自动回滚的，不会留下任何副作用。

但是在xa prepare执行成功之后，你必须决定commit还是rollback，并且按照上图的流程图走到结束状态。因为xa prepare执行成功之后，事务信息将被持久化，不管连接断开还是MySQL Server重启，事务都将被重新恢复（通过information_schema.innodb_trx你可以查询到），这些事务占有的锁都会阻止其他会产生锁冲突的事务继续执行。这是和MySQL本地事务不同的地方。通过xa recover可以查询到这些xa prepare过的事务。

dble官方文档的图片中也说到这些

image.png

binlog

binlog会记录xa事务的日志


image.png

个人发现

  1. 只有xa prepare执行后才会记录binlog，但是会记录到此为止的所有语句。
  2. 没实际修改到数据的DML不会记录binlog

DBLE XA实现分析

https://actiontech.github.io/dble-docs-cn/2.Function/2.05_distribute_transaction.html
可以先阅读dble xa事务的文档，建立一些术语概念

分库分表中间件用XA事务 解决跨库事务的思路

分库分表中间件对用户来说就像一个MySQL，分库分表中间件自己面对多个MySQL。
用户发出的逻辑sql，会被中间件解析成多条到不同MySQL的物理sql。
在中间件不使用任何分布式事务解决方案的时候，只是在多个MySQL上执行本地事务，和用户自己连接到MySQL上执行本地事务一致。这种最大努力尝试提交的方式是无法保证数据一致性的。

无论中间件使用xa事务还是使用本地事务，都是分库分表中间件内部自己使用的事务，业务代码访问分库分表中间件仍然使用的是普通本地事务，这也是分库分表中间件一直在宣传的(有限)透明, 对业务代码侵入低。

这样去想，就知道分库分表中间件在用xa解决跨库事务的时候要做到的流程

业务侧连接到中间件执行本地事务的一般步骤

  • 显式事务
start transaction / begin
DML
commit/rollback
  • 隐式事务
set autocommit=0;
DML
commit/rollback
  • autocommit开启时的单条的跨库sql

autocommit为true的单条sql原子事务

delete from xa_test where id in (1,2,3);

分库分表中间件接受到用户本地事务命令的反应

以显式事务为例

  1. start transaction / begin
    中间件设置前端连接的事务开始标志
  2. DML
    逻辑DML可能翻译成一条或多条物理DML
    使用相关物理分库对应的后端连接，中间件执行xa start和物理DML语句
  3. commit/rollback
    使用相关物理分库对应的后端连接，执行xa end，xa preapre, xa commit或者xa rollback, 结束后清理前段连接的事务开始标志

源码结构

com.actiontech.dble.backend.mysql.nio.handler.transaction.xa

xa事务控制语句执行后的回调，负责推动流程进行
com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler
com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XARollbackNodesHandler
com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XAAutoCommitNodesHandler
com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XAAutoRollbackNodesHandler

com.actiontech.dble.backend.mysql.xa.TxState

XA事务状态定义，注意里面的定义既包括全局事务的状态，也包括分支事务的状态定义

  • ing结尾的就是sql执行刚开始
  • (start,end,prepare,commit,rollback)ed结尾的是明确执行成功（或者失败了也没副作用的场景）
  • ed结尾有UNCONNECT后缀的是网络错误导致执行结果未知的场景
  • FAILED就是执行失败状态的，按照前面说的，必须要重试变成commited或者rollbacked

com.actiontech.dble.backend.mysql.xa.recovery

事务日志，存本地还是zk，server宕机后启动的事务中断恢复逻辑

客户端连接DBLE Server代码示例

下面只是显式事务的例子，正常使用jdbc你应该不会这样写。
DBLE需要用户额外执行一个set xa=1，来告诉中间件接下来的sql，中间件需要使用xa事务。如果不执行set xa=1, dble将在每个MySQL上使用本地事务。
也可以通过在jdbc url里面增加参数(jdbc:mysql://127.0.0.1:8066?sessionVariables=xa=1)来避免显式执行set xa=1以减少侵入性。

Statement stmt = conn.createStatement();
stmt.execute("set xa = 1");
stmt.execute("begin");
try {
    stmt.executeUpdate("delete from xa_test;");
    stmt.execute("commit");
} catch (Exception e) {
    e.printStackTrace();
    stmt.execute("rollback");
} finally {
    conn.close();
}

详细执行流程

先上图来些印象，这个图可能不是太正规，我只是按照便于我理解的思路去画的。
主要画的是事务状态的流转

  • 全局事务状态 com.actiontech.dble.server.NonBlockingSession#xaState
  • 分支事务状态 com.actiontech.dble.backend.mysql.nio.MySQLConnection#xaStatus

显式事务 commit成功

image.png

显式事务 rollback成功

image.png

代码流程分析

1. set xa=1;

com.actiontech.dble.server.handler.SetHandler#handleSingleXA
如果之前xa事务开启标志没打开的话，这里打开会重新生成一次xid。
所以如果打开以后，只要不关闭再打开，dble的一个前端连接，一直使用的是相同的xid.

1.1 xid的生成

在MySQL官方文档中，关于xid的组成也有类似的说明：
xid: gtrid [, bqual [, formatID ]]

其中，bqual、formatID是可选的。解释如下：
gtrid : 是一个全局事务标识符(global transaction identifier)，
bqual:是一个分支限定符(branch qualifier)，如果没有提供bqual，那么默认值为空字符串''。
formatID：是一个数字，用于标记gtrid和bqual值的格式，这是一个无符号整数(unsigned integer)，也就是说，最小为0。如果没有提供formatID，那么其默认值为1。

com.actiontech.dble.DbleServer#genXaTxId
DBLE是只使用了gtrid的部分，感觉有些不规范。但是因为xid传到了MySQL的时候，MySQL只是个分支事务，所以每个分支事务的xid不同，只要TM自己知道哪些xid是一个全局事务里的就行了。按照规范来的好处我觉得是方便人工去判断某个分支事务是哪个全局事务，而不需要到TM的事务日志里去查询。

zk集群模式下的全局事务xid是

'Dble_Server.{myid}.{进程内原子自增数}'

实际在执行xa start的时候使用的分支事务xid是会在加上物理库的名称

'Dble_Server.{myid}.{进程内原子自增数}.{schema}'

保证了每个前端连接的xid在DBLE Server集群内是唯一的。

2. begin/start transaction

com.actiontech.dble.server.handler.BeginHandler#handle
begin/start transaction是在单次事务里关闭autocommit模式，这意味着，在本地事务执行结束后，事务前的autocommit还要被恢复回来。后面的细节。

3. DML

  • com.actiontech.dble.backend.mysql.nio.MySQLConnection#synAndDoExecute
    回调函数是com.actiontech.dble.backend.mysql.nio.handler.SingleNodeHandler
    对应用户本地事务中某条不跨库的sql
set xa=1;
begin;
insert into xa_test (id) values (1);
insert into xa_test (id) values (2);
commit;
  • com.actiontech.dble.backend.mysql.nio.MySQLConnection#synAndDoExecuteMultiNode
    回调函数是com.actiontech.dble.backend.mysql.nio.handler.MultiNodeQueryHandler
    用户本地事务中某条跨库的sql
set xa=1;
begin;
insert into xa_test (id) values (1,2);
commit;

这两个方法需要关注com.actiontech.dble.backend.mysql.nio.MySQLConnection.StatusSync这个类。
除了DML本身，dble会把事务控制语句，和set autocommit这些语句拼在DML前面，然后在一次请求里发送给MySQL。

XA START 'Dble_Server.server_01.791.db2';INSERT INTO xa_test
VALUES (1);

需要注意，这样拼接多个SQL一起发过去的时候，如果中间某个sql出错，后续sql的响应是不会收到的。MultiNodeQueryHandler#errorResponse的处理是不当的，会导致程会话hang住，详见我提的issue https://github.com/actiontech/dble/issues/1164

4. 显式的commit或者rollback

com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler
com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XARollbackNodesHandler

回调函数需要关注分布式系统调用的三态

  • 事务控制语句执行结果未知
    ResponseHandler#connectionError
    ResponseHandler#connectionClose

  • 事务控制语句执行明确失败
    ResponseHandler#errorResponse

  • 事务控制语句执行明确成功
    ResponseHandler#okResponse

这里我并不想仔细分析，你可以看我上面的事务状态流程图，也可以理解。自己调试一遍才对状态流转有个感受。

4.1 handler的复用

一般来说dble里面回调函数是每次执行sql时创建一个对象，执行完就释放了。回调函数只会被使用一次。
但是XACommitNodesHandler和XARollbackNodesHandler是被多次复用的，因为在用户执行commit或者rollback后，dble需要执行多次sql，例如xa end,xa prepare,xa commit。

handler的复用需要仔细的清除上次sql执行遗留的状态，否则可能会影响下次xa事务的执行，详见我提的issue https://github.com/actiontech/dble/issues/1156 ,PS: issue提到的问题是我自己解决前面问题后碰到的，正常代码可能没有场景复现，但是这里确实是一个代码逻辑问题。

4.2 事务控制语句所有节点全部发送完才开始处理响应

对于某个流程控制语句，例如xa end xid这种，必须所有MySQL都发送完成后，回调函数才能处理响应。
发送时候是遍历所有分支事务去发送语句的，但是先收到响应的人必须等所有人都发送完成后，才能开始处理响应。
通过在XACommitNodesHandler#waitUntilSendFinish和XARollbackNodesHandler#waitUntilSendFinish上面阻塞实现的。

我在测试某个【从DBLE迁移XA功能】的MyCAT分支代码时发现, 如果只迁移DBLE XA部分本身的逻辑，DBLE的发送细节会造成一些危险。在遍历发送XA控制语句结束前，如果后端连接出现网络断开，io.mycat.backend.mysql.nio.MySQLConnection.close会在发送线程里触发回调函数。因为所有XA事务控制语句 全部发送完毕才会调用Condition#signalAll，所以发送线程卡死在回调函数的waitUntilSendFinish方法上。

DBLE里面关闭连接是异步调用回调函数的（com.actiontech.dble.backend.mysql.nio.MySQLConnection#closeResponseHandler），所以没有MyCAT里面的这个卡死问题。

image.png

卡住的线程堆栈如下

"BusinessExecutor6@3827" daemon prio=5 tid=0x47 nid=NA waiting
  java.lang.Thread.State: WAITING
      at sun.misc.Unsafe.park(Unsafe.java:-1)
      at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)
      at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.waitUntilSendFinish(XACommitNodesHandler.java:515)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.connectionClose(XACommitNodesHandler.java:377)
      at io.mycat.backend.mysql.nio.MySQLConnection.close(MySQLConnection.java:611)
      at io.mycat.net.NIOSocketWR.doNextWriteCheck(NIOSocketWR.java:60)
      at io.mycat.net.AbstractConnection.write(AbstractConnection.java:454)
      at io.mycat.net.mysql.CommandPacket.write(CommandPacket.java:122)
      at io.mycat.backend.mysql.nio.MySQLConnection.sendQueryCmd(MySQLConnection.java:308)
      at io.mycat.backend.mysql.nio.MySQLConnection.execCmd(MySQLConnection.java:665)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.endPhase(XACommitNodesHandler.java:196)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.executeCommit(XACommitNodesHandler.java:128)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.commit0(XACommitNodesHandler.java:91)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler.access$000(XACommitNodesHandler.java:31)
      at io.mycat.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler$1.run(XACommitNodesHandler.java:59)
      at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
      at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
      at java.lang.Thread.run(Thread.java:745)
4.3 出错处理

（1）丢弃后端连接
前面说过xa prepare执行成功之前，丢弃后端连接都可以让MySQL自动回滚事务，下面回调函数方法大多这样处理的。
MultiNodeQueryHandler#errorResponse
XACommitNodesHandler#errorResponse
XARollbackNodesHandler#errorResponse

但是个人感觉MultiNodeQueryHandler#errorResponse里面，如果DML执行报错的话，是否不用丢弃后端连接？执行XA END和XA ROLLBACK, 可以保留一个后端连接。
（2）重新获取后端连接
xa prepare以及其后阶段的事务控制语句，执行时出现网络断开的时候，后端连接已经不可用了，但是事务语句可能会执行成功，只是DBLE Server没有接收到响应，所以必须重新获取一个后端连接去做某些操作，rollback或者明确事务结果。
这里刷新调用的是com.actiontech.dble.server.NonBlockingSession#freshConn

需要注意的是，不只是老连接关闭的场景下回走到NonBlockingSession#freshConn，老的连接没关闭的时候也会使用NonBlockingSession#freshConn。而NonBlockingSession#freshConn会用新的链接替换老连接在com.actiontech.dble.server.NonBlockingSession#target里的键值对，session本身只会清理NonBlockingSession#target里的连接，如果freshConn的时候不释放老的链接，可能会造成连接泄露。从单独使用NonBlockingSession#freshConn替换连接的语义上来说，freshConn方法可以直接把老的链接给释放掉。详见https://github.com/actiontech/dble/issues/1158

（3）xa prepare执行成功后 commit或者rollback的重试
前面说过xa prepare没执行成功前，关闭后端连接是个快刀斩乱麻的解决方式。
但当某个分支事务的xa prepare执行成功后，则必须成功执行xa rollback或者xa commit。
DBLE这里处理策略是，在一定次数内去重试xa commit或者xa rollback，如果成功了，用户不会有任何察觉，用户只是觉得commit或者rollback有点慢。
但是如果一定次数全部都没重试成功，那么dble会断开前端连接。这里是正确的处理方式，当用户通过jdbc执行commit或者rollback发生连接断开的时候，MySQL JDBC驱动会抛com.mysql.jdbc.SQLError#SQL_STATE_TRANSACTION_RESOLUTION_UNKNOWN差异，告知用户事务结果不明 Communications link failure during commit()/rollback(). Transaction resolution unknown.。
之后DBLE Server会后台无限重试commit或者rollback，确保事务一定成功commit或者rollback.

在manager端口通过show @@session.xa命令，可以查询到在进行提交和回滚的事务。
com.actiontech.dble.manager.response.ShowXASession#execute

理解全局事务状态和分支事务状态的关系

com.actiontech.dble.backend.mysql.xa.TxState里事务状态，有的是中间失败状态，有的是终点成功状态。

在dble代码里
只要有一个分支事务失败的时候，分支事务的失败状态也会设置到全局事务的状态上去。
所有分支事务都被设置成某个成功状态的时候，全局事务的状态才有可能会被设置成分支事务的成功的状态。

这样就知道NonBlockingSession#releaseExcept方法的逻辑了。

例如XACommitNodesHandler#cleanAndFeedback里面, 全局事务是个失败的状态，那么必然是从某个分支事务的失败状态来的，如果还有分支事务状态和全局事务状态一样，那么还有人没重试成功。

} else if (session.getXaState() == TxState.TX_COMMIT_FAILED_STATE) {
    // 还有分支事务和全局事务的失败状态一致的么
    MySQLConnection errConn = session.releaseExcept(TxState.TX_COMMIT_FAILED_STATE);
    if (errConn != null) {
        // 还有人没有执行成功，继续重试
        ......
    } else {
        // 大家都成功了，收工了
        ......
    }
}

不按套路出牌的用户如何处理

正常情况我们用jdbc事务的时候，如果DML执行出错，抛出异常，我们会在catch语句里进行rollback。
但是如果用户不仅不rollback，还去commit或者执行其他语句怎么办？

com.actiontech.dble.server.ServerConnection#txInterrupted 前端连接有个flag, 如果执行失败，需要回滚的时候，这个标志会被打开，下面再进行任何非rollback的语句都会将com.actiontech.dble.server.ServerConnection#txInterruptMsg的报错信息返回给用户。

image.png

image.png

显式XA事务 部分场景下的commit失败时会自动回滚

正常来说，XAAutoCommitNodesHandler和XAAutoRollbackNodesHandler只会被用在:
在autocommit为true,启用xa事务的前端连接（set xa=1）里，用户执行了一条跨库的sql，因为autocommit开启的时候，单条sql就是一个原子事务，所以这条sql执行过程里dble会走xa流程，进行自动提交或者自动回滚。

但是代码里的有的地方，在显式事务的时候，如果用户执行commit， DBLE Server执行xa prepare出现网络断开的时候，dble会自动回滚事务。

代码在com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler#nextParse，非TX_PREPARE_UNCONNECT_STATE的状态，由客户之后的rollback进行回滚。
TX_PREPARE_UNCONNECT_STATE的会自动进行回滚，之后客户执行rollback的时候，其实事务已经执行结束了，所以rollback只是个过场。

protected void nextParse() {
    if (this.isFail() && session.getXaState() != TxState.TX_PREPARE_UNCONNECT_STATE) {
        session.getSource().setTxInterrupt(error);
        session.getSource().write(sendData);
        LOGGER.info("nextParse failed:" + error);
    } else {
        commit();
    }
}

这里的自动回滚我一开始没有理解，加上https://github.com/actiontech/dble/issues/1170里面自动回滚没有把真实出错原因返回给用户，而是直接返回OK，所以我当时认为应该让客户自己rollback。

后来对比MySQL本地事务，MySQL什么时候会commit失败，MySQL commit失败的时候会不会自动进行回滚？如果sql全部执行成功，我百度不到MySQL commit会失败的场景。但是在中间件xa事务的时候，commit由很多步骤组成，所以commit会出现失败场景，在commit失败的时候，中间件进行回滚，这样看来是可以接受的。

事务执行过程中，前端连接被关闭

如果用户在执行xa事务的过程中，用kill connection id去强杀前端连接，DBLE Server应该如何处理?

如果会话执行过程中，用户和DBLE Server的链接发生断开如何处理? (例如jdbc statement timeout, jdbc connection 的socket timeout等，他们统统都是下面这样处理的。)

强杀和前他原因导致的前端连接关闭 分别在com.actiontech.dble.server.ServerConnection#killAndClose和com.actiontech.dble.server.ServerConnection#close

以ServerConnection#killAndClose为例

@Override
public void killAndClose(String reason) {
    if (session.getSource().isTxStart() && !session.cancelableStatusSet(NonBlockingSession.CANCEL_STATUS_CANCELING) &&
            session.getXaState() != null && session.getXaState() != TxState.TX_INITIALIZE_STATE) {
        //XA transaction in this phase(commit/rollback) close the front end and wait for the backend finished
        super.close(reason);
    } else {
        //not a xa transaction ,close it
        super.close(reason);
        session.kill();
    }
}

第一个判断逻辑
(1)session.getSource().isTxStart() // XA事务开启，显式begin/start transaction或者autocommit=false执行DML过
(2)session.getXaState() != null && session.getXaState() != TxState.TX_INITIALIZE_STATE //执行过DML
(3)!session.cancelableStatusSet(NonBlockingSession.CANCEL_STATUS_CANCELING)

注意上面的第(3)个条件，可以看下com.actiontech.dble.server.NonBlockingSession#cancelableStatusSet在什么时候会被调用

image.png

com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XARollbackNodesHandler#rollback

if (session.getXaState() != null &&
        session.getXaState() == TxState.TX_ENDED_STATE) {
    if (!session.cancelableStatusSet(NonBlockingSession.CANCEL_STATUS_COMMITTING)) {
        return;
    }
}

com.actiontech.dble.backend.mysql.nio.handler.transaction.xa.XACommitNodesHandler#commit

if (session.getXaState() != null && session.getXaState() == TxState.TX_ENDED_STATE) {
    if (!session.cancelableStatusSet(NonBlockingSession.CANCEL_STATUS_COMMITTING)) {
        return;
    }
}

这里达到的效果是是，只有全局事务在commit或者rollback过程中还没进入到xa end执行之后的阶段时（xa prepare，xa commit,xa rollback这些），才会在关闭前端连接的同时，也关闭后端连接。否则只会关闭前端连接，后端连接继续执行事务流程。

事务日志和事务恢复

事务日志

DBLE Server侧的事务日志非常重要，因为每个MySQL只是分支事务参与者，在DBLE Server宕机后，仅从MySQL侧是无法知道全局事务在二阶段时是决议提交还是决议回滚的。

事务日志主要记录了全局事务（CoordinatorLogEntry）和其所包含的分支事务（ParticipantLogEntry）的信息（这样xid就算随便起也没事，这里TM知道对应关系）
主要关注下事务状态

  • 事务日志中的全局事务状态 com.actiontech.dble.backend.mysql.xa.CoordinatorLogEntry#setTxState
  • 事务日志中的分支事务状态 com.actiontech.dble.backend.mysql.xa.ParticipantLogEntry#setTxStat

更新全局事务信息
(1) com.actiontech.dble.backend.mysql.xa.XAStateLog#saveXARecoveryLog(java.lang.String, com.actiontech.dble.backend.mysql.xa.TxState)

更新分支事务信息
(1) com.actiontech.dble.backend.mysql.xa.XAStateLog#saveXARecoveryLog(java.lang.String, com.actiontech.dble.backend.mysql.nio.MySQLConnection)
(2) com.actiontech.dble.backend.mysql.xa.XAStateLog#updateXARecoveryLog(java.lang.String, java.lang.String, int, java.lang.String, com.actiontech.dble.backend.mysql.xa.TxState)

刷盘时机

只有更新全局事务信息的时候才会刷盘，但并不是每次更新都会刷盘，大部分时候都只是修改内存里的值。
com.actiontech.dble.backend.mysql.xa.XAStateLog#saveXARecoveryLog(java.lang.String, com.actiontech.dble.backend.mysql.xa.TxState)

public static boolean saveXARecoveryLog(String xaTxId, TxState sessionState) {
    CoordinatorLogEntry coordinatorLogEntry = IN_MEMORY_REPOSITORY.get(xaTxId);
    coordinatorLogEntry.setTxState(sessionState);
    flushMemoryRepository(xaTxId, coordinatorLogEntry);
    if (DbleServer.getInstance().getConfig().getSystem().getUsePerformanceMode() == 1) {
        return true;
    }
    //will preparing, may success send but failed received,should be rollback
    if (sessionState == TxState.TX_PREPARING_STATE ||
            //will committing, may success send but failed received,should be commit agagin
            sessionState == TxState.TX_COMMITTING_STATE ||
            //will rollbacking, may success send but failed received,should be rollback agagin
            sessionState == TxState.TX_ROLLBACKING_STATE) {
        return writeCheckpoint(xaTxId);
    }
    return true;
}

这样的刷盘时机是可能导致一些问题，详见我提的issue https://github.com/actiontech/dble/issues/1192，主要是内存里的事务状态还没被刷到磁盘的时候server宕机，server启动恢复的时候需要顺着流程往前多判断一些事务状态，否则会漏恢复prepare过的事务，造成事务泄露。

事务恢复

server如果宕机了，DBLE Server在重启的时候会进行恢复。
PS: 其实觉得如果有server宕机了，在zk集群的时候，其他存活的节点能否接管进行事务恢复？

什么样的中断事务需要恢复？
本质上server宕机时，在显式/隐式 提交/回滚的时候，事务状态都是未知的，这样server这里只要根据事务流程进行到的阶段，除非数据一致性必须要commit的场景才重试xa commit全局事务（事务原子性），否则就进行全局事务回滚（释放锁之类的）。

准确说，任何一个分支事务只要xa prepare可能执行成功了，但是还没有明确成功执行过xa commit或者xa rollback的话，就要在启动的时候进行恢复。
这点从com.actiontech.dble.DbleServer#performXARecoveryLog里面可以看出来，先判断全局事务状态，决定全局事务是否需要提交或者回滚。这里的状态全部都是xa prepare可能执行成功过的。

// XA recovery log check
private void performXARecoveryLog() {
    ...........
    for (CoordinatorLogEntry coordinatorLogEntry : coordinatorLogEntries) {
        boolean needRollback = false;
        boolean needCommit = false;
        if (coordinatorLogEntry.getTxState() == TxState.TX_COMMIT_FAILED_STATE ||
                // will committing, may send but failed receiving, should commit agagin
                coordinatorLogEntry.getTxState() == TxState.TX_COMMITTING_STATE) {
            needCommit = true;
        } else if (coordinatorLogEntry.getTxState() == TxState.TX_ROLLBACK_FAILED_STATE ||
                //don't konw prepare is succeed or not ,should rollback
                coordinatorLogEntry.getTxState() == TxState.TX_PREPARE_UNCONNECT_STATE ||
                // will rollbacking, may send but failed receiving,should rollback again
                coordinatorLogEntry.getTxState() == TxState.TX_ROLLBACKING_STATE ||
                // will preparing, may send but failed receiving,should rollback again
                coordinatorLogEntry.getTxState() == TxState.TX_PREPARING_STATE) {
            needRollback = true;

        }
        if (needCommit || needRollback) {
            tryRecovery(coordinatorLogEntry, needCommit);
        }
    }
}

dble现在的判断逻辑是宁滥毋缺的，可能不需要回滚的场景，也会回滚的，但是绝对不会漏掉需要回滚但是没回滚的场景。

总结

会关注dble xa事务逻辑，还是和工作中被分配到测试dble xa事务代码有关系。
我按照自己的思想做了一个带错误注入的server内部xa流程自动化破坏性测试工具，测试出了一些问题，给dble提了issue和PR。制作测试工具，修复问题还是占了很多时间的，所以上面的分析如果有纰漏，请不吝赐教。

参考文章

  • MySQL XA 介绍
  • https://actiontech.github.io/dble-docs-cn/2.Function/2.05_distribute_transaction.html
  • https://dev.mysql.com/doc/refman/5.7/en/xa.html

你可能感兴趣的:(DBLE XA事务源码分析)

  • git常用命令笔记 咩酱-小羊 git笔记
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
  • 水泥质量纠纷案代理词 徐宝峰律师
    贵州领航建设有限公司诉贵州纳雍隆庆乌江水泥有限公司产品质量纠纷案代理词尊敬的审判长、审判员：贵州千里律师事务所接受被告贵州纳雍隆庆乌江水泥有限公司的委托，指派我担任其诉讼代理人，参加本案的诉讼活动。下面，我结合本案事实和相关法律规定发表如下代理意见，供合议庭评议案件时参考：原告应当举证证明其遭受的损失与被告生产的水泥质量的因果关系。首先水泥是一种粉状水硬性无机胶凝材料。加水搅拌后成浆体，能在空气中
  • 怎么起诉借钱不还的人？怎样起诉欠款不还的人？ 影子爱学习
    怎么起诉借钱不还的人？怎样起诉欠款不还的人？如果遇到难以解决的法律问题，我们可以匹配专业律师。例如：婚姻家庭（离婚纠纷）、刑事辩护、合同纠纷、债权债务、房产（继承）纠纷、交通事故、劳动争议、人身损害、公司相关法律事务（法律顾问）等咨询推荐手机/微信:15633770876【全国案件皆可】借钱不还起诉对方需要哪些资料起诉欠钱不还的，一般需要的材料包括以下这些：借据、收据、欠条、付款凭证等证据，以及向
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • MYSQL面试系列-04 king01299 面试mysql面试
    MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
  • 在Ubuntu中编译含有JSON的文件出现报错 芝麻糊76 Linuxkill_buglinuxubuntujson
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • 2022-1-12晨间日记 云卷云舒_a1b9
    起床：6：20就寝：23：00天气：阴心情：还好纪念日：法考主观体出分的日子叫我起床的不是闹钟是梦想年度目标及关键点：备考初级会计师；坚持运动，减重，阅读，学习本月重要成果：报名今日三只青蛙/番茄钟学习听课；瑜伽课；记账盘点成功日志-记录三五件有收获的事务1.收到鲜花2.早起做早餐3.引导孩子做计划财务检视支出严重超预算，检视一月的预算是否合理人际的投入同学联系；开卷有益-学习/读书/听书听初级课
  • 封侯非吾意但愿海波平 修源正本
    《韬钤深处》明·戚继光小筑暂高枕，忧时旧有盟。呼樽来揖客，挥麈坐谈兵。云护牙签满，星含宝剑横。封侯非我意，但愿海波平。嘉靖二十五年（1546年），戚继光负责管理登州卫所的屯田事务，当时山东沿海一带，遭受到倭寇的烧杀抢掠，戚继光有心杀贼，于是在一本兵书的空白处，写下了“封侯非我意，但愿海波平”的诗句。“养心莫若寡欲，至乐无如读书”是戚继光又一句名言。从这句话中可以得知戚继光对读书做学问的真知灼见。戚
  • wandb一直上传 解决方案 行业边缘的摸鱼怪 bug解决方案服务器linux服务器
    问题描述运行带有wandb的代码时，虽然可以实现及时同步非常方便，但当设置错参数或其他原因不得不使用ctrl+C停止运行时，总会出现wandb一直上传个不停的现象，给在同一终端重新运行新的代码造成困难。解决方案运行以下代码把wandb的进程直接杀死。psaux|grepwandb|grep-vgrep|awk'{print$2}'|xargskill-9参考链接[CLI]:Ctrl+Ctokill
  • LeetCode 53. Maximum Subarray 枯萎的海风 算法与OJC/C++leetcode
    1.题目描述Findthecontiguoussubarraywithinanarray(containingatleastonenumber)whichhasthelargestsum.Forexample,giventhearray[−2,1,−3,4,−1,2,1,−5,4],thecontiguoussubarray[4,−1,2,1]hasthelargestsum=6.clicktos
  • 8 冰鈊夢
    transition动画transform.box{width:200px;height:200px;background-color:gold;margin:50pxauto0;transition:all1sease;}.box:hover{transform:translate(50px,50px);}.box2{width:200px;height:200px;background-col
  • 【LeetCode】53. Maximum Subarray 墨染百城 LeetCodeleetcode
    问题描述问题链接：https://leetcode.com/problems/maximum-subarray/#/descriptionFindthecontiguoussubarraywithinanarray(containingatleastonenumber)whichhasthelargestsum.Forexample,giventhearray[-2,1,-3,4,-1,2,1,-
  • LeetCode 673. Number of Longest Increasing Subsequence (Java版; Meidum) littlehaes 字符串动态规划算法leetcode数据结构
    welcometomyblogLeetCode673.NumberofLongestIncreasingSubsequence(Java版;Meidum)题目描述Givenanunsortedarrayofintegers,findthenumberoflongestincreasingsubsequence.Example1:Input:[1,3,5,4,7]Output:2Explanatio
  • JVM源码分析之堆外内存完全解读 HeapDump性能社区
    概述广义的堆外内存说到堆外内存，那大家肯定想到堆内内存，这也是我们大家接触最多的，我们在jvm参数里通常设置-Xmx来指定我们的堆的最大值，不过这还不是我们理解的Java堆，-Xmx的值是新生代和老生代的和的最大值，我们在jvm参数里通常还会加一个参数-XX:MaxPermSize来指定持久代的最大值，那么我们认识的Java堆的最大值其实是-Xmx和-XX:MaxPermSize的总和，在分代算法
  • leetcode 11. 盛最多水的容器 Source_Chang
    leetcode核心思想：双指针，数字小的那个指针移动classSolution{public:intmaxArea(vector&height){intleft=0;intright=height.size()-1;intmaxArea=0;while(left
  • css2中的透明 琪33
    .out{width:400px;height:400px;background-color:blue;margin:100pxauto;border:1pxsolid#000;opacity:0.6;}.in{width:200px;height:200px;background-color:red;margin:100pxauto;}
  • MySQL事务隔离级别和MVCC 简书徐小耳
    MySQL事务隔离级别和MVCC参考：https://mp.weixin.qq.com/s/Jeg8656gGtkPteYWrG5_Nw1.MVCC只对读已提交和可重复的读有效果，而未提交读和串行则无意义。2.每条记录都会有trx_id(事务修改记录的id）和roll_pointer是一个指针指向旧版本的undo日志链表（row_id不是必必要的，如果有主键存在就不需要了）3.版本链的头结点就是记
  • Kubernetes 自定义控制器开发 IT回忆录 Kubeneteskubernetes
    目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
  • 分布式锁和spring事务管理 暴躁的鱼 锁及事务分布式springjava
    最近开发一个小程序遇到一个需求需要实现分布式事务管理业务需求用户在使用小程序的过程中可以查看景点，对景点地区或者城市标记是否想去，那么需要统计一个地点被标记的人数，以及记录某个用户对某个地点是否标记为想去，用两个表存储数据，一个地点表记录改地点被标记的次数，一个用户意向表记录某个用户对某个地点是否标记为想去。由于可能有多个用户同时标记一个地点，每个用户在前端点击想去按钮之后，后台接收到请求，从数据
  • 2022-8-16晨间日记 飞扬的雪ing
    今天是什么日子起床：7：30就寝：11：20天气：晴热心情：悲伤逆流成河纪念日：被恶意锁文第三天叫我起床的不是闹钟是梦想年度目标及关键点：好好吃饭好好睡觉好好学习，忘记所有悲伤本月重要成果：1.完成暑期各类学习任务2.减肥减肥减肥3.督促孩子们好好训练节目成功日志-记录三五件有收获的事务1.《疫情.怡情》依然被恶意锁文，幼儿级“晨间日记”则不会被锁，可悲可叹!敷衍至极的文章收获上百个赞，可喜可贺!
  • Kubernetes Ingress 控制器（Nginx）安装与使用教程 农优影
    KubernetesIngress控制器（Nginx）安装与使用教程kubernetes-ingressNGINXandNGINXPlusIngressControllersforKubernetes项目地址:https://gitcode.com/gh_mirrors/ku/kubernetes-ingress1.项目目录结构及介绍在nginxinc/kubernetes-ingress仓库中，
  • 【前端】vue 报错:The template root requires exactly one element 程序员-张师傅 前端前端vue.jsjavascript
    【前端】vue报错:Thetemplaterootrequiresexactlyoneelement在Vue.js中，当你遇到错误“Thetemplaterootrequiresexactlyoneelement”时，这通常意味着你的Vue组件的模板（template）根节点不是单一的元素。Vue要求每个组件的模板必须有一个根元素来包裹所有的子元素。这个错误通常出现在以下几种情况：模板中有多个并行
  • Golang Channel PandaSkr golang
    Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
  • MySQL日志 沉着冷静2024 MySQLmysql数据库
    MySQL日志文章目录MySQL日志MySQL三大日志binlog的三种格式redolog和binlog的区别和应用场景为什么崩溃恢复不用binlog而用redolog？redolog如何实现持久化redolog还能做什么？redolog的三种刷盘策略两阶段提交什么是？为什么？两阶段提交过程MySQL三大日志1.undologundolog是InnoDB存储引擎层的日志，实现了事务的原子性，主要用
  • PAT Advanced 1015. Reversible Primes (C语言实现) OliverLew
    我的PAT系列文章更新重心已移至Github，欢迎来看PAT题解的小伙伴请到GithubPages浏览最新内容。此处文章目前已更新至与GithubPages同步。欢迎star我的repo。题目Areversibleprimeinanynumbersystemisaprimewhose"reverse"inthatnumbersystemisalsoaprime.Forexampleinthedec
  • 2021-2-25晨间日记 野老说史
    今天是什么日子起床：6：12就寝：9：30天气：阴心情：好纪念日：叫我起床的不是闹钟是梦想年度目标及关键点：老有所为老有所依老有所养，老有所乐本月重要成果：网上授课今日三只青蛙/番茄钟成功日志-记录三五件有收获的事务继续上网课阅读背单词财务检视人际的投入开卷有益-学习/读书/听书人只有享不了的福，没有受不了的罪善养生者，先饥而食，先渴而饮，先困而眠健康与饮食今日步数：19063今日锻炼：10000
  • Rides实现分布式锁，保障数据一致性,Redisson分布式事务处理 朱杰jjj 缓存分布式
    分布式环境下分布式锁有三种方式：基于数据库分布式锁基于Redis分布式锁基于zk分布式锁本帖只介绍Redis分布式锁为什么需要用到分布式锁？在单机环境下一个服务中多个线程对同一个事物或数据资源进行操作时，可以通过添加加锁方式（synchronized和lock）来解决数据一致性的问题。但是如果出现多个服务的情况下，这时候我们在通过synchronized和lock的方式来加锁会出现问题，因为多个服
  • 数据库系统 第53节 数据库并发控制 hummhumm 数据库oraclepythonjavadatabasesql后端
    数据库并发控制是确保在多个用户或进程同时访问数据库时，数据的完整性和一致性得到维护的一种机制。并发控制技术主要分为两大类：乐观并发控制和悲观并发控制。下面将详细叙述这两种技术，以及多版本并发控制（MVCC），这是一种在数据库系统中广泛使用的并发控制方法。乐观并发控制(OptimisticConcurrencyControl,OCC)乐观并发控制的核心思想是假设事务之间的冲突发生的概率较低，因此它允
  • Spring的注解积累 yijiesuifeng spring注解
    用注解来向Spring容器注册Bean。   需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。 如：在base-package指明一个包    <context:component-sc
  • 传感器 百合不是茶 android传感器
    android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件   下面就以重力传感器为例;   1,在onCreate中获得传感器服务   private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
  • [光磁与探测]金吕玉衣的意义 comsci
          这是一个古代人的秘密:现在告诉大家       信不信由你们:       穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星       这就是为什么古代
  • 精简的反序打印某个数 沐刃青蛟 打印
    以前看到一些让求反序打印某个数的程序。 比如：输入123，输出321。   记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。   似乎最后是用到%和/方法解决的。   而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）   代码如下： long num, num1=0;
  • PHP：6种方法获取文件的扩展名 IT独行者 PHP扩展名
      PHP：6种方法获取文件的扩展名   1、字符串查找和截取的方法   1 $extension = substr ( strrchr ( $file ,  '.' ), 1); 2、字符串查找和截取的方法二   1 $extension = substr
  • 面试111 文强chu 面试
    1事务隔离级别有那些 ，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器 （一次） 4 过滤器和拦截器的区别 （频率也挺高） 5 final，finally final
  • XML的四种解析方式 小桔子 domjdomdom4jsax
    在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。 　　预 备 　　测试环境： 　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
  • wordpress中常见的操作 aichenglong 中文注册wordpress移除菜单
    1 wordpress中使用中文名注册解决办法   1)使用插件   2)修改wp源代码      进入到wp-include/formatting.php文件中找到       function sanitize_user( $username, $strict = false
  • 小飞飞学管理-1 alafqq 管理
    项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。 今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。 结合我自己经历写下心得 对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
  • IO输入输出部分探讨 百合不是茶 IO
     //文件处理  在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */   //1，运用File类对文件目录和属性进行操作   //在工程中线创建一个text.txt
  • getElementById的用法 bijian1013 element
            getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。        返回具有指定ID属性值的第一个对象的一个引用。        语法： &n
  • 励志经典语录 bijian1013 励志人生
    经典语录1:   哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
  • [MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
    MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。 本篇介绍MongoDB的切片(Sharding)   1.何时需要分片 &nbs
  • 【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
    1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
  • yum方式部署zabbix ronin47 yum方式部署zabbix
    安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
  • Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EEHibernate4
    今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码 在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
  • Netty源码学习-FrameDecoder bylijinnan javanetty
    Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
  • SQL行列转换方法 chicony 行列转换
    create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
  • 中文编码测试 ctrain 编码
    循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
  • hive 客户端查询报堆内存溢出解决方法 daizj hive堆内存溢出
    hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   问题原因： hive堆内存默认为256M   这个问题的解决方法为： 修改/us
  • 人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
      卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，  懒到事情都交给机器去做 ，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。   在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。 不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
  • Eclipse简单有用的配置 dcj3sjt126com eclipse
    1、显示行号  Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers   2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
  • 在tomcat上面安装solr4.8.0全过程 eksliang Solrsolr4.0后的版本安装solr4.8.0安装
    转载请出自出处： http://eksliang.iteye.com/blog/2096478       首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了         第一步：当然是下载去官网上下载最新的solr版本，下载地址
  • Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞androidAPP分析
    点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。  0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。  针对序列化对象而出现的拒绝服务主要
  • HoverTree项目已经实现分层 hvt 编程.netWebC#ASP.ENT
    HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
  • Google Maps API v3: Remove Markers 移除标记 天梯梦 google maps api
    Simply do the following:   I. Declare a global variable: var markersArray = [];   II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
  • jQuery选择器总结 lq38366 jquery选择器
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
  • 基础数据结构和算法六：Quick sort sunwinner AlgorithmQuicksort
    Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
  • 如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作 刘星宇 htmlWeb
    今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。 让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。 方法如下：
  • Mybatis实用Mapper SQL汇总示例 wdmcygah sqlmysqlmybatis实用
    Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。 不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他