作者： realcp1018 原文来源： https://tidb.net/blog/2056c25c
一、背景简介
在日常使用TiDB的场景中经常会遇到此类问题：
建表时未使用分区表，导致数据删除困难。
想要快速的批量更新数据，但是每次都需要编写繁杂的跑批任务。
想要在数亿、数十亿的大表中删除几千完或几百万数据但是却总是遇到“事务大小超出限制”的错误。
为解决此类问题我编写了一个通用的删除工具，用于处理此类“事务大小超出限制”的错误。 可类比mysql的oak-chunk-update工具。 这个工具在我司生产环境运行两年以来，高效的删除了大量数据，目前已趋于完善，因此写笔记分享出来。
项目地址： https://github.com/realcp1018/tidb-toolkit
二、环境要求
git clone https://github.com/realcp1018/tidb-toolkit.git
运行 "python3 -m pip install -r requirements.txt" 安装python3库依赖.
将项目目录添加至$PYTHONPATH：
# 假设项目被clone至/data目录下：
export PYTHONPATH=$PYTHONPATH:/data/tidb-toolkit
三、使用示例
1. 使用tk_dml_byid对表执行 "delete from where ..." (表必须未设置auto_random或shard_rowid_bits，如果误在此类表上运行也关系，只是效率极底)
# 编辑 tidb.toml 的 [basic], [dml] 和 [dml.by_id] 部分，其他部分的设置不影响本次运行
db = "test"
table = "tb1kb_1"
sql = "delete from tb1kb_1 where is_active=0;"
execute = false
# 运行:
python3 scripts/tk_dml_byid.py -f conf/tidb.toml -l tb1kb_1.log
# execute = false: 设置此项表示不实际进行数据删除，仅打印一个拆分后的示例SQL，适用于比较谨慎的场景
# 确保输出的拆分SQL符合预期，然后可以修改为true实际运行
2. 使用tk_dml_by_time对表执行 "delete from where ..." (表已设置auto_random或shard_rowid_bits，或者仅仅想根据时间列删除极少部分数据)
# 编辑 tidb.toml 的 [basic], [dml] and [dml.by_time] 部分
db = "test"
table = "tb1kb_1"
sql = "delete from tb1kb_1 where is_active=0;"
# 假设 create_time 类型为 int(时间精度为ms)
split_column = "create_time"
split_column_precision = 3
split_interval = 3600
start_time = "2021-01-01 00:00:00"
end_time = "2021-12-31 00:00:00"
execute = false
# 运行:
python3 scripts/tk_dml_by_time.py -f conf/tidb.toml -l tb1kb_1.log
3. 使用tk_chunk_update对表执行 "delete from where ..." (可覆盖上述两种场景，无需考虑表是否设置auto_random或shard_rowid_bits)
# 编辑 tidb.toml 的 [basic], [dml] 和 [dml.chunk_update] 部分
db = "test"
table = "tb1kb_1"
sql = "delete from tb1kb_1 where is_active=0;"
execute = false
# 运行:
python3 scripts/tk_chunk_update.py -f conf/tidb.toml -l tb1kb_1.log
# execute = false
# 确保输出的拆分SQL符合预期，然后可以修改为true实际运行
四、常见问题
1. 支持哪些类型的SQL？
工具支持以下几种SQL类型：
1.delete from where <...>
2.update set <...> where <...>
3.insert into select <...> from where <...>
非DML类型会直接报错退出。
2. 如何在tk_chunk_update 和 tk_dml_by_id, tk_dml_by_time之间做出选择？
tk_chunk_update无需人为进行表的类型判断，适用性高，只要是tidb的表都可以使用。 相比tk_dml_by_id可以避免大量无效rowid扫描，相比tk_dml_by_time则单条SQL执行更快。
但tk_chunk_update有极底概率遇到性能衰退的情况：如果表包含大量空region(或gc缓慢)，那么在执行日志中你会看到如下记录：
ConnectionPool Monitor: Size 99 以及: chunk xxx Done [split_time=0:00:00.523525] [duration=0:00:00.229860] [rows=1000] [sql=...]
可以看到 split_time 大于 duration,这意味着chunk的生产速度慢于消费速度, 而tk_chunk_update的要点之一是就是需要保证chunk的生产速度远大于消费速度。
其原理如下 , 首先ChunkSpliter.split()通过如下查询条件获取chunk的右边界：
select max(rowid) from
(select rowid from table_name where rowid > current_rowid order by rowid limit 0,chunk_size) t
并以current_rowid作为chunk左边界，然后生成拆分后的SQL，输出一个Chunk同时将current_rowid推进至chunk右边界以便下一个chunk拆分使用，而split()是一个python生成器。
然后Executor遍历split()生成的chunk，调用其execute方法并将其作为一个future放入ThreadPoolExecutor中(执行并发度为max_workers)。
这个机制要求chunk的生成速度大于消费速度，否则会衰退为单线程执行，但是为目前了规避by_id的缺点又必须采用这种动态生成的方式，因此当你遇到此类性能衰退时, 请使用 tk_dml_by_id/tk_dml_by_time.
3. 关于 tk_dml_byid.py 和 tk_dml_bytime.py的拆分方式
By id:
默认使用rowid作为拆分列(如官网所示，数字类型主键就是rowid，其他情况则有一个内置的_tidb_rowid作为rowid)
如果表设置了( SHARD_ROW_ID_BITS 或 auto_random ), 那么建议使用 tk_dml_bytime 或 tk_chunk_update.
SQL的拆分方式很简单，直接按rowid累加batch_size拆分为无数个batch(例如 rowid >= 1 and rowid < 1000 ), 并发执行度为 .
By time:
与by id的拆分方式相似，但是是通过时间列拆分为无数个task，拆分单位为配置文件中的 split_interval
执行方式与by id略有不同，因为按时间列拆分后的task内部可能包含的记录数扔超出事务限制，因此实际上在task内部会以batch_size为单位顺序执行同一条分页SQL直到影响行数为0
通过 grep Finished | tail 可以看到有多少task已完成
3. 关于 tk_chunk_update.py 的执行进度查看
通过如下命令可以查看当前任务的执行进度：
tailf |grep "write savepoint"
4. 关于 savepoint 和失败重试
tk_dml_by_id.py 和 tk_chunk_update.py 在执行过程中会生产检查点(如未设置savepoint配置则会生成一个默认的检查点文件)，检查点表示在这之前已经处理完毕的rowid。 无论是异常退出还是主动终止，再次运行时如果检查点文件存在则会跳过已处理的rowid.tk_dml_by_time.py 则 不会 产生检查点，如果任务失败建议查看执行日志手动设置一个start_time然后重跑，通常来说只需要选一个相对较早的时间即可。
你可能感兴趣的:(tidb)
Indy TIDHttp与TIdMultiPartFormDataStream “"Range check error"解决
阆遤
Delphi & Com integer 报表 session 工具 file
这两天在用indyhttp做一个数据上传式工具，在使用TIdMultiPartFormDataStream时，老是了现“Rangecheckerror“错误，一开始以为是自己代码中有漏洞，经２个小时调试，排除自身代码问题并DEBUG跟踪INDY源代码后，发现TIdMultiPartFormDataStream.IdRead中：CopyTIdBytes(FInternalBuffer,0,VBuff
Flink Cdc TiDB详解
24k小善
flink 大数据 java
1.什么是FlinkTiDBCDC？简单说就是用Flink实时抓取TiDB数据库的数据变化（比如新增、修改、删除），并将这些变化数据以流的形式处理，用于实时分析、同步到其他系统等场景。TiDB本身是分布式数据库，而Flink是流处理引擎，两者的结合适合需要高吞吐、低延迟的大规模数据处理场景[7][8]。2.底层原理TiDB侧：通过TiCDC组件（TiDB的变更数据捕获工具）捕获数据变更，类似MyS
SelectDB 实时分析性能突出，宝舵成本锐减与性能显著提升的双赢之旅
SelectDB技术团队
大数据 物联网 doris selectdb 人工智能 电商场景 数据分析
BOCDOP宝舵早期基于TiDB构建实时数仓，随着数据量增长，在数据处理效率、OLAP能力扩展、功能支持、成本与资源方面存在一定优化空间。为提升数据分析能力并优化成本，宝舵引入SelectDB，达成写入速度提升10倍，成本直降30%的显著成效。本文转录自高瑞军（宝尊科技高级架构师）在DorisSummitAsia2024上的演讲，经编辑整理。业务背景宝尊集团创立于2007年，是中国品牌电商服务行业
TiDB删除大量数据需要注意什么
大0马浓
mysql 数据库 tidb
在TiDB中删除大量数据时，需谨慎处理以避免性能下降、事务冲突或存储空间未及时释放等问题。以下是关键注意事项和优化建议：---1.避免大事务-问题：直接执行`DELETEFROMtable`会导致超大事务，可能触发TiDB事务限制（默认单事务限制为`txn-total-size-limit=100MB`），导致失败或性能问题。-解决方案：-分批次删除：使用`LIMIT`和循环分批删除，控制每批数据
这给我干哪来了，MySQL都9.2了
赵师的工作日
mysql 数据库
作者：赵师的工作日（赵明中）现役OracleACE、MySQL8.0ocp、TiDBPCTA\PCTP、ElasticsearchCertifiedEngineer微信号：mzzhao23微信公众号：赵师的工作日墨天轮社区：赵师的工作日CSND：赵师的工作日MySQL9.2都来了确实有时间没上MySQL官网（www.mysql.com）,MySQL都出9.2版本了。现在业内大头都是8.x版本，少部
MySQL-关于如何保存“大数据”
赵师的工作日
mysql 大数据 数据库
作者：赵师的工作日（赵明中）现役OracleACE、MySQL8.0ocp、TiDBPCTA\PCTP、ElasticsearchCertifiedEngineer微信号：mzzhao23微信公众号：赵师的工作日墨天轮社区：赵师的工作日CSND：赵师的工作日数据库的种类有很多，各类数据库充分发挥各自的优势从而保证业务稳定运行，mysql轻量级、关键数据，redis缓存、快，ES搜索，Mongodb
面试基础--分布式一致性算法深度解析
WeiLai1112
后端 面试 分布式 算法 java 后端 架构 spring boot
分布式一致性算法深度解析：RaftvsPaxos原理、实践与源码实现引言在分布式系统设计中，一致性算法是确保多节点数据同步和系统高可用的核心技术。Raft和Paxos作为两种最经典的分布式一致性算法，支撑了Etcd、ZooKeeper、TiDB等众多核心基础设施。本文将从算法原理、工程实践、源码实现三个维度对比Raft与Paxos，结合大厂真实案例，为分布式系统设计提供选型与实现指南。1.分布式一
TiDB系列之：TiCDC使用Changefeed完成数据同步任务
快乐骑行^_^
大数据 日常分享专栏 TiDB系列 TiCDC Changefeed 完成数据同步任务
TiDB系列之：TiCDC使用Changefeed完成数据同步任务一、Changefeed二、Changefeed状态流转三、操作Changefeed四、cdccli管理同步任务1.创建同步任务2.查询同步任务列表3.查询特定同步任务4.停止同步任务5.恢复同步任务6.删除同步任务7.更新同步任务配置8.管理同步子任务处理单元(processor)9.同步启用了TiDB新的Collation框架的
PingCAP 连续两年入选 Gartner 云数据库管理系统魔力象限“荣誉提及”
TiDB_PingCAP
数据库 tidb 开源 分布式
近日，全球IT市场研究和咨询公司Gartner®发布最新报告《MagicQuadrant™forCloudDatabaseManagementSystems》（云数据库管理系统魔力象限），PingCAP因其企业级开源分布式数据库TiDB在全球市场的表现，连续两年入选“荣誉提及”。报告深入分析了云数据库的发展趋势和市场需求，聚焦于“愿景完整性”和“执行能力”两大关键维度，通过15项核心指标对全球领先
海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践
TiDB_PingCAP
tidb htap 分布式
导读安徽省住房公积金监管服务平台通过整合全省17家公积金中心的数据，致力于实现数据共享、规范化管理与高效数据分析。为了应对海量数据处理需求，安徽省选择TiDB作为底层数据库，利用其分布式架构和HTAP能力，实现了快速的数据分析与治理。TiDB的高效性能提升了平台的数据处理能力和查询效率，为全省公积金数据的统一管理与共享提供了有力支持。本文将详细介绍TiDB在平台中的应用与实际效果，以及TiDB如何
什么是TiDB，什么是分布式数据库？它和 MySQL 比优缺点是什么？
蒂法就是我
数据库 tidb 分布式
TiDB简介与分布式数据库概念一、什么是分布式数据库？分布式数据库是一种将数据分散存储在多个物理节点上的数据库系统，通过分布式架构实现水平扩展、高可用性和容错能力。核心特点包括：数据分片（Sharding）：将数据划分为多个分片，分布到不同节点。多副本冗余：每个分片存储多个副本，确保数据安全与高可用。分布式事务：支持跨节点的ACID事务（如两阶段提交、Percolator协议）。透明访问：用户无需
TiDB系列之：使用Flink TiDB CDC Connector采集数据
快乐骑行^_^
日常分享专栏 TiDB系列 使用Flink TiDB CDC Connector采集数据
TiDB系列之：使用FlinkTiDBCDCConnector采集数据一、依赖项二、Maven依赖三、SQLClientJAR四、如何创建TiDBCDC表五、连接器选项六、可用元数据七、特征一次性处理启动阅读位置多线程读取DataStreamSource八、数据类型映射TiDBCDC连接器允许从TiDB数据库读取快照数据和增量数据。本文档介绍如何设置TiDBCDC连接器以对TiDB数据库运行SQL
tidb和mysql性能优化有哪些区别
大0马浓
tidb mysql
TiDB和MySQL在性能优化上的区别主要体现在架构设计、扩展方式、优化手段和适用场景等方面。以下是主要区别的总结：1.架构设计差异MySQL：单机架构（或主从复制架构），存储和计算耦合。-依赖本地磁盘或集中式存储（如SAN/NAS）。-优化集中在单机资源（CPU、内存、磁盘I/O）的合理利用。TiDB：-分布式架构，存储（TiKV）、计算（TiDBServer）、调度（PD）分离。-数据自动分片
或许我们都被分库分表约束了思维
京东云开发者
京东云
作者：张俊杰概述这篇文章没什么太多的干货，纯纯是一篇讨论和思考帖。从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。国内的项目好像很多都聚焦于分库分表的概念，包括很多的数据库团队都在尝试这个概念的落地和沉溺于性能的跑分。最近我在预览MySQL官方，看到了Partitioning的概念，而且占据了
Sharding-Sphere vs Mycat vs TiDB
木一番
分库分表 TiDB
强烈推荐TiDB，这是未来大中型公司的数据库，一定的NewSQL优点：传统数据库面向磁盘设计，基于内存的存储管理及并发控制，NewSQL数据库那般高效利用中间件模式SQL解析、执行计划优化等在中间件与数据库中重复工作，效率相比较低分布式事务相比于XA进行了优化，性能更高基于paxos（或Raft）协议的多副本，实现了真正的高可用、高可靠天生支持数据分片，数据的迁移、扩容都是自动化的，大大减轻了DB
Java连接TIDB数据库出现通讯失败的原因分析
奕辰杰
java tidb 数据库
在实际项目使用中，java项目连接的是TIDB数据库，TIDB是使用了3个服务节点，生产环境时不时的出现如下错误：Thelastpacketsentsuccessfullytotheserverwas3600000millisecondsago.Thedriverhasnotreceivedanypacketsfromtheserver.com.mysql.jdbc.exceptions.jdbc
TIDB数据库的基本介绍
奕辰杰
tidb 数据库
一、基础概念：1、TiDB是PingCAP公司自主设计、研发的国产开源分布式关系型数据库，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。TiDB适合高可用、强一致要求较高、数据规模较大等各种应用场景。官方文档非常详细齐全。官方网站：https://cn.pingcap.com/官方文档：https://docs.ping
或许我们都被分库分表约束了思维
程序员
作者：张俊杰##**概述**这篇文章没什么太多的干货，纯纯是一篇讨论和思考帖。从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Polardb、StarDB等等。国内的项目好像很多都聚焦于分库分表的概念，包括很多的数据库团队都在尝试这个概念的落地和沉溺于性能的跑分。最近我在预览MySQL官方，看到了Partitioning的概念
tidb实时同步到mysql
数据库
客户要求实时同步表的数据到mysql，但这个表在tidb。测试直接通过tidbcdc写入到mysql，有些字段是null，所以中间加了一个kafka实现客户库中创建表CREATETABLEtb_1(idbigintprimarykey,cidbigint,gidbigint,feeDECIMAL(10,2),created_attimestamp,typesmallint,remarkstring
分布式存储--大规模订单架构设计
梦江河
大数据 分布式 订单系统 大数据
架构一：MySQL+HBase+ElasticsearchMySQL存储实时订单，HBase存储历史订单，Elasticsearch实现订单的多维度搜索。架构复杂，运维维护成本高架构二：MySQL+TablestoreTablestore其实是HBase+Elasticsearch，既能存储大量数据，也能全文搜索架构三：分布式数据库TiDB+全文搜索功能参考文章
记一次简单的Oracle离线数据迁移至TiDB过程
qq_43479892
python oracle 数据库 database 计算机
Python微信订餐小程序课程视频https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475背景最近在支持一个从Oracle转TiDB的项目，为方便应用端兼容性测试需要把Oracle测试环境的库表结构和数据同步到TiDB中，由于数据量并不大，所以怎么方便怎么来，这里
XXL-MQ v1.3.0 ｜ 分布式消息队列
消息队列消息中间件任务调度
ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB"两种存储方式，前者支持千万级消息堆积，后者支持百亿级别消息堆积（TIDB理论上无上限）；3、【优化】消费者批量注册发现，提高注册发现性能；4、【优化】消息流转日志格式优化，提升日志可读性；5、【
XXL-MQ v1.3.0 ｜ 分布式消息队列
消息队列消息中间件任务调度
ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB"两种存储方式，前者支持千万级消息堆积，后者支持百亿级别消息堆积（TIDB理论上无上限）；3、【优化】消费者批量注册发现，提高注册发现性能；4、【优化】消息流转日志格式优化，提升日志可读性；5、【
【TiDB系列文章】PD（Placement Driver）
学弟Craze
TiDB tidb 数据库
引言在分布式数据库的生态系统中，PD扮演着至关重要的角色。作为TiDB的核心组件之一，PD负责数据的放置和调度，确保数据的高可用性和负载均衡。本文将详细介绍PD的功能、架构以及它在TiDB中的作用。PD概述PD是TiDB分布式数据库中的元信息管理组件，负责存储集群的元信息和调度数据。它相当于分布式数据库的“大脑”，负责整个集群的数据分布和负载均衡。PD通过合理的调度策略，确保数据均匀分布在集群中，
PingCAP TiDB数据库专员PCTA认证笔记
handsomestWei
数据库 tidb 数据库
tidb-pcta-notePingCAPTiDB数据库专员PCTA认证笔记相关链接官网认证中心TiDB社区体系架构数据库设计存算分离。三层架构：PD（PlacementDriver）负责集群元信息管理和调度，TiDB负责sql计算，TiKV负责存储存储引擎1、基于LSM-Tree的RocksDB引擎，比B-Tree写入更快，用空间置换写入延迟2、数据冗余副本：multiraft-group副本机
TiDB架构分析
梦江河
大数据 tidb 数据库
TiDB有三部分组成：存储层：TiKV计算层：TiDB调度层：PD（PlaceDriver）存储元数据存储层TiKV1）通过range分区算法将数据分成一个个region；2）每个region默认有3个副本，一个leader副本和两个follower副本，这些副本分布在不同节点上，通过raft协议保证数据一致性；3）如果副本数量发生了变化，pd会及时感知，做出应对措施；计算层TiDB将SQL请求映
TiDB架构分析以及总结
微 亻言
数据库
1TiDB1.1产品简介TiDB是PingCAP公司的自主设计、研发开源的分布式开源数据库，是一款支持在线处理与在线分析处理的融合性分布式数据库产品，具备水平扩容，金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(OnlineTransactionalProcessing)、OLAP(OnlineAnalytica
亿级表优化「TIDB 分区篇」，值得收藏
彭亚川Allen
数据库 oracle
这是亿级别表优化的第二篇，对第一篇感兴趣的可以看看。亿级表优化思路之SQL篇-掘金写作背景距上次写亿级别优化已经有一个多月了，这段时间也没闲着，Q1对模型做了梳理，重构了这部分业务，主要做了下面这些优化数据模型优化（终于狠下心做了减法，去掉了2个模型）。做了分区表，数据日增量非常快，单表遇到读写瓶颈。复杂SQL优化，上次优化遗留的顽疾。数据清洗（流失数据、已删除数据备份归档）。所以，我还是总结这段
TiDB 6.0 新特性
m0_75231205
tidb
PlacementRulesinSQL：提供SQL接口，利用SQL接口，去精细化数据库表，表中的分区所在的位置，指定表放置在哪个区上，哪个节点上小表缓存：解决分布式数据库的热点问题，当表比较小不容易被打散，而访问又比较频繁，修改又比较少，用小表缓存这个功能，就能够提升小表的吞吐量内存悲观锁：在事务的性能上有很大提升TopSQL：提供了非常便利的手段，能够找到某个TiKV,某个TiDB，某个时段的T
TiDB Server
m0_75231205
tidb
TiDBServer架构TiDB作为SQL层，对外暴露MySQL协议的连接，负责接受客户端的连接，执行SQL的解析和优化，生成执行计划，到TiKV中，将数据读取，到TiDBServer中的缓存中去，再返回给用户解析SQL，将实际的数据读取、请求，转化为TiKV节点TiDBServer作用处理客户端的连接ProtocolLayerSQL语句的解析与编译Parse、Compile关系型数据与KV的转化
面向对象面向过程
3213213333332132
java
面向对象：把要完成的一件事，通过对象间的协作实现。
面向过程：把要完成的一件事，通过循序依次调用各个模块实现。
我把大象装进冰箱这件事为例，用面向对象和面向过程实现，都是用java代码完成。
1、面向对象
package bigDemo.ObjectOriented;
/**
* 大象类
*
* @Description
* @author FuJian
Java Hotspot: Remove the Permanent Generation
bookjovi
HotSpot
openjdk上关于hotspot将移除永久带的描述非常详细，http://openjdk.java.net/jeps/122
JEP 122: Remove the Permanent Generation
Author Jon Masamitsu
Organization Oracle
Created 2010/8/15
Updated 2011/
正则表达式向前查找向后查找,环绕或零宽断言
dcj3sjt126com
正则表达式
向前查找和向后查找
1. 向前查找：根据要匹配的字符序列后面存在一个特定的字符序列(肯定式向前查找)或不存在一个特定的序列(否定式向前查找)来决定是否匹配。.NET将向前查找称之为零宽度向前查找断言。
对于向前查找，出现在指定项之后的字符序列不会被正则表达式引擎返回。
2. 向后查找：一个要匹配的字符序列前面有或者没有指定的
BaseDao
171815164
seda
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
public class BaseDao {
public Conn
Ant标签详解--Java命令
g21121
Java命令
这一篇主要介绍与java相关标签的使用 终于开始重头戏了，Java部分是我们关注的重点也是项目中用处最多的部分。
1
[简单]代码片段_电梯数字排列
53873039oycg
代码
今天看电梯数字排列是9 18 26这样呈倒N排列的,写了个类似的打印例子，如下:
import java.util.Arrays;
public class 电梯数字排列_S3_Test {
public static void main(S
Hessian原理
云端月影
hessian原理
Hessian 原理分析
一． 远程通讯协议的基本原理
网络通信需要做的就是将流从一台计算机传输到另外一台计算机，基于传输协议和网络 IO 来实现，其中传输协议比较出名的有 http 、 tcp 、 udp 等等， http 、 tcp 、 udp 都是在基于 Socket 概念上为某类应用场景而扩展出的传输协
区分Activity的四种加载模式----以及Intent的setFlags
aijuans
android
在多Activity开发中，有可能是自己应用之间的Activity跳转，或者夹带其他应用的可复用Activity。可能会希望跳转到原来某个Activity实例，而不是产生大量重复的Activity。
这需要为Activity配置特定的加载模式，而不是使用默认的加载模式。 加载模式分类及在哪里配置
Activity有四种加载模式：
standard
singleTop
hibernate几个核心API及其查询分析
antonyup_2006
html .net Hibernate xml 配置管理
(一) org.hibernate.cfg.Configuration类
读取配置文件并创建唯一的SessionFactory对象.(一般,程序初始化hibernate时创建.)
Configuration co
PL/SQL的流程控制
百合不是茶
oracle PL/SQL编程 循环控制
PL/SQL也是一门高级语言,所以流程控制是必须要有的,oracle数据库的pl/sql比sqlserver数据库要难,很多pl/sql中有的sqlserver里面没有
流程控制;
分支语句 if 条件 then 结果 else 结果 end if ;
条件语句 case when 条件 then 结果;
循环语句 loop
强大的Mockito测试框架
bijian1013
mockito 单元测试
一.自动生成Mock类 在需要Mock的属性上标记@Mock注解，然后@RunWith中配置Mockito的TestRunner或者在setUp()方法中显示调用MockitoAnnotations.initMocks(this);生成Mock类即可。二.自动注入Mock类到被测试类 &nbs
精通Oracle10编程SQL(11)开发子程序
bijian1013
oracle 数据库 plsql
/*
*开发子程序
*/
--子程序目是指被命名的PL/SQL块，这种块可以带有参数，可以在不同应用程序中多次调用
--PL/SQL有两种类型的子程序：过程和函数
--开发过程
--建立过程：不带任何参数
CREATE OR REPLACE PROCEDURE out_time
IS
BEGIN
DBMS_OUTPUT.put_line(systimestamp);
E
【EhCache一】EhCache版Hello World
bit1129
Hello world
本篇是EhCache系列的第一篇，总体介绍使用EhCache缓存进行CRUD的API的基本使用，更细节的内容包括EhCache源代码和设计、实现原理在接下来的文章中进行介绍
环境准备
1.新建Maven项目
2.添加EhCache的Maven依赖
<dependency>
<groupId>ne
学习EJB3基础知识笔记
白糖_
bean Hibernate jboss webservice ejb
最近项目进入系统测试阶段，全赖袁大虾领导有力，保持一周零bug记录，这也让自己腾出不少时间补充知识。花了两天时间把“传智播客EJB3.0”看完了，EJB基本的知识也有些了解，在这记录下EJB的部分知识，以供自己以后复习使用。
EJB是sun的服务器端组件模型，最大的用处是部署分布式应用程序。EJB (Enterprise JavaBean)是J2EE的一部分，定义了一个用于开发基
angular.bootstrap
boyitech
AngularJS AngularJS API angular中文api
angular.bootstrap
描述：
手动初始化angular。
这个函数会自动检测创建的module有没有被加载多次，如果有则会在浏览器的控制台打出警告日志，并且不会再次加载。这样可以避免在程序运行过程中许多奇怪的问题发生。
使用方法： angular .
java-谷歌面试题-给定一个固定长度的数组，将递增整数序列写入这个数组。当写到数组尾部时，返回数组开始重新写，并覆盖先前写过的数
bylijinnan
java
public class SearchInShiftedArray {
/**
* 题目：给定一个固定长度的数组，将递增整数序列写入这个数组。当写到数组尾部时，返回数组开始重新写，并覆盖先前写过的数。
* 请在这个特殊数组中找出给定的整数。
* 解答：
* 其实就是“旋转数组”。旋转数组的最小元素见http://bylijinnan.iteye.com/bl
天使还是魔鬼？都是我们制造
ducklsl
生活 教育 情感
----------------------------剧透请原谅，有兴趣的朋友可以自己看看电影，互相讨论哦！！！
从厦门回来的动车上，无意中瞟到了书中推荐的几部关于儿童的电影。当然，这几部电影可能会另大家失望，并不是类似小鬼当家的电影，而是关于“坏小孩”的电影！
自己挑了两部先看了看，但是发现看完之后，心里久久不能平
[机器智能与生物]研究生物智能的问题
comsci
生物
我想,人的神经网络和苍蝇的神经网络,并没有本质的区别...就是大规模拓扑系统和中小规模拓扑分析的区别....
但是,如果去研究活体人类的神经网络和脑系统,可能会受到一些法律和道德方面的限制,而且研究结果也不一定可靠,那么希望从事生物神经网络研究的朋友,不如把
获取Android Device的信息
dai_lm
android
String phoneInfo = "PRODUCT: " + android.os.Build.PRODUCT;
phoneInfo += ", CPU_ABI: " + android.os.Build.CPU_ABI;
phoneInfo += ", TAGS: " + android.os.Build.TAGS;
ph
最佳字符串匹配算法（Damerau-Levenshtein距离算法）的Java实现
datamachine
java 算法 字符串匹配
原文：http://www.javacodegeeks.com/2013/11/java-implementation-of-optimal-string-alignment.html------------------------------------------------------------------------------------------------------------
小学5年级英语单词背诵第一课
dcj3sjt126com
english word
long 长的
show 给...看，出示
mouth 口，嘴
write 写
use 用，使用
take 拿，带来
hand 手
clever 聪明的
often 经常
wash 洗
slow 慢的
house 房子
water 水
clean 清洁的
supper 晚餐
out 在外
face 脸，
macvim的使用实战
dcj3sjt126com
mac vim
macvim用的是mac里面的vim, 只不过是一个GUI的APP, 相当于一个壳
1. 下载macvim
https://code.google.com/p/macvim/
2. 了解macvim
:h vim的使用帮助信息
:h macvim
java二分法查找
蕃薯耀
java二分法查找 二分法 java二分法
java二分法查找
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
蕃薯耀 2015年6月23日 11:40:03 星期二
http:/
Spring Cache注解+Memcached
hanqunfeng
spring memcached
Spring3.1 Cache注解
依赖jar包：
<!-- simple-spring-memcached -->
<dependency>
<groupId>com.google.code.simple-spring-memcached</groupId>
<artifactId>simple-s
apache commons io包快速入门
jackyrong
apache commons
原文参考
http://www.javacodegeeks.com/2014/10/apache-commons-io-tutorial.html
Apache Commons IO 包绝对是好东西，地址在http://commons.apache.org/proper/commons-io/，下面用例子分别介绍：
1） 工具类
2
如何学习编程
lampcy
java 编程 C++ c
首先,我想说一下学习思想.学编程其实跟网络游戏有着类似的效果.开始的时候,你会对那些代码,函数等产生很大的兴趣,尤其是刚接触编程的人,刚学习第一种语言的人.可是,当你一步步深入的时候,你会发现你没有了以前那种斗志.就好象你在玩韩国泡菜网游似的,玩到一定程度,每天就是练级练级,完全是一个想冲到高级别的意志力在支持着你.而学编程就更难了,学了两个月后,总是觉得你好象全都学会了,却又什么都做不了,又没有
架构师之spring-----spring3.0新特性的bean加载控制@DependsOn和@Lazy
nannan408
Spring3
1.前言。
如题。
2.描述。
@DependsOn用于强制初始化其他Bean。可以修饰Bean类或方法，使用该Annotation时可以指定一个字符串数组作为参数，每个数组元素对应于一个强制初始化的Bean。
@DependsOn({"steelAxe","abc"})
@Comp
Spring4+quartz2的配置和代码方式调度
Everyday都不同
代码 配置 spring4 quartz2.x 定时任务
前言：这些天简直被quartz虐哭。。因为quartz 2.x版本相比quartz1.x版本的API改动太多，所以，只好自己去查阅底层API……
quartz定时任务必须搞清楚几个概念：
JobDetail——处理类
Trigger——触发器，指定触发时间，必须要有JobDetail属性，即触发对象
Scheduler——调度器，组织处理类和触发器，配置方式一般只需指定触发
Hibernate入门
tntxia
Hibernate
前言
使用面向对象的语言和关系型的数据库，开发起来很繁琐，费时。由于现在流行的数据库都不面向对象。Hibernate 是一个Java的ORM（Object/Relational Mapping）解决方案。
Hibernte不仅关心把Java对象对应到数据库的表中，而且提供了请求和检索的方法。简化了手工进行JDBC操作的流程。
如
Math类
xiaoxing598
Math
一、Java中的数字（Math）类是final类，不可继承。
1、常数 PI：double圆周率 E：double自然对数
2、截取（注意方法的返回类型） double ceil(double d) 返回不小于d的最小整数 double floor(double d) 返回不大于d的整最大数 int round(float f) 返回四舍五入后的整数 long round
