nchuxyz
nchuxyz

关于java实现tidb CDC的二三事

转载请注明原文地址https://www.jianshu.com/p/b86cc9354b20

TiCDC拥有自身的分布式高可用设计，且这些设计依赖数据库实例的PD组件，所以从这个角度来看，相对于debezium这种小工具，可能要稍微复杂一些。对于实现TiDB的Change Data Capture，并不是一个很新的话题，除了PingCAP原厂支持的binlog, cdc以外，业界早几年前就有过相关探索。
上周Flink CDC宣布在即将推出的2.2版本中新增tidb的cdc connector，当时就在想，如果是java版的tidb cdc，很有可能从TiFlink这个项目中衍生……今天看到pr了，居然真的是借鉴了TiFlink的代码……
https://github.com/ververica/flink-cdc-connectors/commit/b911dd2a1b884d728393bd95e2a5966c8b878bb8

TiFlink与TiCDC

TiFlink是2020年TiDB Hackathon大赛的一个著名项目，使用 TiKV 和 Flink 实现了强一致的物化视图的功能。
其内部并未采用TiCDC，而是直接调用了TiKV的CDC接口，自己用java实现接收了TiKV推送过来的cdc日志并组装，并将该功能与flink集成，使得flink拥有了抽取tidb变化数据的能力。

首先，作为渣渣的我先膜拜一下参赛大佬，能在极短的时间内开发出这样一套工具并演说出来，真的不简单，NB……orz

但是，从客观事实角度来讲，短时间开发的experimental项目，功能稳定性，与经历过生产考验的TiCDC对比，这个结果是毫无疑问的，不用说了吧。

两者共同点

都是grpc通信，都是通过TiKV侧的CDC接口来接收TiKV推送过来的cdc日志，组装成完整的事务。
我之前有一篇文章专门介绍TiKV侧CDC接口：
https://www.jianshu.com/p/dd5c7c222703

不同点，或者说：基于TiFlink二次开发，有哪些核心功能需要完善的？

以下都是ticdc都已经具备的功能，但tiflink缺少的。我先按功能重要性列了个表格，其中：
★ 表示必要功能，缺少将不能投产
☆ 表示重要功能，缺少将严重影响运维、很多场景会出现问题

功能点 重要性
对table id变化的处理 ★
对region状态变化的处理 ★
对GC safepoint的考虑 ★
对表结构变化的支持 ☆
对大事务的支持 ☆
支持分区表 一般
  1. 对table id变化的处理
    在tidb中，每张表都对应有一个table id。我们想抽取这张表的数据，首先需要通过table id计算出这张表对应的key区间，然后去pd里面找这个区间对应的region，再向对应region发起请求。
key区间的编码规则为：
从 t_r 至 t
_s 的左闭右开
然后编码为8+1字节对齐，便于memcmp，具体规则如下
// EncodeBytes guarantees the encoded value is in ascending order for comparison,
// encoding with the following rule:
//  [group1][marker1]...[groupN][markerN]
//  group is 8 bytes slice which is padding with 0.
//  marker is `0xFF - padding 0 count`
// For example:
//   [] -> [0, 0, 0, 0, 0, 0, 0, 0, 247]
//   [1, 2, 3] -> [1, 2, 3, 0, 0, 0, 0, 0, 250]
//   [1, 2, 3, 0] -> [1, 2, 3, 0, 0, 0, 0, 0, 251]
//   [1, 2, 3, 4, 5, 6, 7, 8] -> [1, 2, 3, 4, 5, 6, 7, 8, 255, 0, 0, 0, 0, 0, 0, 0, 0, 247]
// Refer: https://github.com/facebook/mysql-5.6/wiki/MyRocks-record-format#memcomparable-format
举个例子，我建了一张表，table id为45，那么这张表的区间范围就是：
7480000000000000ff2d5f720000000000fa
至
7480000000000000ff2d5f730000000000fa

先不要去纠结key怎么编码的，这里我想说的是table id会发生变化。当对一张表执行某些特定的ddl语句时，比如truncate，table id一定会发生变化。一旦table id发生变化，还用原先计算的key区间去订阅region，明显获取不到你想要的数据的。
 我们看下ticdc是怎么处理这个问题的：
 其实很简单，只需要订阅ddl对应的region即可，如果发现有对这张表的ddl会造成table id变化，取消原来的订阅，根据新的table id重新计算key区间，发起新的订阅。
tidb的元数据也存储于tikv内，对应的key区间编码规则为：
从 m<元数据属性名>l 至 m<元数据属性名>m 的左闭右开
比如ddl对应的元数据属性名为 "DDLJobList"
订阅这类区间就可以获得所有ddl操作。

     
  
  1. 对region状态变化的处理
     之前就已经说过，TiKV的region不是固定不变的，可能发生分裂、合并、易主等状况，尤其是在生产环境，region变化是会比较频繁的，如果不处理此类状态变化，明显是不能用于生产的。
     region常见状态变化，来自cdcpb.proto：
    2.  
 
message Error {
    // 某tikv节点比较繁忙可能出现，另一个tikv节点被选为了region的leader
    errorpb.NotLeader not_leader = 1;
    // region发生合并的常见异常
    errorpb.RegionNotFound region_not_found = 2;
    // region发生分裂的常见异常
    errorpb.EpochNotMatch epoch_not_match = 3;
    DuplicateRequest duplicate_request = 4;
    Compatibility compatibility = 5;
    ClusterIDMismatch cluster_id_mismatch = 6;
}

当收到region状态变化的通知时，需要重新去pd获取当前region信息。不过有一点需要注意，pd的region信息可能也不是最新的，获取到之后还要进行检查，region是否cover了你订阅的key区间。
可以通过以下命令手动迫使region分裂合并，观察ticdc的行为：
分裂：
mysql -h xxx -u root -P 4000 -e "split table cdc_bench.sbtest1 between (0) and (10000) regions 2"
合并：
pd-ctl --pd=http://x.x.x.x:2379 operator add merge-region 528 2

     
  
  1. 对GC safepoint的考虑
     注意这里说的gc不是jvm gc，是指TiDB内部对于MVCC的过期数据的一个定期清理过程。众所周知MVCC并不是把update和delete的数据覆盖掉，而是新建立一个版本。如果不定期做清理，那么历史版本会越积越多，影响数据库的读性能。所以GC safepoint是指某个时间点，早于这个时间点的所有历史数据都将被清理掉；TiDB负责定期推进这个时间点，TiKV负责按时间点来执行清理操作。
     TiCDC问世以后，由于TiCDC宕机与重启这期间的数据完全靠TiKV的“增量扫”来获取，如果历史数据被清理掉，增量扫是无法获取到正确的值（至少delete操作会丢失）。故TiCDC也有一个GC safepoint，只有正常运行时，这个safepoint才会往前推进。TiKV综合TiDB的safepoint和cdc的safepoint来进行GC操作，以此保证不会将不该清理的数据清理掉。
     GC safepoint有一个专门的rpc接口定义在pdpb.proto 
    2.  
 
// TiDB的
    rpc UpdateGCSafePoint(UpdateGCSafePointRequest) returns (UpdateGCSafePointResponse) {}
// TiCDC的
    rpc UpdateServiceGCSafePoint(UpdateServiceGCSafePointRequest) returns (UpdateServiceGCSafePointResponse) {}

     
  
  1. 对表结构变化的支持
     从TiKV接口中获取的rowdata是schemaless的，并不包含表结构信息。所以要想将DML数据完整还原出来，必须获取该条rowdata对应的正确版本的schema。
     但是很不幸，和binlog不同，TiKV的CDC接口并未提供这一行数据对应的schema版本号。
     所以这个问题不太好处理。并且由于TiDB是分布式数据库，其对于Online DDL的支持会比单机数据库要复杂许多，变相增加了处理难度。
     TiCDC对于这块的处理主要是以时间戳和因果关系为原则，兼具考虑Online DDL的所有中间态，逻辑比较复杂，这里不做详细展开。
    2.  
  
  2. 对大事务的支持
     这个就不用细说了，因为要基于prewrite和commit操作来进行事务组装，如果事务很大的话，内存可能装不下。TiCDC里使用了外排，组件名称是叫UnifiedSorter，大家可以自行看下。TiFlink则直接使用的hashmap来装，对大事务的支持有限。
    3.  
 

                    
                

        
你可能感兴趣的:(关于java实现tidb CDC的二三事)

        

            

                
    
                    
  • 实战演练：用 AWS Lambda 和 API Gateway 构建你的第一个 Serverless API
                        

                        
    实战演练：用AWSLambda和APIGateway构建你的第一个ServerlessAPI理论千遍，不如动手一遍！在前面几篇文章中，我们了解了Serverless的概念、FaaS的核心原理以及BaaS的重要作用。现在，是时候把这些知识运用起来，亲手构建一个简单但完整的Serverless应用了。本次实战，我们将使用AmazonWebServices(AWS)这个主流的云平台，结合它的两个核心Se
    
                    
    • 
                    
  • 汇川PLC编程：设备状态机的实现与实际案例应用
                        晓天天天向上
网络
                        
    关于汇川PLC编写：设备状态机的实现与实际案例应用各位读者，你们是否曾想过如何通过编程控制设备状态，使其在各种复杂环境中都能稳定运行？今天，我们就来聊聊汇川PLC(可编程逻辑控制器)的编程，特别是设备状态机的实现及其在实际案例中的应用。一、设备状态机的基础知识设备状态机，顾名思义，是用来描述设备在不同工作状态下的行为和转换。一个设备可能有很多种状态，如启动、运行、停止、错误等，而这些状态之间的转换
    
                    
    • 
                    
  • windows 安装 wsl
                        

                        
    开启虚拟机平台和相关服务控制面板→程序→启用或关闭Windows功能确认勾选：WindowsSubsystemforLinux（适用于LInux的Windows子系统）Hyper-Vwindows虚拟机监控程序平台电脑重启打开microftstore搜索ubuntu，安装Ubuntu24.04.1LTS用管理员权限打开PowerShellwsl--update更新好后，开始菜单中打开Ubuntu2
    
                    
    • 
                    
  • Python scikit-learn 【机器学习库】全面讲解
                        

                        
    让AI成为我们的得力助手：《用Cursor玩转AI辅助编程——不写代码也能做软件开发》scikit-learn（简称sklearn）是Python最流行的机器学习库之一，提供简单高效的数据挖掘和数据分析工具。它基于NumPy、SciPy和Matplotlib构建，广泛应用于工业界和学术界。核心优势统一API设计：所有模型使用一致的接口（fit()、predict()、score()）丰富的算法：覆
    
                    
    • 
                    
  • Jenkins集成GitHub实现自动化打标签实战指南
                        ivwdcwso
运维与云原生jenkinsgithub自动化CI/CDdevops
                        
    本文将详细介绍如何使用Jenkins与GitHubAPI集成，实现自动化打标签的完整流程。以下是完整的Python脚本和详细解析。完整Python脚本#!/root/miniconda3/bin/pythonimportjsonimportboto3importosimportpytzimportargparsefromdatetimeimportdatetimefromgithubimportG
    
                    
    • 
                    
  • 超详细yolov8/11-segment实例分割全流程概述：配置环境、数据标注、训练、验证/预测、onnx部署(c++/python)详解
                        

                        
    因为yolo的检测/分割/姿态/旋转/分类模型的环境配置、训练、推理预测等命令非常类似，这里不再详细叙述，主要参考**【YOLOv8/11-detect目标检测全流程教程】**，下面有相关链接，这里主要针对数据标注、格式转换、模型部署等不同细节部分；【YOLOv8/11-detect目标检测全流程教程】超详细yolo8/11-detect目标检测全流程概述：配置环境、数据标注、训练、验证/预测、o
    
                    
    • 
                    
  • Nystromformer：一种基于 Nyström 方法的自注意力近似算法
                        AI专题精讲
Paper阅读人工智能自然语言处理AI
                        
    1.摘要Transformer已经成为广泛自然语言处理任务中的强大工具。推动Transformer展现出卓越性能的一个关键组件是self-attention机制，它对每个token编码了其他token的影响或依赖关系。虽然self-attention机制具有诸多优势，但其在输入序列长度上的二次复杂度限制了其在较长序列上的应用——这是当前社区积极研究的一个主题。为了解决这一限制，我们提出了Nystr
    
                    
    • 
                    
  • 创新引入HAttention模块：提升YOLOv8小目标检测精度【YOLOv8】
                        程序员Gloria
YOLOv8YOLO目标跟踪人工智能目标检测
                        
    文章目录创新引入HAttention模块：提升YOLOv8小目标检测精度【YOLOv8】引言1.YOLOv8模型概述1.1YOLOv8架构1.2YOLOv8小目标检测的挑战2.HAttention模块：原理与设计2.1HAttention模块的动机2.2HAttention模块的结构3.HAttention模块在YOLOv8中的应用3.1引入HAttention模块3.2YOLOv8架构修改3.3
    
                    
    • 
                    
  • 使用 C++/OpenCV 和 MFCC 构建双重认证智能门禁系统
                        

                        
    使用C++/OpenCV和MFCC构建双重认证智能门禁系统引言随着物联网和人工智能技术的发展，智能门禁系统在安防领域的应用越来越广泛。相比于传统的钥匙、门禁卡或密码，生物识别技术（如人脸识别、指纹识别、虹膜识别等）提供了更高的安全性与便利性。然而，单一的生物识别方式在某些场景下可能存在安全隐患。例如，人脸识别可能被高清照片或视频欺骗（称为“欺骗攻击”），在光照、姿态变化剧烈时识别率也可能下降。为了
    
                    
    • 
                    
  • WireShark抓包软件介绍和安装
                        花落已飘
Linux网络编程实战wireshark测试工具网络
                        
    文章目录一、WireShark软件介绍1.**概述**2.**主要功能**3.**使用场景**4.**安装和使用**5.**优点和限制**6.**结论**二、WireShark的安装三、WireShark的基本使用1.**混杂模式（PromiscuousMode）****概述****工作原理****应用场景****启用方式**2.**普通模式（Non-PromiscuousMode）****概述*
    
                    
    • 
                    
  • PHP接单涨薪系列（八）之AI内容工厂：用PHP批量生成SEO文章系统（2025接单秘籍）
                        攻城狮凌霄
PHPPHP接单涨薪AI人工智能phpandroid
                        
    某SEO团队采用本方案后，内容产出效率提升10倍，网站流量3个月增长300%，单月通过内容外包获利超¥50,000。本文将揭秘如何用PHP+AI打造全自动SEO内容工厂，让你成为搜索引擎优化领域的抢手人才！一、SEO市场新机遇：AI内容生成的红利期1.12025年SEO行业巨变搜索引擎算法升级2025核心变革SGE体验优化EEAT权重提升多模态内容整合2025年SEO关键数据：指标20232025
    
                    
    • 
                    
  • PHP接单涨薪系列（十）之智能BI系统：PHP+AI数据决策平台（2025高溢价秘籍）
                        攻城狮凌霄
PHP接单涨薪AIPHPphp人工智能开发语言
                        
    案例场景某零售集团采用本方案后，决策效率提升300%，库存周转率优化40%，单季度利润增长¥2,800万。本文将彻底解密如何用PHP+AI打造高价值商业智能系统，让你成为企业数字化转型的核心供应商！一、智能BI：企业决策的新引擎1.1传统报表vs智能BI数据源传统报表智能BI静态图表历史数据人工分析交互式探索预测分析自动决策2025年BI系统价值对比：指标传统报表智能BI系统提升幅度数据准备时间3
    
                    
    • 
                    
  • C# 中 FileInfo 类从入门到精通
                        caifox菜狐狸
C#技术使用笔记c#开发语言FileInfo文件类文件流文件操作File
                        
    在C#开发中，文件操作是常见的需求之一，无论是进行文件的读写、复制、移动，还是获取文件信息等，都需要对文件进行有效的管理和操作。FileInfo类是.NET框架中用于表示文件信息的一个强大类，它提供了丰富的属性和方法，使得对文件的操作变得简单而高效。通过本教程，你将深入了解FileInfo类的常用属性和方法，并通过实际案例掌握如何在C#中灵活运用FileInfo类进行文件操作。无论你是初学者还是有
    
                    
    • 
                    
  • Oracle数据库中JOIN连接查询的高效应用与性能优化教程
                        caifox菜狐狸
Oracle相关知识笔记OraclePL/SQL编程入门数据库oracleJOINLEFTJOINFULLJOININNERJOIN连接查询
                        
    在Oracle数据库的日常使用中，JOIN连接查询是实现多表数据关联查询的核心手段。无论是企业级的数据分析，还是日常的业务报表生成，JOIN操作都扮演着不可或缺的角色。然而，JOIN查询的性能优化一直是数据库开发和运维人员面临的挑战。一个低效的JOIN查询可能会导致查询响应时间过长，甚至拖垮整个数据库系统的性能。因此，掌握JOIN连接查询的高效应用技巧和性能优化方法，对于提升数据库的整体性能和用户
    
                    
    • 
                    
  • LabVIEW MathScript薄板热流模拟
                        LabVIEW开发
LabVIEW参考程序LabVIEW知识LabVIEW知识LabVIEW程序LabVIEW功能labview
                        
    热流模拟是热设计关键环节，传统工具精准但开发周期长，本VI利用LabVIEW优势，面向工程师快速验证需求，在初步方案迭代、教学演示等场景更具效率，为热分析提供轻量化替代路径，后续可结合专业工具，先通过本VI快速定性分析，再用传统工具精准求解，提升研发流程效率。此VI用于模拟单点热源下薄板的热流，求解带周期边界条件的椭圆型偏微分方程，借助LabVIEWMathScriptNode实现自定义函数，结合
    
                    
    • 
                    
  • 可观测性终局：Pixie自动诊断K8s生产故障
                        

                        
    可观测性终局：Pixie自动诊断K8s生产故障摘要针对Kubernetes生产环境“故障定位难、诊断效率低、依赖专家经验”的痛点（某电商平台因内存泄漏排查耗时4小时导致订单量下降30%），本文提出基于Pixie的无人值守诊断方案。通过eBPF技术实时追踪系统调用（如malloc()内存分配），结合BPF地图分析网络行为、LTTng捕获存储IO延迟，实现三大核心故障的自动定位：内存泄漏（定位准确率9
    
                    
    • 
                    
  • 多云迷宫突围：Karmada+ClusterAPI统一治理三大云
                        Star_Sea_77
云原生与DevOps工程实践云原生KarmadaCluster
                        
    多云迷宫突围：Karmada+ClusterAPI统一治理三大云摘要本文针对多云环境下“云厂商配置差异大、手工维护YAML导致配置漂移、跨云运维效率低下”等痛点（某金融企业因此月均发生3-5次配置不一致事故），提出基于Karmada与ClusterAPI的多云统一治理方案。通过ClusterAPI实现跨云集群生命周期自动化（创建/销毁/升级），结合Karmada的应用跨云分发能力，解决“一套配置适
    
                    
    • 
                    
  • 告别烦人的休眠：Ubuntu 20.04 彻底禁用自动休眠的七种武器
                        芯作者
D2：ubuntulinuxubuntu
                        
    系统休眠就像那个过于热心的同事——在你专注工作时突然关掉你的电脑，还一脸无辜地说"我以为你不需要了"**。本文将为你提供七种专业解决方案，彻底驯服Ubuntu20.04的休眠机制。一、为什么我们需要禁用自动休眠？想象这些场景：深夜挂着下载大文件，早上发现下载中断远程服务器运行着关键任务，突然失联科学计算跑了三天三夜，结果因休眠前功尽弃在线会议中途屏幕突然变黑Ubuntu的休眠机制设计初衷是节能，但
    
                    
    • 
                    
  • CHAIN（GAN的一种）训练自己的数据集
                        这张生成的图像能检测吗
优质GAN模型训练自己的数据集生成对抗网络人工智能神经网络深度学习pytorch算法
                        
    简介简介：作者针对数据有限场景下GANs训练中的判别器过拟合问题，提出了CHAIN（Lipschitz连续性约束归一化）方法。作者首先从理论角度分析了GAN泛化误差，发现减少判别器权重梯度范数对提升泛化能力至关重要。然后深入研究了批归一化（BN）在GAN判别器中应用困难的根本原因，通过理论分析证明BN的中心化和缩放步骤会导致梯度爆炸。基于这些发现，CHAIN设计了两个核心模块：用零均值正则化替代中
    
                    
    • 
                    
  • 【无线通信】面向多天线用户的网络辅助全双工无蜂窝大规模MIMO研究
                        hans汉斯
论文荐读网络机器人大数据学习方法人工智能数据挖掘github
                        
    导读：基于网络辅助全双工技术无蜂窝大规模多输入多输出(multipleinputmultipleoutput,MIMO)系统是目前无线通信领域的关键技术之一。然而，现有的研究都假设采用完美硬件配置的单天线用户设备发送和接收信号，这种架构限制了系统整体性能的进一步提升。鉴于此，本文针对网络辅助全双工无蜂窝大规模MIMO环境中的多天线用户通信展开研究。利用现有的加性量化噪声模型，推导了低精度模数转换器
    
                    
    • 
                    
  • 协同过滤算法：挖掘用户偏好，精准推荐商品
                        AI大模型应用实战
javapythonjavascriptkotlingolang架构人工智能
                        
    1.背景介绍协同过滤（CollaborativeFiltering，CF）作为推荐系统中的重要技术，其核心思想是利用用户和物品间的行为数据，挖掘用户隐性偏好，从而实现精准推荐。自20世纪90年代提出以来，协同过滤算法已经在电子商务、社交媒体、音乐视频等多个领域中广泛应用，取得了显著的推荐效果。协同过滤算法主要分为基于用户的协同过滤和基于物品的协同过滤两种。基于用户的协同过滤通过比较用户间的相似性，
    
                    
    • 
                    
  • 亿级流量架构：Envoy+Quarkus超高性能网关实战
                        Star_Sea_77
云原生与DevOps工程实践架构junitjava云原生开发语言
                        
    亿级流量架构：Envoy+Quarkus超高性能网关实战摘要本文针对高并发场景下传统网关的性能瓶颈（如SpringCloudGatewayQPS不足1.5万、Nginx+Lua内存占用高），提出基于Envoy+Quarkus的超高性能网关方案。通过实测对比，该方案在4核8G环境下实现6.3万QPS（是SpringCloudGateway的5.25倍），P99延迟仅9ms（降低81%），内存占用21
    
                    
    • 
                    
  • PHP接单涨薪系列（九）之计算机视觉实战：PHP+Stable Diffusion接单指南（2025高溢价秘籍）
                        攻城狮凌霄
PHPPHP接单涨薪AIphp计算机视觉stablediffusion
                        
    案例场景某电商公司使用本方案后，产品图制作成本降低90%，广告转化率提升35%，单月节省设计费用超¥80,000。本文将彻底解密如何用PHP+AI视觉技术接取高单价设计外包，让你在竞争激烈的市场中脱颖而出！一、视觉设计市场的AI革命1.1传统设计vsAI设计设计任务传统流程AI流程需求沟通初稿设计反复修改最终交付AI生成微调即时交付2025年设计市场数据对比：指标传统设计AI设计提升幅度单图制作时
    
                    
    • 
                    
  • Python（28）Python循环语句指南：从语法糖到CPython字节码的底层探秘
                        一个天蝎座白勺程序猿
Python爬虫入门到高阶实战python开发语言
                        
    目录引言一、推导式家族全解析1.1基础语法对比1.2性能对比测试二、CPython实现揭秘2.1字节码层面的秘密2.2临时变量机制三、高级特性实现3.1嵌套推导式优化3.2条件表达式处理四、性能优化指南4.1内存使用对比4.2执行时间优化技巧五、最佳实践建议六、总结Python爬虫相关文章（推荐）引言在Python编程中，循环语句是控制流程的核心工具。传统for循环虽然直观，但在处理大数据时往往面
    
                    
    • 
                    
  • YOLOv11深度解析：Ultralytics新一代目标检测架构创新与实战指南
                        芯作者
D2:YOLOYOLO神经网络计算机视觉
                        
    2024年Ultralytics重磅推出YOLOv11**：在精度与速度的平衡木上再进一步，参数减少22%，推理速度提升2%，多任务支持全面升级！一、YOLOv11核心创新：轻量化与注意力机制的完美融合YOLOv11并非颠覆性重构，而是通过模块级优化实现“少参数、高精度、快推理”的目标。其三大创新点如下：1.1C3k2模块：动态卷积核的灵活设计取代YOLOv8的C2f模块，C3k2通过参数c3k动
    
                    
    • 
                    
  • ASP.NET MVC 与 ASP.NET Core MVC：架构演进与技术对比
                        

                        
    在当今数字化时代，构建高效、可扩展且易于维护的Web应用程序已成为开发人员的核心任务之一。ASP.NETMVC和ASP.NETCoreMVC作为微软在Web开发领域的两大重要框架，为开发者提供了强大的工具来实现这一目标。然而，随着技术的不断演进，这两个框架在设计理念、架构、性能以及生态系统等方面存在着显著差异。对于开发者来说，理解它们之间的区别至关重要，这不仅有助于选择适合项目的框架，还能提升开发
    
                    
    • 
                    
  • 历史数据分析——中证医药
                        人大博士的交易之路
大数据数据挖掘数学建模程序员创富缠中说禅道琼斯结构
                        
    中证医药简介代码：000933成分来源：在沪深300指数成分股中筛选的医药卫生行业股票，聚焦医药核心资产行业分布：覆盖化学制药、生物科技、医疗器械、医疗服务Top10权重股（2025Q2）：恒瑞医药(12%)迈瑞医疗(11%)药明康德(10%)爱尔眼科(7%)百济神州(6%)片仔癀(5%)长春高新(4%)智飞生物(4%)凯莱英(4%)云南白药(3%)中证医药值得关注的原因：1.在中国人口老龄化即将
    
                    
    • 
                    
  • 了解IO流
                        

                        
    IO流I：inputO：output流：像水流一样传输数据用于读写数据的（可以读写文件，或网络中的数据…），存储和读写数据的解决方案。比如，对游戏历史最高分进行记录，那么就需要用到IO流在硬盘中进行读写。IO流的分类按流的方向分为：输入流（读取），输出流（写出）。按操作文件的类型：字节流（所有类型的文件），字符流（纯文本文件）。纯文本文件：Windows自带的记事本打开能读懂的，是指只包含字符信息
    
                    
    • 
                    
  • html background-image 图片打开失败的原因
                        z977690557
Htmlhtml
                        
    写网页的时候遇到一个问题，在样式表里面引用background-image，没有出现效果。查了一下是提取图片的路径不对，记录下遇到问题以及解决方法。1、系统自带url引号问题这个最坑，以为系统就是god，结果神打盹了。系统自带url使用双引号：系统自带url使用单引号：这个问题是我在Mac版Pycharm上编写时遇到的，不确定在其他设备上是否存在。2、图片与不在同一个目录所有图片都放在Pictur
    
                    
    • 
                    
  • 1.1 python中定义变量与数据类型
                        乏眸
python
                        
    一、定义变量1.定义变量语法：变量名=值2.使用变量3.看变量的特点#定义变量：存储数据TOMmy_name='TOM'print(my_name)#定义变量：存储数据SerendipityschoolName='Serendipity'print(schoolName)二、数据类型数值：int（整型），float（浮点型）布尔型：true（真），false（假）str（字符串），list（列表）
    
                    
    • 
                                
  • 关于旗正规则引擎规则中的上传和下载问题
                                    何必如此
文件下载压缩jsp文件上传
                                    
    文件的上传下载都是数据流的输入输出，大致流程都是一样的。 
一、文件打包下载 
1.文件写入压缩包 
string mainPath="D:\upload\";     下载路径 
 
string tmpfileName=jar.zip;        &n
    
                                
    • 
                                
  • 【Spark九十九】Spark Streaming的batch interval时间内的数据流转源码分析
                                    bit1129
Stream
                                    
      
以如下代码为例（SocketInputDStream）： 
Spark Streaming从Socket读取数据的代码是在SocketReceiver的receive方法中，撇开异常情况不谈(Receiver有重连机制，restart方法，默认情况下在Receiver挂了之后，间隔两秒钟重新建立Socket连接)，读取到的数据通过调用store(textRead)方法进行存储。数据
    
                                
    • 
                                
  • spark master web ui 端口8080被占用解决方法
                                    daizj
8080端口占用sparkmaster web ui
                                    
    spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法： 
  
1、cd SPARK_HOME/sbin 
  
2、vi start-master.sh 
  
  
3、定位到下面部分
    
                                
    • 
                                
  • oracle_执行计划_谓词信息和数据获取
                                    周凡杨
oracle执行计划
                                    
      
oracle_执行计划_谓词信息和数据获取(上) 
一：简要说明  
在查看执行计划的信息中，经常会看到两个谓词filter和access，它们的区别是什么，理解了这两个词对我们解读Oracle的执行计划信息会有所帮助。 
简单说，执行计划如果显示是access，就表示这个谓词条件的值将会影响数据的访问路径（表还是索引），而filter表示谓词条件的值并不会影响数据访问路径，只起到
    
                                
    • 
                                
  • spring中datasource配置
                                    g21121
dataSource
                                    
    datasource配置有很多种，我介绍的一种是采用c3p0的，它的百科地址是： 
http://baike.baidu.com/view/920062.htm 
  
	<!-- spring加载资源文件 -->
	<bean name="propertiesConfig"
		class="org.springframework.b
    
                                
    • 
                                
  • web报表工具FineReport使用中遇到的常见报错及解决办法（三）
                                    老A不折腾
finereportFAQ报表软件
                                    
    这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。 
  
出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。 
1、repeated column width is largerthan paper width： 
这个看这段话应该是很好理解的。比如做的模板页面宽度只能放
    
                                
    • 
                                
  • mysql 用户管理
                                    墙头上一根草
linuxmysqluser
                                    
    1.新建用户 //登录MYSQL@>mysql -u root -p@>密码//创建用户mysql> insert into mysql.user(Host,User,Password) values(‘localhost’,'jeecn’,password(‘jeecn’));//刷新系统权限表mysql>flush privileges;这样就创建了一个名为：
    
                                
    • 
                                
  • 关于使用Spring导致c3p0数据库死锁问题
                                    aijuans
springSpring 入门Spring 实例Spring3Spring 教程
                                    
    这个问题我实在是为整个 springsource 的员工蒙羞  
如果大家使用 spring 控制事务，使用 Open Session In View 模式，  
com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.
    
                                
    • 
                                
  • 百度词库联想
                                    annan211
百度
                                    
    

<!DOCTYPE html>
<html>
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
        <title>RunJS</title&g
    
                                
    • 
                                
  • int数据与byte之间的相互转换实现代码
                                    百合不是茶
位移int转bytebyte转int基本数据类型的实现
                                    
    在BMP文件和文件压缩时需要用到的int与byte转换,现将理解的贴出来; 
  
主要是要理解;位移等概念 http://baihe747.iteye.com/blog/2078029 
  
int转byte; 
  
byte转int; 
  
/**
 * 字节转成int,int转成字节
 * @author Administrator
 *

    
                                
    • 
                                
  • 简单模拟实现数据库连接池
                                    bijian1013
javathreadjava多线程简单模拟实现数据库连接池
                                    
    简单模拟实现数据库连接池 
实例1： 
package com.bijian.thread;

public class DB {

	//private static final int MAX_COUNT = 10;
	private static final DB instance = new DB();

	private int count = 0;
	private i
    
                                
    • 
                                
  • 一种基于Weblogic容器的鉴权设计
                                    bijian1013
javaweblogic
                                    
            服务器对请求的鉴权可以在请求头中加Authorization之类的key，将用户名、密码保存到此key对应的value中，当然对于用户名、密码这种高机密的信息，应该对其进行加砂加密等，最简单的方法如下： 
String  vuser_id = "weblogic";
String  vuse
    
                                
    • 
                                
  • 【RPC框架Hessian二】Hessian 对象序列化和反序列化
                                    bit1129
hessian
                                    
     任何一个对象从一个JVM传输到另一个JVM，都要经过序列化为二进制数据(或者字符串等其他格式，比如JSON)，然后在反序列化为Java对象，这最后都是通过二进制的数据在不同的JVM之间传输(一般是通过Socket和二进制的数据传输)，本文定义一个比较符合工作中。 
  1. 定义三个POJO 
   Person类 
package com.tom.hes
    
                                
    • 
                                
  • 【Hadoop十四】Hadoop提供的脚本的功能
                                    bit1129
hadoop
                                    
    1. hadoop-daemon.sh 
1.1 启动HDFS 
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode 
 通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0中，SecondaryNa
    
                                
    • 
                                
  • 中国互联网走在“灰度”上
                                    ronin47
管理 灰度
                                    
    中国互联网走在“灰度”上（转） 
文/孕峰 
  
第一次听说灰度这个词，是任正非说新型管理者所需要的素质。第二次听说是来自马化腾。似乎其他人包括马云也用不同的语言说过类似的意思。 
  
灰度这个词所包含的意义和视野是广远的。要理解这个词，可能同样要用“灰度”的心态。灰度的反面，是规规矩矩，清清楚楚，泾渭分明，严谨条理，是决不妥协，不转弯，认死理。黑白分明不是灰度，像彩虹那样
    
                                
    • 
                                
  • java-51-输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。
                                    bylijinnan
java
                                    
    

public class PrintMatrixClockwisely {

	/**
	 * Q51.输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。
例如：如果输入如下矩阵：

1              2             3            4
5              6             7            8
9 
    
                                
    • 
                                
  • mongoDB 用户管理
                                    开窍的石头
mongoDB用户管理
                                    
      1:添加用户 
   第一次设置用户需要进入admin数据库下设置超级用户（use admin） 
  
   db.addUsr({user:'useName',pwd:'111111',roles:[readWrite,dbAdmin]}); 
   第一个参数用户的名字 
   第二个参数
    
                                
    • 
                                
  • [游戏与生活]玩暗黑破坏神3的一些问题
                                    comsci
生活
                                    
        暗黑破坏神3是有史以来最让人激动的游戏。。。。但是有几个问题需要我们注意 
 
 
     玩这个游戏的时间，每天不要超过一个小时，且每次玩游戏最好在白天 
 
     结束游戏之后，最好在太阳下面来晒一下身上的暗黑气息，让自己恢复人的生气 
 
  &nb
    
                                
    • 
                                
  • java 二维数组如何存入数据库
                                    cuiyadll
java
                                    
    using System;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Xml;
using System.Xml.Serialization;
using System.IO;
 
namespace WindowsFormsApplication1
{
    
    
                                
    • 
                                
  • 本地事务和全局事务Local Transaction and Global Transaction(JTA)
                                    darrenzhu
javaspringlocalglobaltransaction
                                    
    Configuring Spring and JTA without full Java EE 
 
http://spring.io/blog/2011/08/15/configuring-spring-and-jta-without-full-java-ee/ 
 
Spring doc -Transaction Management 
 
http://docs.spring.io/spri
    
                                
    • 
                                
  • Linux命令之alias - 设置命令的别名，让 Linux 命令更简练
                                    dcj3sjt126com
linuxalias
                                    
    用途说明 
设置命令的别名。在linux系统中如果命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。虽然可以为命令建立“链接”解决长文件名的问 题，但对于带命令行参数的命令，链接就无能为力了。而指定别名则可以解决此类所有问题【1】。常用别名来简化ssh登录【见示例三】，使长命令变短，使常 用的长命令行变短，强制执行命令时询问等。 
  常用参数 
格式：alias 
格式：ali
    
                                
    • 
                                
  • yii2 restful web服务[格式响应]
                                    dcj3sjt126com
PHPyii2
                                    
    响应格式 
当处理一个 RESTful API 请求时， 一个应用程序通常需要如下步骤 来处理响应格式： 
 
 确定可能影响响应格式的各种因素， 例如媒介类型， 语言， 版本， 等等。 这个过程也被称为 content negotiation。 
 资源对象转换为数组， 如在 Resources 部分中所描述的。 通过 [[yii\rest\Serializer]]
    
                                
    • 
                                
  • MongoDB索引调优（2）——[十]
                                    eksliang
mongodbMongoDB索引优化
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2178555 一、概述 
      上一篇文档中也说明了，MongoDB的索引几乎与关系型数据库的索引一模一样，优化关系型数据库的技巧通用适合MongoDB，所有这里只讲MongoDB需要注意的地方 二、索引内嵌文档 
    可以在嵌套文档的键上建立索引，方式与正常
    
                                
    • 
                                
  • 当滑动到顶部和底部时，实现Item的分离效果的ListView
                                    gundumw100
android
                                    
    拉动ListView，Item之间的间距会变大，释放后恢复原样； 
 

package cn.tangdada.tangbang.widget;

import android.annotation.TargetApi;
import android.content.Context;
import android.content.res.TypedArray;
import andr
    
                                
    • 
                                
  • 程序员用HTML5制作的爱心树表白动画
                                    ini
JavaScriptjqueryWebhtml5css
                                    
    体验效果：http://keleyi.com/keleyi/phtml/html5/31.htmHTML代码如下： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="UTF-8" >
<ti
    
                                
    • 
                                
  • 预装windows 8 系统GPT模式的ThinkPad T440改装64位 windows 7旗舰版
                                    kakajw
ThinkPad预装改装windows 7windows 8
                                    
      
该教程具有普遍参考性，特别适用于联想的机器，其他品牌机器的处理过程也大同小异。 
该教程是个人多次尝试和总结的结果，实用性强，推荐给需要的人！ 
  
缘由 
小弟最近入手笔记本ThinkPad T440，但是特别不能习惯笔记本出厂预装的Windows 8系统，而且厂商自作聪明地预装了一堆没用的应用软件，消耗不少的系统资源（本本的内存为4G，系统启动完成时，物理内存占用比
    
                                
    • 
                                
  • Nginx学习笔记
                                    mcj8089
nginx
                                    
    一、安装nginx                      1、在nginx官方网站下载一个包，下载地址是：  
http://nginx.org/download/nginx-1.4.2.tar.gz  
     2、WinSCP(ftp上传工
    
                                
    • 
                                
  • mongodb 聚合查询每天论坛链接点击次数
                                    qiaolevip
每天进步一点点学习永无止境mongodb纵观千象
                                    
    /* 18 */
{
    "_id" : ObjectId("5596414cbe4d73a327e50274"),
    "msgType" : "text",
    "sendTime" : ISODate("2015-07-03T08:01:16.000Z"
    
                                
    • 
                                
  • java术语（PO/POJO/VO/BO/DAO/DTO）
                                    Luob.
DAOPOJODTOpoVO BO
                                    
    
PO(persistant object) 持久对象
在o/r 映射的时候出现的概念,如果没有o/r映射,就没有这个概念存在了.通常对应数据模型(数据库),本身还有部分业务逻辑的处理.可以看成是与数据库中的表相映射的java对象.最简单的PO就是对应数据库中某个表中的一条记录,多个记录可以用PO的集合.PO中应该不包含任何对数据库的操作.

VO(value object) 值对象
通
    
                                
    • 
                                
  • 算法复杂度
                                    Wuaner
Algorithm
                                    
    Time Complexity & Big-O： 
 
http://stackoverflow.com/questions/487258/plain-english-explanation-of-big-o 
 
http://bigocheatsheet.com/ 
 
http://www.sitepoint.com/time-complexity-algorithms/ 
 
 

    
                                
    •