ClouGence
ClouGence

MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战

简述

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点：

  • 结构迁移、全量迁移、增量同步(数据)、数据校验俱全
  • 流程全自动化

使用须知

  • 支持的StarRocks版本为: 1.18.x、1.19.x、2.0.x
  • 支持的源端数据源类型为: Oracle/PostgreSQL/Greenplum/MySQL，本文主要以 MySQL 源端为例说明使用方法。
  • 校验任务只支持主键模型的 StarRocks 表，源端表需要有主键

技术点

基于 StreamLoad 的导入方式

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入，源端的消息会转成字节流，通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式，StreamLoad 方式会有更好的性能，写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入，在 FE 侧，会有额外的 SQL 解析开销。

tips: CloudCanal默认采用 \u0001、\u0003作为 StreamLoad 导入的列分隔符和行分隔符。

丰富的配置

CloudCanal 提供了 StreamLoad 可配置的丰富参数，包括：

  • connectionTimeoutSec 参数
    • 表示导入请求的超时时间(单位：秒)
  • loadExecMemLimitMb 参数
    • 表示导入内存限制
  • timezone 参数
    • 默认东八区，指定导入所使用的时区
    • 该参数会影响所有导入涉及的和时区有关的函数结果。

可配置的写入停顿控制

过快的写入会导致 StarRocks 来不及 compaction，从而产生异常。CloudCanal 提供了两个任务参数，支持在一批数据写入后自动停顿一段时间，避免这种问题。参数为：

  • fullBatchWaitTimeMs 参数
    • 全量批之间写入停顿间隔，单位毫秒，默认 10ms
  • increBatchWaitTimeMs 参数
    • 增量批之间写入停顿间隔，单位毫秒，默认 100ms

CloudCanal 任务详情页，点击 参数修改，即可调整

MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第1张图片

MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第2张图片

主键模型

StarRocks 作为实时数仓，采用主键模型或者聚合模型较多。CloudCanal默认采用主键模型，能够实时同步源端的 INSERT/UPDATE/DELETE。

tips: 表结构对于实时数仓实际读写性能影响非常大，CloudCanal 默认提供的结构迁移能力并没有提供诸如分区、分桶等设置，用户如需使用，可按照需求提前创建好表结构，再通过 CloudCanal 进行数据迁移同步。

UPDATE/DELETE 操作的处理

基于 StreamLoad 的写入方式，实际写入对端的操作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句，并修改 __ops 值，StarRocks 会自动进行compaction。

转义支持

StarRocks 不支持 \n 等特殊符号写入，CloudCanal 任务通过参数设置(enableEscape参数) 开启自动转义。

操作示例

  • CloudCanal 社区版部署,参见 社区版安装文档
  • 准备好源端和目标端数据库以及对应的测试数据

添加数据源

  • 登录 CloudCanal 平台

  • 数据源管理->新增数据源

  • 选择自建数据库中StarRocks
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第3张图片

  • Client地址： 为StarRocks提供给MySQL Client的服务端口，CloudCanal主要用其查询库表的元数据信息

  • Http地址： Http地址主要用于接收stream load的http请求

任务创建

  • 任务管理->任务创建

  • 选择 源 和 目标 数据库

  • 点击 下一步
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第4张图片

  • 选择 增量同步，并且启用 全量数据初始化

  • 不勾选 DDL 同步(暂不支持)

  • 点击下一步
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第5张图片

  • 选择订阅的表，结构迁移自动创建的表为主键模型的表，因此暂不支持无主键表

  • 点击下一步
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第6张图片

  • 配置列映射

  • 点击下一步
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第7张图片

  • 创建任务
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第8张图片

  • 查看任务状态。任务创建后，会自动完成结构迁移、全量、增量阶段。
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第9张图片

任务性能调优(option)

对于高流量的场景，建议使用 4G 及以上的任务规格配置，并且对相关参数进行调优，调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

  • 任务详情->功能列表->参数设置
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第10张图片
  • 全量迁移参数调整
    MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第11张图片
  • 增量同步参数调整
    c2f8457f-b49e-428f-9120-b875e7b87fc3-image.png

总结

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友，如果你觉得还不错，请点赞、评论加转发吧。

常见FAQ

默认任务参数配置下，如果导入数据过于频繁可能会任务异常，这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第12张图片

更多精彩

  • 5分钟搞定 MySQL 到 ClickHouse 宽表构建和同步-CloudCanal实战
  • 5分钟搞定 MySQL 到 ElasticSearch 宽表构建和同步-CloudCanal实战
  • 5分钟搞定 MySQL 到 ClickHouse 实时数据同步进阶篇-CloudCanal实战
  • 5分钟搞定 MySQL 到 ElasticSearch 迁移同步-CloudCanal 实战
  • 5分钟搞定 MySQL 到 MySQL 异构在线数据迁移同步-CloudCanal 实战
  • 5分钟搞定 MySQL 到 TiDB 的数据同步 - CloudCanal实战
  • 5分钟搞定SQLServer到MySQL数据迁移同步-CloudCanal实战 - CloudCanal实战

加入CloudCanal粉丝群掌握一手消息和获取更多福利，请添加我们小助手微信：suhuayue001

CloudCanal-免费好用的企业级数据同步工具，欢迎品鉴。
了解更多产品可以查看官方网站： http://www.clougence.com
CloudCanal社区：https://www.askcug.com/

你可能感兴趣的:(CloudCanal,数据迁移,数据同步,canal)

  • 深度学习训练中GPU内存管理 @Mr_LiuYang 遇到过的问题内存管理内存溢出outofmemoryGPU内存
    文章目录概述常见问题1、设备选择和数据迁移2、显存监控函数3、显存释放函数4、自适应batchsize调节5、梯度累积概述在深度学习模型训练中，主流GPU显存通常为8GB~80GB，内存不足会导致训练中断或BatchSize受限，GPU内存管理是优化性能和避免OutOfMemoryError的关键挑战。本博客简介PyTorch中GPU内存管理的核心函数、用法和实战技巧，帮助开发者高效利用显存资源。
  • 云存储技术的神器--rclone llody_55 经验分享linuxpythoncentos运维mysqlossinsight
    原文地址：云存储技术的神器--rclone云存储技术的神器--rclone今天我们要推荐一款运维必备工具--rclone。官网地址：Rclone中文网：rclone中文站-专为国人汉化，解决数据同步/数据备份/数据迁移需求Rclone是什么？Rclone，即"rsyncforcloudstorage"，是一款专业的用于管理和同步云储存数据的开源命令行工具。通过该工具，用户不仅可以在各类型云盘之间拷
  • HarmonyNext实战：基于ArkTS的分布式数据同步应用开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的分布式数据同步应用开发引言在HarmonyNext生态系统中，分布式数据同步是一个核心功能，它允许设备之间无缝共享和同步数据。本文将深入探讨如何使用ArkTS构建一个高性能的分布式数据同步应用，涵盖从数据模型设计到分布式同步策略的完整开发流程。我们将通过一个实际的案例——实现一个跨设备的任务管理应用，来展示ArkTS在HarmonyNext平台上的强大能
  • HarmonyNext实战：基于ArkTS的分布式数据同步应用开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的分布式数据同步应用开发引言在HarmonyNext生态系统中，分布式数据同步是一个核心特性，它允许设备之间无缝共享和同步数据。本文将深入探讨如何利用ArkTS语言开发一个高性能的分布式数据同步应用，涵盖从基础数据存储到跨设备同步的完整流程。我们将通过一个实战案例，详细讲解如何实现一个支持多设备数据同步的任务管理应用，并确保其性能优化。1.环境准备与项目初
  • Redis 主从复制机制深度解析与实践指南 月落星还在 redisredis数据库缓存
    Redis的主从复制（Replication）是构建高可用、高性能分布式缓存和数据库系统的核心机制。通过主从复制，数据可以从一个主节点（Master）自动同步到多个从节点（Slave），实现读写分离、负载均衡和故障恢复。本文将深入探讨主从复制的原理、配置方法、常见问题及优化策略。一、主从复制的核心概念1.1什么是主从复制？主从复制是一种数据同步机制，允许从节点实时复制主节点的数据。主节点负责处理写
  • 数据实时增量同步之CDC工具—Canal、mysql_stream、go-mysql-transfer、Maxwell caihuayuan4 面试题汇总与解析springsqljava大数据课程设计
    @TOC[Mysql数据实时增量同步之CDC工具—Canal、mysql_stream、go-mysql-transfer、Maxwell：https://blog.csdn.net/weixin_42526326/article/details/121148721什么是CDC？CDC(ChangeDataCapture)是变更数据获取的简称。可以基于增量日志，以极低的侵入性来完成增量数据捕获的工
  • 2025年 Apache SeaTunnel 2月份社区月报速递 数据库
    SeaTunnel社区月报2025-02期“各位热爱ApacheSeaTunnel的小伙伴们，SeaTunnel社区月报来啦！”SeaTunnel正在迅猛发展，这将有利于提升数据同步的高可扩展性、高性能及高可靠性。SeaTunnelMonthlyMergeStars感谢以下小伙伴上个月为ApacheSeaTunnel做的精彩贡献（排名不分先后）：@hawk9821@fcb-xiaobo@akula
  • redis 6.0下云迁移 余生逆风飞翔 redis数据库缓存
    本次迁移为三节点172.16.0.10主172.16.0.6从172.16.0.14从一、数据迁移第一步：数据迁移a.将源redis的数据打成快照#连接redis执行如下命令BGSAVE在Redis中，BGSAVE命令用于在后台异步保存数据到磁盘，生成RDB文件。由于BGSAVE是异步执行的，因此需要通过一些方法来判断BGSAVE是否完成。以下是几种常用的方法：使用INFOPERSISTENCE命
  • Java系统数据迁移的性能优化与监控实战指南 墨夶 Java学习资料2java性能优化开发语言
    在当今快速发展的技术环境中，数据迁移已成为许多企业面临的一项重要任务。无论是为了提升系统性能、支持业务扩展还是简化IT架构，有效的数据迁移策略都是确保项目成功的关键。然而，随着数据量的增长和复杂性的增加，如何高效地执行数据迁移并实时监控其性能变得尤为重要。本文将深入探讨Java系统中数据迁移的性能优化技巧，并提供详尽的代码示例和注释，帮助您构建一个既高效又可靠的迁移解决方案。一、迈向成功的数据迁移
  • 面试基础--分布式一致性算法深度解析 WeiLai1112 后端面试分布式算法java后端架构springboot
    分布式一致性算法深度解析：RaftvsPaxos原理、实践与源码实现引言在分布式系统设计中，一致性算法是确保多节点数据同步和系统高可用的核心技术。Raft和Paxos作为两种最经典的分布式一致性算法，支撑了Etcd、ZooKeeper、TiDB等众多核心基础设施。本文将从算法原理、工程实践、源码实现三个维度对比Raft与Paxos，结合大厂真实案例，为分布式系统设计提供选型与实现指南。1.分布式一
  • TiDB系列之：TiCDC使用Changefeed完成数据同步任务 快乐骑行^_^ 大数据日常分享专栏TiDB系列TiCDCChangefeed完成数据同步任务
    TiDB系列之：TiCDC使用Changefeed完成数据同步任务一、Changefeed二、Changefeed状态流转三、操作Changefeed四、cdccli管理同步任务1.创建同步任务2.查询同步任务列表3.查询特定同步任务4.停止同步任务5.恢复同步任务6.删除同步任务7.更新同步任务配置8.管理同步子任务处理单元(processor)9.同步启用了TiDB新的Collation框架的
  • Canal+MySQL+Kafka+Zookeeper 正大光明瑞士卷 mysqlkafkajava-zookeeper
    目录一、CanalⅠ、下载安装Ⅱ、配置主要配置文件（1）conf/canal.properties（2）conf/example/instance.propertiesⅢ、开启canal二、MySQLⅠ、搭建与基础使用Ⅱ、开启二进制日志三、Kafka+Zookeeper集群Ⅰ、搭建与基础使用Ⅱ、创建topic四、测试Ⅰ、数据库操作Ⅱ、kafka消费一、Canal阿里巴巴B2B公司，因为业务的特性，
  • 深入解析MySQL备份技术：从逻辑到物理的全面指南 PLUTO t MYSQLmysql
    一、MySQL支持的备份技术有哪些？逻辑备份原理：像“抄作业”一样，将数据库中的结构和数据逐行导出为SQL或CSV文件。工具：mysqldump：最常用的工具，兼容性好。mysqlpump：支持并行导出和压缩，适合大数据量。适用场景：小规模数据迁移（如从开发环境导出到测试环境）。跨版本恢复（如从MySQL5.7迁移到8.0）。导出部分表或库（比如只备份用户表）。物理备份原理：直接复制数据库的“物理
  • 一致性哈希函数处理负载均衡（简单实现，勿喷） 01_ 哈希算法负载均衡算法
    一致性哈希算法是分布式系统中常用的负载均衡算法，特别适合动态变化的服务节点场景。它的核心思想是将服务节点和数据映射到一个虚拟的哈希环上，通过哈希值定位数据所属的节点。当节点增加或减少时，一致性哈希算法能够最小化数据迁移的影响。算法设计：1.数据结构：哈希环：使用map（有序map）/unordered_map（键无序map）来存储虚拟节点和真实节点的映射关系。虚拟节点：为了提高负载均衡的均匀性，为
  • Minio服务器文件迁移 张天才_ minio服务器运维
    最近项目中根据业务需求需要更换高性能服务器,在数据迁移过程中发现minio文件迁移新版本与老版本有很大不同。老版本Minio数据迁移在老版本迁移过程中只需将启动minio时设置的数据存放文件夹下除.minio.sys外文件夹同步拷贝至所要迁移的目标服务器对应的minio数据存放文件夹下。此时打开客户端页面刷新网页即可看到数据文件迁移成功。新版本Minio数据迁移新版本minio因为数据加密原因导致
  • 服务器数据拷贝到硬盘软件,硬盘对拷（拷贝） - 轻松搞定硬盘复制！ weixin_39928017 服务器数据拷贝到硬盘软件
    关于硬盘对拷什么是硬盘对拷：硬盘对拷(也称为硬盘复制、硬盘拷贝)可以准确地将一个硬盘复制到另一个硬盘。原始硬盘上的所有内容(包括系统、应用程序、文件/文件夹、文档、视频等)以及所有设置(分区号、文件系统等)都会复制到目标硬盘。什么情况下需要进行硬盘对拷：当我们需要升级旧硬盘的时候，将硬盘克隆到另一个硬盘可以为我们节省大量重装系统和软件的时间。当我们要进行数据迁移或给当前硬盘做数据备份的时候。通过硬
  • vue3导入excel并解析excel数据渲染到表格中，纯前端实现。 m0_74825526 excel前端
    需求用户将已有的excel上传到系统，并将excel数据同步到页面的表格中进行二次编辑，由于excel数据不是最终数据，只是批量的一个初始模板，后端不需要存储，所以该功能由前端独立完成。吐槽系统中文件上传下载预览三部曲走了一遍，万万没想到还要自己实现同步数据。实际反手各种资料开始查阅，终于找到了可以完美实现该需求的方法，来记录下我的实现方案。希望对有需要的小伙伴有帮助。注意以下为正文（重要内容），
  • SpringBoot集成Flink-CDC whiteBrocade springflinkmysqljava-activemqkafkaelasticsearch
    FlinkCDCCDC相关介绍CDC是什么?CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到MQ以供其他服务进行订阅及消费CDC分类CDC主要分为基于查询和基于Binlog基于查询基于Binlog开源产品Sqoop、DataXCanal、Maxwell、Debe
  • 狂赞！海量数据迁移方案，免费送给你 无意摘花 java经验积累mysql数据迁移
    一、背景在创业初期，为了快速把项目搭建运行起来，往往不会过多地去考虑系统是否可以支持未来更大的数据吞吐量，所以往往不会分表或分库。可当项目真正运行了一年两年之后，会发现原来的单表已经存储不了更多的数据了，或者查询性能受到影响，此时就要考虑分库或分表了。一般涉及到分库分表，数据迁移是必须要做的一个工作。那么接下来，笔者就以自己亲身实践过的一次数据迁移经验为依据，向大家介绍一下，当数据量过亿时，进行数
  • ELK —— Logstash 将 MySQL 数据同步至 ElasticSearch 2301_82242204 程序员elkmysqlelasticsearch
    一、搭建环境1.0环境依赖1.1搭建ElasticSearch环境1.1.1ElasticSearch简介1.1.2启动ElasticSearch1.2Logstash（多数据源采集系统）1.3Kibana（可视化面板）二、Logstash配置2.1配置数据库连接2.2配置同步ES2.3重新启动三、下一步更新计划Author：GoritDate：2021/4/7Refer：各种同类文章参考融合+自
  • Apache SeaTunnel 人物专访 | 张东浩：从使用者到Committer的开源历程 数据库
    时光飞逝，转眼间，ApacheSeaTunnel社区已经成为顶级项目快两周年了，其社区贡献者和用户群体也日益壮大。SeaTunnel凭借其高性能和插件灵活的特性，已经成为国内众多知名企业数据同步的基础工具。作为SeaTunnel的贡献者，我个人也有许多感慨，本文给大家介绍下在过去的1年里，我个人在社区持续不断地进行完善和改进心路历程。自我介绍请您简单介绍一下自己，包括职业背景、当前的工作以及加入A
  • 奇安信天擎面试题 “向阳的蛋” 奇安信安全学习
    1天擎单机版控制中心刚刚部署完，用户想给服务器换个iP，如何操作？天擎v10暂时不支持修改iP2天擎控制中心部署在内网，如果想实现自动更新需要通过网闸设备，如何实现？放通域名（部分域名无固定IP）3v6跃迁到v10简单介绍一下步骤，如果涉及定制开发如何处理？部署v10控制中心升级授权导入新授权迁移工具将数据迁移到v10控制中心生成v10离线客户端安装包通过v6控制中心下发并安装v10客户端执行跃迁
  • HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发引言在分布式系统中，数据同步是一个核心问题，尤其是在多设备协同的场景下，如何高效、可靠地实现数据同步是开发者面临的重大挑战。HarmonyNext作为华为最新的操作系统，提供了强大的分布式能力，支持多设备间的无缝协作。本文将深入探讨如何在HarmonyNext平台上使用ArkTS开发一个高性能的分布式数据同步应用，涵盖从基础理
  • HarmonyNext实战：基于ArkTS的分布式数据同步应用开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的分布式数据同步应用开发引言在HarmonyNext生态系统中，分布式能力是其核心特性之一。本文将深入探讨如何使用ArkTS语言开发一个高效的分布式数据同步应用，涵盖从数据存储到跨设备同步的完整流程。我们将通过一个实战案例，详细讲解如何利用HarmonyNext的分布式能力，结合ArkTS的现代语法，构建一个高效、可靠的分布式数据同步应用。1.项目概述1.
  • shell案例系列3-将多个文件写入到同一个文件 只是甲 Linuxcsv导入数据库同步正则筛选awk命令批量处理
    文章目录一.需求二.解决方案一.需求今天遇到一个问题，应用程序将每天的数据都导出成一个单独的csv，现在需要将这些文件导入到数据库中。示例:callid_20210101.csvcallid_20210102.csvcallid_20210103.csv......callid_20211231.csv二.解决方案首先我们要将所有的csv的数据都汇总到一个csv文件，然后将csv文件的数据同步到数
  • EMET8002 Case Studies in Applied Economic 后端
    EMET8002CaseStudiesinAppliedEconomicAnalysisandEconometricsSemester12025ComputerLabinWeek3Question1:SimpleLinearRegressionDownloadthe“states”datafromWattleandopenitinStata.Aspartofthisquestionweexplor
  • 深入探秘FlinkCDC：实时数据处理的新利器 lucky_syq 大数据大数据flink
    一、写在前面在大数据领域持续蓬勃发展的当下，数据的实时处理与分析变得愈发关键。随着企业数字化转型进程的加速，业务系统产生的数据量呈爆发式增长，传统的数据处理方式已难以满足对数据时效性和分析实时性的严苛要求。在这样的大背景下，FlinkCDC应运而生，它作为一种强大的实时数据同步与处理工具，为大数据处理带来了全新的解决方案，在大数据生态体系中占据着举足轻重的地位。FlinkCDC，即FlinkCha
  • 高性能计算中如何优化内存管理？ gpu
    在高性能计算（HPC）中，优化内存管理是提升计算性能的关键环节之一。以下是一些常见的优化策略和方法：内存分配与管理策略内存池技术：通过预分配一定大小的内存池，避免频繁的内存分配和释放操作，减少内存碎片化。例如，在CUDA编程中，可以使用内存池来管理GPU内存，从而提高内存访问效率。异构内存管理：在异构计算环境中（如CPU+GPU），采用统一内存管理（UnifiedMemory）或智能数据迁移策略，
  • Eureka Server 数据同步原理深度解析 豪宇刘 eureka云原生
    一、Eureka架构核心思想Eureka是Netflix开源的服务注册与发现组件，其设计遵循AP原则（高可用与分区容忍性），通过去中心化的对等架构（Peer-to-Peer）实现服务注册信息的最终一致性。EurekaServer节点之间通过数据复制（Replication）保持同步，确保整个集群的服务状态一致。二、EurekaServer集群数据同步流程1.数据同步的触发条件服务注册：当服务实例（
  • Eureka Server 数据同步原理解析 CT随 eureka云原生
    EurekaServer数据同步原理解析引言在分布式系统中，服务注册与发现是微服务架构的核心组件之一。Eureka作为Netflix开源的服务注册与发现工具，被广泛应用于SpringCloud生态系统中。本文将深入探讨EurekaServer之间的数据同步原理，帮助开发者理解其工作机制。1.EurekaServer的角色EurekaServer是一个高可用的服务注册中心，负责管理所有服务实例的注册
  • apache ftpserver-CentOS config gengzg apache
    <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
  • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
    1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
  • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
    JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
  • 通过Spring Mail Api发送邮件 120153216 邮件main
    原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
  • Pysvn 程序员使用指南 2002wmj SVN
    源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
  • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
    SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
  • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
    Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
  • Spring定时器时间配置 adminjun spring时间配置定时器
    红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
  • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
    来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
  • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
    提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
  • 为UILabel添加点击事件 bewithme UILabel
        默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
  • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
    一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
  • SecureCRT使用备注 bingyingao secureCRT每页行数
    SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
  • 【Scala九】Scala核心三：泛型 bit1129 scala
    泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
  • 素数与音乐 bookjovi 素数数学haskell
        由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
  • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
            这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
  • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
  • PS人像润饰&调色教程集锦 cherishLC PS
      1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
  • 更新多个字段的UPDATE语句 crabdave update
    更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
  • hive实例讲解实现in和not in子句 daizj hivenot inin
    本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
  • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
    这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
  • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
    在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
  • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
    概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
  • 学习编程那点事 gcq511120594 编程互联网
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • Reverse Linked List II hcx2013 list
    Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
  • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Hadoop集群工具distcp liyonghui160com
        1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
  • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
    　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
  • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
    A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
  • thrift总结 - 跨语言服务开发 uule thrift
    官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他