海量数据同步首选 SeaTunnel Zeta 引擎正式发布！

点亮 ⭐️ Star · 照亮开源之路
https://github.com/apache/inc...

Apache SeaTunnel(incubating) 正式推出 2.3.0 正式版本，并正式发布自己的核心同步引擎 Zeta！此外，SeaTunnel 2.3.0 还带来了许多大家期待已久的新特性，包括支持 CDC、以及近百种 Connector 等。

文档
https://seatunnel.apache.org/...

下载地址

https://seatunnel.apache.org/...

01 主要更新

SeaTunnel 自己的同步引擎—Zeta 正式发布

Zeta Engine 是一个专门为数据同步场景设计和开发的数据同步引擎，更快、更稳定、更省资源也更加易用，在全球多种开源同步引擎测试比对情况下，Zeta 性能都遥遥领先。SeaTunnel Zeta 引擎，经历了数个研发版本，于 2022 年十月发布 beta 版本，经过社区讨论决定，将其命名为 Zeta（宇宙中最快的星，社区同学认为这充分体现了该引擎的特性），在社区用户贡献者的努力下，我们今天正式发布 Zeta Engine 生产可用版本，其特性包括：

  1. 简单易用，新的引擎尽量减小第三方服务的依赖，可以不依赖 Zookeeper、HDFS 等大数据组件实现集群管理、快照存储和集群 HA 功能。这对于那些没有大数据平台或者不愿意依赖大数据平台进行数据同步的用户非常有用。
  2. 更省资源，在 CPU 层面，Zeta Engine 内部使用 Dynamic Thread Sharing（动态线程共享）技术 ，在实时同步的场景下，如果表的数量很多但每张表的数据量又很小，Zeta Engine 会将这些同步任务在共享线程中运行，这种方式可以减少不必要的线程创建，节省系统资源。在读取和数据写入端，Zeta Engine 的设计目标是尽量减少 JDBC 连接的数量。在 CDC 场景下，Zeta Engine 会尽量复用日志读取解析资源。
  3. 更稳定，在此版本中，Zeta Engine 将数据同步的任务以 Pipeline 作为 Checkpoint 和容错的最小粒度，一个 task 的失败只会影响到和它有上下游关系的 task，尽量避免 task 失败造成整个 Job 失败或回滚。同时，对于源端数据有存储时间限制的场景，Zeta Engine 支持开启数据 Cache，自动缓存从源端读取的数据，再由下游任务读取缓存数据并写入目标端。此场景下，即使目标端出现故障导致数据无法写入，也不会影响源端的正常读取，防止源端数据过期被删除。
  4. 更快速，Zeta Engine 的执行计划优化器会以减小数据可能的网络传输为目标来做执行计划的优化，从而降低数据序列化和反序列化带来的整体同步性能的损耗，更快地完成数据同步操作。当然，它还支持速度限制，让同步作业以一个合理的速度进行。

  5. 全场景数据同步支持。SeaTunnel 的目标是支持离线批量同步下的全量同步和增量同步，支持实时同步以及 CDC。

    近百种 Connector 支持

支持 ClickHouse、S3、Redshift、HDFS、Kafka、MySQL、Oracle、SQLserver、Teradata、PostgreSQL、AmazonDynamoDB、Greenplum、Hudi、Maxcompute、OSSfile 等 97 种 Connector（详见：https://seatunnel.apache.org/...)。

此版本中，我们在大量用户的反馈和社区贡献者的测试下，很多 Connector 已完善至生产可用标准，对于还处于 Alpha 以及 Beta 阶段的 Connector，也欢迎大家一起加入测试。

支持 CDC Connector

变更数据捕获 (CDC) 是指识别和捕获对数据库中的数据所做的更改，再将这些更改实时传送到下游流程或系统的过程。这是数据集成中非常重要的一个功能，也是大家期待已久的功能，在 2.3.0 版本中，也首次支持了 CDC Connector，其中主要是 JDBC-Connector（包括 MySQL，SQLServer等）。

SeaTunnel CDC 是基于市面上现有的 CDC 组件的优缺点，以及大量用户访谈所得出来的相关痛点问题的集中解决方案，它具有以下特性：

  • 支持基础的 CDC
  • 支持无锁并行快照历史数据
  • 以下功能目前还在开发阶段，相信很快能跟大家见面：
  • 支持日志心跳检测和动态加表
  • 支持分库分表和多结构表读取

  • 支持 Schema evolution

    Zeta 引擎 Metrics 支持

SeaTunnel 2.3.0 版本也支持了 Zeta Metrics，用户可以获取到作业执行完成后的各种指标，包括作业执行时间、作业执行状态、作业执行的数据量等。后续，我们将提供更多、更完善的指标，便于用户更好地监控作业的运行情况。

Zeta 引擎支持持久化存储

SeaTunnel 2.3.0 版本提供了持久化存储的功能，用户可以将作业的元数据存储到持久化存储中，保障了重启 SeaTunnel 后不会丢失作业的元数据。

Zeta 引擎 CheckPoint 支持 S3 存储插件

Amazon S3 为各种用例提供云对象存储，也是最近社区呼声较高的 Checkpoint 存储插件之一。因此，我们特地支持了 S3 Checkpoint 存储插件，并且兼容 S3N 和 S3A 协议。

02 Change Log

新 Feature

Core

  • [Core] [Log] 集成 slf4j 和 log4j2 统一管理日志 #3025
  • [Core] [Connector-V2] [Exception] 统一 Connector 异常格式 #3045
  • [Core] [Shade] [Hadoop] 添加 hadoop-shade 包 #3755

Connector-V2

  • [Connector-V2] [Elasticsearch] 新增 Source
    Connector #2821
  • [Connector-V2] [AmazondynamoDB] 新增 AmazondynamoDB Source & Sink Connector #3166
  • [Connector-V2] [StarRocks] Add StarRocks Sink Connector #3164
  • [Connector-V2] [DB2] 新增 DB2 source & sink connector #2410
  • [Connector-V2] [Transform] 新增 transform-v2 API #3145
  • [Connector-V2] [InfluxDB] 新增 influxDB Sink Connector #3174
  • [Connector-V2] [Cassandra] 新增 Cassandra Source & Sink Connector #3229
  • [Connector-V2] [MyHours] 新增 MyHours Source Connector #3228
  • [Connector-V2] [Lemlist] 新增 Lemlist Source Connector #3346
  • [Connector-V2] [CDC] [MySql] 新增 MySql CDC Source Connector #3455
  • [Connector-V2] [CDC] [SqlServer] 新增 SqlServer CDC Source Connector #3686
  • [Connector-V2] [Klaviyo] 新增 Klaviyo Source Connector #3443
  • [Connector-V2] [OneSingal] 新增 OneSingal Source Connector #3454
  • [Connector-V2] [Slack] 新增 Slack Sink Connector #3226
  • [Connector-V2] [Jira] 新增 Jira Source Connector #3473
  • [Connector-V2] [Sqlite] 新增 Sqlite Source & Sink Connector #3089
  • [Connector-V2] [OpenMldb] 新增 OpenMldb Source Connector #3313
  • [Connector-V2] [Teradata] 新增 Teradata Source & Sink Connector #3362
  • [Connector-V2] [Doris] 新增 Doris Source & Sink Connector #3586
  • [Connector-V2] [MaxCompute] 新增 MaxCompute Source & Sink Connector #3640
  • [Connector-V2] [Doris] [Streamload] 新增 Doris streamload Sink Connector #3631
  • [Connector-V2] [Redshift] 新增 Redshift Source & Sink Connector #3615
  • [Connector-V2] [Notion] 新增 Notion Source Connector #3470
  • [Connector-V2] [File] [Oss-Jindo] 新增 OSS Jindo Source & Sink Connector #3456

Zeta 引擎

  • 作业完成时支持打印作业指标 #3691
  • 添加 Metris 信息统计 #3621
  • 支持 IMap 文件存储 (包括 本地文件、HDFS、S3)#3418 #3675
  • 支持保存作业重启状态信息 #3637

E2E

  • [E2E] [Http] 添加 http 类型 Connector e2e 测试用例 #3340

  • [E2E] [File] [Local] 添加 本地文件 Connector e2e 测试用例 #3221

    Bug Fixes

Connector-V2

  • [Connector-V2] [Jdbc] 修复 Jdbc Source 批处理模式下无法停止 #3220、
  • [Connector-V2] [Jdbc] 修复 Jdbc 连接重置错误 #3670
  • [Connector-V2] [Jdbc] 修复 Jdbc connector exactly-once 中出现的 NPE #3730
  • [Connector-V2] [Hive] 修复 Hive 数据写入过程中出现 NPE #3258
  • [Connector-V2] [File] 修复 File Connector 获取 FileSystem 时出现的 NPE #3506
  • [Connector-V2] [File] 修复 File Connector 用户未配置 fileNameExpression 时抛出的 NPE #3706
  • [Connector-V2] [Hudi] 修复 Hudi Connector 的 split owner 可能为负的 Bug #3184
  • [Connector-V2] [Jdbc] 修复 Jdbc Connector 执行完成后未关闭资源的错误 #3358

Zeta 引擎

  • [ST-Engine] 修复使用 Zeta 引擎时数据文件名称重复的问题 #3717
  • [ST-Engine] 修复节点失败从 Imap 持久化无法正常读取数据的问题 #3722
  • [ST-Engine] 修复 Zeta 引擎 Checkpoint #3213

  • [ST-Engine] 修复 Zeta 引擎 Checkpoint 失败的 Bug #3769

    优化

Core

  • [Core] [Starter] [Flink] 修改 Starter API 以兼容 Flink 版本 #2982
  • [Core] [Pom] [Package] 优化打包流程 #3751
  • [Core] [Starter] 优化 Logo 打印逻辑以适配高版本 JDK #3160
  • [Core] [Shell] 优化二进制插件下载脚本 #3462

Connector-V1

  • [Connector-V1] 移除 Connector V1模块 #3450

Connector-V2

  • [Connector-V2] 添加 Connector Split 基础模块以复用逻辑 #3335
  • [Connector-V2] [Redis] 支持集群模式 & 用户认证 #3188
  • [Connector-V2] [Clickhouse] 支持 nest 和 array 数据类型 #3047
  • [Connector-V2] [Clickhouse] 支持 geo 类型数据 #3141
  • [Connector-V2] [Clickhouse] 改进 double 数据类型转换 #3441
  • [Connector-V2] [Clickhouse] 改进 Float、Long 类型数据转换 #3471
  • [Connector-V2] [Kafka] 支持设置读取获取起始偏移量或消息时间 #3157
  • [Connector-V2] [Kafka] 支持指定多个分区键 #3230
  • [Connector-V2] [Kafka] 支持动态发现 分区和 Topic #3125
  • [Connector-V2] [Kafka] 支持 Text 格式 #3711
  • [Connector-V2] [IotDB] 添加参数校验 #3412
  • [Connector-V2] [Jdbc] 支持设置数据获取大小 #3478
  • [Connector-V2] [Jdbc] 支持 Upsert 配置 #3708
  • [Connector-V2] [Jdbc] 优化 Jdbc Connector 的提交流程 #3451
  • [Connector-V2] [Oracle] 改进 Oracle 连接器的数据类型映射 #3486
  • [Connector-V2] [Http] 支持在 Http 连接器中提取复杂 Json 字符串 #3510
  • [Connector-V2] [File] [S3] 支持 S3A 协议 #3632
  • [Connector-V2] [File] [HDFS] 支持使用 hdfs-site.xml #3778
  • [Connector-V2] [File] 支持文件拆分 #3625
  • [Connector-V2] [CDC] 支持在 Jdbc ElsticSearch 中写入 CDC 更改日志事件 #3673
  • [Connector-V2] [CDC] 支持在 Jdbc ClickHouse 中写入 CDC 更改日志事件 #3653
  • [Conncetor-V2] [CDC] 支持在 Jdbc Connector 中写入 CDC 更改日志事件 #3444

Zeta 引擎

  • Zeta 引擎优化以提高性能 #3216

  • 支持自定义 JVM 参数 #3307

    CI

  • [CI] 优化 CI 执行流程以加快执行速度 #3179 #3194
    E2E
  • [E2E] [Flink] 支持在任务管理器上执行命令行 #3224
  • [E2E] [Jdbc] 优化 JDBC e2e 以提高测试代码的稳定性 #3234
  • [E2E] [Spark] 更正了 e2e 容器中的 Spark 版本为 2.4.6 #3225

具体 Change log 见：https://github.com/apache/inc...

03 致谢

每一个版本发布的背后都是社区无数人的努力，在夜深人静的时候，在假期的时候，在工作之余的时候，在无数碎片化的时间里，为项目的发展作出自己的贡献，尤其感谢（@Jun Gao,@ChaoTian）等同学针对候选版本进行了多轮性能测试和稳定性测试。我们衷心感谢大家的付出，以下是本次版本的贡献者名单（GitHub ID），排名不分先后：
Contributors
EricJoy2048
TaoZex
Hisoka-X
TyrantLucifer
ic4y
liugddx
CalvinKirs
ashulin
hailin0
Carl-Zhou-CN
FWLamb
wuchunfu
john8628
lightzhao
15531651225
zhaoliang01
harveyyue
MonsterChenzhuo
hx23840
Solomon-aka-beatsAll
matesoul
lianghuan-xatu
skyoct
25Mr-LiuXu
iture123
FlechazoW
mans2singh

特别感谢本次的 Release Manager @TyrantLucifer。虽然是第一次担任 Release Manager 这个角色，但他积极和社区就版本规划展开了充分沟通，不余遗力地跟踪发版前的问题，处理 blocking issue，管理版本质量等，完美胜任此次发版任务。感谢他为社区的付出，也欢迎其他 Committer 和 PPMC 能够主动认领 Release Manager 的任务，帮助社区更快捷、高质量地完成发版。

你可能感兴趣的:(数据同步)

  • 关于Redis集群同步/持久化/淘汰机制的详解 尾巴尖上的阳光 大数据redis数据库
    Redis是非常常用的KV数据库,使用内存以及HashMap进行存储的特点带来了高效的查询.本文将围绕Redis的常见开发使用场景,阐述在Redis集群中各个节点是如何进行数据同步,每个节点如何进行持久化以及在长期使用中如何对数据进行更新和淘汰.如果对Redis有更多的兴趣,可以查看我的技术博客:https://dingyuqi.com下面是Redis在开发过程中常用的几种使用场景.集群Redis
  • pg13.x主从节点搭建以及数据同步 亦诗亦诗 postgresql
    步骤1:安装postgres可参考：centosarm安装Postgres此处我搭建了2台postgres，分别为：10.211.110.55、10.211.110.56步骤2:主库配置比如在PostgreSQL中实现一主一从的集群模式，此处选定10.211.110.55为主节点，另一个为从节点，可以使用流复制（StreamingReplication）来实现主节点数据实时同步到从节点。以下是一般
  • 缓存预热/雪崩/穿透/击穿 当归. z Z Redis缓存
    1.缓存预热预先将MySQL中的数据同步至Redis的过程2.缓存雪崩Redis主机出现故障，或有大量的key同时过期大面积失效导致Redis不可用Redis中key设置为永不过期，或者过期时间错开Redis缓存集群实现高可用多缓存结合预防雪崩服务降级3.缓存穿透每次请求数据Redis上都没有，导致MySQL压力增大，此时Redis形同摆设空对象缓存或者缺省值回写增强如果发生了缓存穿透，我们可以针
  • eureka核心操作解析：集群间数据同步、自我保护、三级缓存 dejavu111 eurekajava
    1.什么是注册中心？Eureka是springcloud中的一个负责服务注册与发现的组件。遵循着CAP理论中的A(可用性)P(分区容错性)。一个Eureka中分为eurekaserver和eurekaclient。其中eurekaserver是作为服务的注册与发现中心。eurekaclient既可以作为服务的生产者，又可以作为服务的消费者。具体结构如下图：Eureka是一个基于REST（表述性状态
  • Python API操作RocketMQ 京城小筑 #Python编程python
    背景：开发背景:公司相关报表需求需要将订单业务数据同步至RocketMQ中，由于需要保证开发的一致性(多个部门协同开发)，所以采用读取Hive离线数据的方式通过PythonAPI写入RocketMQ中，便于其他开发同事调用~开发环境:本地调试系统MacPython3.7.5rocketmq0.4.4(Python模块)rocketmq-client-python2.0.0(Python模块)服务器
  • 详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化 Juicedata 性能优化
    JuiceFSsync是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。此外，该工具还提供了增量同步、模式匹配（类似Rsync）、分布式同步等高级功能。在最新的v1.2版本中，针对Juicesync我们引入了多项新功能，并对多个场景进行了性能优化，以提高用户在处理大目录和复杂迁移时的数据同步效率。新增功能增强选择
  • 如何解决缓存（redis）和数据库（MySQL）数据不一致的问题？ 半桶水专家 Redis编程理论缓存数据库redis
    在使用缓存（如Redis）和数据库（如MySQL）时，数据不一致是常见的问题。通常，我们希望缓存能够提高系统的读性能，但同时也会面临缓存与数据库数据同步的问题。解决缓存与数据库数据不一致的问题有多种方法，常见的策略包括以下几种：1.缓存更新策略常用的缓存更新策略包括缓存穿透、缓存击穿、缓存雪崩等问题的解决方案。对于数据不一致，以下三种缓存更新策略最为关键：1.1CacheAsidePattern（
  • 如何拿下TCP（数据库交付运维高级工程师TDSQL(MySQL版)）认证 小伟C_C 数据库
    如何拿下TCP认证需要掌握的知识掌握分布式OLTP数据库TDSQL（MySQL版）的产品架构与分布式特性掌握TDSQL（MySQL版）各组件的功能，以及启停方法掌握TDSQL（MySQL版）数据库实例的基本操作与使用方法掌握TDSQL（MySQL版）集群的基本操作与使用方法掌握TDSQL（MySQL版）实例备份恢复原理与操作使用，以及高可用方案的实现掌握TDSQL（MySQL版）数据同步和数据迁移
  • Redis常用命令 VI7591 数据库lua操作系统
    http://www.4wei.cn/archives/1002509Redis常用命令集1）连接操作命令quit：关闭连接（connection）auth：简单密码认证helpcmd：查看cmd帮助，例如：helpquit2）持久化save：将数据同步保存到磁盘bgsave：将数据异步保存到磁盘lastsave：返回上次成功将数据保存到磁盘的Unix时戳shundown：将数据同步保存到磁盘，然
  • Kafka 如何保证数据不丢失？不重复 优秀后端工程师 Java程序员kafkalinq分布式
    1.高可用型配置：acks=all，retries>0retry.backoff.ms=100(毫秒)(并根据实际情况设置retry可能恢复的间隔时间)优点：这样保证了producer端每发送一条消息都要成功，如果不成功并将消息缓存起来，等异常恢复后再次发送。缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
  • Apache SeaTunnel 2.3.7发布：全新支持大型语言模型数据转换 SeaTunnel 大数据
    我们欣喜地宣布，ApacheSeaTunnel2.3.7版本现已正式发布！作为一个广受欢迎的下一代开源数据集成工具，ApacheSeaTunnel一直致力于为用户提供更加灵活、高效的数据同步和集成能力。此次版本更新不仅引入了如LLM（大型语言模型）数据转换支持、增强的SQL支持和新连接器支持等多个新特性，还对现有功能进行了优化和改进，并修复了多个发现的问题。本文将详细介绍ApacheSeaTunn
  • GBase 8c 分布式核心技术—CDC数据同步 manhuai2022 GBase8c数据库服务器java
    数据库系统作为企业IT基础设施中的重要组件，其稳定性与可用性是上层系统运行的必要基础。并且随着数字化发展，大量的核心业务对于城市级别容灾提出了更高的要求。作为一款分布式数据库，GBase8c可轻松实现例如两地三中心架构的集群异地灾备。GBase8c异地灾备集群间的不同节点采用各自对应的高可用部署方式，两地间采用同步或者异步复制的备份方式。可以抵御硬件级别故障、机房级别和城市级别灾难，两地之间距离可
  • CDC 数据实时同步入湖的技术、架构和方案汇总 Laurence　 CDC数据入湖方案•合集大数据专题CDC实时同步数据湖方案架构技术
    博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。近期，对“实时摄取CDC数据同步到数据湖”这一技术主题作了一系列深入的研究和验证，目
  • 2、mysql-canal-zk-kafka-es数据同步 kobe0429
    方案总体介绍：通过zookeeper管理canal和kafka集群,zk本身也做集群配置；通过canal作为mysql的从库实时读取binlog，然后将数据以json格式发送到kafka平台，会有一个专门消费kafka消息的微服务，负责数据处理和转换；处理后的数据存储到elasticSearch，通过es的restapi向外提供查询服务。一、mysql1、首先为mysql数据库新建一个只读用户2、
  • 探索`binlog2sql_java`: 实时数据同步利器 廉欣盼Industrious
    探索binlog2sql_java:实时数据同步利器项目简介在大数据领域中，实时数据同步是一个至关重要的环节，它能让应用始终保持最新、最准确的数据状态。是一个基于Java实现的MySQLbinlog到SQL转换工具，旨在帮助开发者轻松实现实时数据库同步。该项目通过监听MySQL的binlog事件流，将这些二进制日志转化为可执行的SQL语句，从而确保数据的一致性与实时性。这一功能对于需要进行数据备份
  • Java源码解读-数据容器都是如何实现同步的 问道飞鱼 Java开发Java源码解读数据容器同步机制
    用Java的同学可能在自己使用或者面试的时候经常遇到这么一个问题，哪些数据结构或者容器是同步的，是怎么实现的同步？其实很多的数据同步原理都比较简单，我把目前知道的数据容器的同步方式稍微梳理了一下1.线程安全容器StringBuffer(太明显，synchronized关键字）@OverridepublicsynchronizedStringBufferappend(Stringstr){toStr
  • MySQL主从同步 m0_63550220 mysql数据库
    MySQL主从同步（也称为复制）是一种重要的数据同步技术，它用于将一个MySQL服务器（主服务器）上的数据和变更实时复制到另一个或多个MySQL服务器（从服务器）。这种技术广泛应用于数据备份、读写分离、故障恢复等多种场景。一、基本概念主服务器（Master）：原始数据库系统，所有的写操作（如INSERT、UPDATE、DELETE）都在主服务器上进行，并负责将数据更改记录到二进制日志（Binary
  • KTV收银手机版——未来之窗行业应用跨平台架构 未来之窗软件服务 商业系统开发实践KTV收银系统收银系统
    一、KTV手机收银：1.移动性强：收银员可以随时随地使用手机进行收银操作，不再局限于固定的收银台，能够更灵活地为顾客服务，例如在包房内为顾客结账。2.快速响应：能够更迅速地处理顾客的结账需求，减少顾客等待时间，提升顾客满意度。3.操作简便：手机界面通常设计简洁直观，易于操作和学习，降低了收银员的培训成本。4.实时数据同步：可以实时同步后台数据，包括包房消费信息、库存情况等，确保收银数据的准确性和及
  • 异构数据源间数据同步及迁移神器dbSwitch免费推荐！！ 开源数据中台 数据库数据仓库数据库开发
     图1.开源多组件数据中台架构图  书接上回，下面分析数据采集层中DBswitch异构数据同步工具的使用及安装：  3.DBswitch异构数据同步工具DBswitch是一种异构数据同步工具，它能够将不同类型的数据进行转换，从而实现数据同步。DBswitch的开发目的是为了解决不同数据库之间的数据同步问题，以及不同数据格式之间的转换问题。首先，DBswitch支持多种数据库类型，包括MySQL、O
  • Redis的三种模式：主从、哨兵、集群 起源i redisjava
    一、Redis的主从复制通过执行slaveof命令或设置slaveof选项，让一个服务器去复制另一个服务器的数据。被复制的服务器称为：Master主服务；对主服务器进行复制的服务器称为：Slave从服务器。主数据库可以进行读写操作，当写操作导致数据变化时会自动将数据同步给从数据库。而从数据库一般是只读的，并接受主数据库同步过来的数据。一个主数据库可以拥有多个从数据库，而一个从数据库只能拥有一个主数
  • TCP的连接和断开 视觉患者leon 计算机tcp/ip网络网络协议
    一、TCP的连接1.TCP建立连接的过程？答：第一次握手：客户端向服务端发送SYN请求报文，表示希望向服务端发起连接进行数据同步。SYN报文中，客户端会随机生成一个序列号client_isn，SYN标志位为1第二次握手：服务端向客户端发送ACK+SYN报文，表示收到客户端的连接请求，“客—>服”正常。ACK+SYN报文中，服务端通过确认应答号client_isn+1，表示收到客户端的连接请求。服务
  • keepalived mysql双主架构图_通过KeepAlived搭建MySQL双主模式的高可用集群系统 尤亚洲 keepalivedmysql双主架构图
    通过KeepAlived搭建MySQL双主模式的高可用集群系统一、整体架构企业级mysql集群具备高可用、可扩展、易管理、低成本的特点。下面将介绍企业环境中经常应用的一个解决方案，即MySQL的双主互备架构，主要设计思路是通过MySQLReplication技术将两台MySQLServer互相将对方作为自己的Master，自己又同时作为对方的Slave来进行复制。这样就实现了高可用构架中的数据同步
  • Linux系统如何手动清理缓存 长弓聊编程 linux
    目录一.前言二.如何清理缓存一.前言我们在使用Linux系统的过程中，可能会出现系统缓存特别大，需要手动清理，那怎么清理呢，本文介绍一种方法。二.如何清理缓存在清理之前先使用命令free-h看一下当前的缓存情况是否需要清理。如果需要清理缓存，建议先使用命令sync将数据同步，然后执行echo1>/proc/sys/vm/drop_cachesecho2>/proc/sys/vm/drop_cach
  • redis--主从复制 励志秃头码代码 java数据库开发语言
    主从复制单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。主从数据同步原理主从全量同步:主从增量同步(slave重启或后期数据变化)介绍一下redis的主从同步单节点Redis的并发能力是有上限的，要进异步提升Redis的并发能力，就需要搭建主从集群，实现读写分离，一般都是一主多从，主节点负责写数据，从节点负责读数据能说一下，主从同步数据的流
  • hive中的数据同步到hbase 流~星~雨 大数据相关hivehbasehadoop
    hive中的数据同步到hbase工作中遇到了这个工作，就是将hive中的数据同步到hbase中，然后java通过hbase相关的API来访问hbase中的数据。关于hadoop，hive，hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法，在我目前的认知里，hadoop提供hdfs这个组件来存储大数据量的数据（相比于mysql，oracle这些关系型数据库），然后提供了Ma
  • Linux学习笔记 卅云川
    指令集合指令内容startx纯文本界面下（不能有X存在）启动窗口界面的做法date显示日期与时间locale显示目前所支持的语系cal显示日历bc内建计算器manmanual（操作说明）的简写，查询用whatis相当于man-fapropos相当于man-kinfo查询用，将文件数据拆分后展示nano文书编辑器sync数据同步写入磁盘shutdown惯用的关机指令reboot重新启动halt系统停
  • Redis应用 Flying_Fish_Xuan redis数据库缓存
    问题要保证Redis中存储的20万条数据始终是MySQL中2000万条数据中的热点数据思路1.**热点数据识别**：-热点数据是指访问频率高的数据。需要一种机制来追踪和识别哪些数据是热点数据。2.**数据同步机制**：-当访问MySQL数据时，将热点数据写入Redis，同时设置一个合理的过期时间。-当Redis中的数据接近上限时（20万条），需要通过一定的策略（如LRU，即最近最少使用）删除不常访
  • vue数据同步（sync修饰符） ～蓝桉 vue.js前端javascript
    一、描述本文描述的数据同步，是基于父子组件进行传递的参数实现。实现的内容是：子组件里面选择框，选择的对象可以传递给父组件，但一般涉及到子传父，可能会考虑使用$emit然后通过在父组件身上绑定一个自定义方法，通过子组件去emit触发这个事件，传递参数,但是这里不使用这种，新学了一种，数据同步的方式，也就是在子组件选择的数据，可以同步在父组件中。二、使用sync修饰符例子：比如在父组件有一个子组件：子
  • 使用 Zapier 将 Zoom Webinar 注册者 数据同步到 Marketo 前端无冕之王 编辑器
    为了确保顺利完成将ZoomWebinar注册者的数据同步到Marketo，以下是每一步的超详细说明及可能出现问题的步骤分析，帮助你提前预防或解决问题。第1步：注册并登录到Zapier访问Zapier网站：Zapier官网。创建账户，使用邮箱或第三方账户（如谷歌、微软）进行注册。可能出现问题：某些公司网络可能限制访问Zapier，导致你无法访问网站。如果出现这种情况，建议联系IT部门检查网络访问权限
  • 7月19日学习笔记 Linux系统下数据同步服务RSYNC 妹纸，爷看上你了 〞153 linux学习笔记
    ⼀、RSYNC概述1、什么是rsyncrsync的好姐妹sync同步：刷新⽂件系统缓存，强制将修改过的数据块写⼊磁盘，并且更新超级块。async异步：将数据先放到缓冲区，再周期性（⼀般是30s）的去同步到磁盘。rsync远程同步：==remotesynchronous==数据同步过程sync数据同步=>保存文件（目标）=>强制把缓存中的数据写入磁盘（立即保存），实时性要求⽐较⾼的场景asyn数据异
  • java线程Thread和Runnable区别和联系 zx_code javajvmthread多线程Runnable
    我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。 模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
  • 【转】JSON与XML的区别比较 丁_新 jsonxml
    1.定义介绍 (1).XML定义 扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
  • c++ 实现五种基础的排序算法 CrazyMizzz C++c算法
    #include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
  • 我的软件 麦田的设计者 我的软件音乐类娱乐放松
         这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
  • linux awk命令详解 被触发 linux awk
    awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
  • 各种语言比较 _wy_ 编程语言
                        Java Ruby PHP 擅长领域                  
  • oracle 中数据类型为clob的编辑 知了ing oracle clob
    public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 矮蛋蛋 zookeeper
    原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
  • tomcat数据源 alafqq tomcat
    数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。 没有使用JNDI时我用要这样连接数据库： 03.  Class.forName("com.mysql.jdbc.Driver");  04.  conn
  • 遍历的方法 百合不是茶 遍历
                                                          遍历 在java的泛
  • linux查看硬件信息的命令 bijian1013 linux
    linux查看硬件信息的命令 一.查看CPU： cat /proc/cpuinfo   二.查看内存： free   三.查看硬盘： df   linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
  • java常见的ClassNotFoundException bijian1013 java
    1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory   添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization    
  • 【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
    对日期类型的数据进行序列化和反序列化时，需要考虑如下问题：   1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals   默认序列化和反序列化     import com
  • 【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
      1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
  • 通过nginx获取header信息 ronin47 nginx header
    1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") {         set $all_cookie $1; }     变量$all_cookie就获得了cookie的值，可以用于运算了
  • java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
    参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
  • Netty源码学习-ReplayingDecoder bylijinnan javanetty
    ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
  • js特殊字符过滤 cngolon js特殊字符js特殊字符过滤
    1.js中用正则表达式 过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) {    var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）&mdash;—|{}【】‘；：”“'。，、？]"
  • hibernate使用sql查询 ctrain Hibernate
    import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
  • linux shell脚本中切换用户执行命令方法 daizj linuxshell命令切换用户
    经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下：   1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123" 
  • 好的代码里只要一个 return 语句 dcj3sjt126com return
    别再这样写了：public boolean foo() {    if (true) {         return true;     } else {          return false;    
  • Android动画效果学习 dcj3sjt126com android
    1、透明动画效果 方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
  • linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总linux管道命令linux常用管道命令
    转载请出自出处： http://eksliang.iteye.com/blog/2105461     bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。     上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？     答：非常的经典的一句话，记住了，何为管
  • Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
    在项目中碰到这样的问题： 由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
  • asp.net获取站点根目录下子目录的名称 hvt .netC#asp.nethovertreeWeb Forms
    使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" />   那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
  • Eclipse程序员要掌握的常用快捷键 justjavac javaeclipse快捷键ide
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。   曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  写道 程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
  • c++编程随记 lx.asymmetric C++笔记
     为了字体更好看，改变了格式……   &&运算符：   #include<iostream> using namespace std; int main(){      int a=-1,b=4,k;      k=(++a<0)&&!(b--
  • linux标准IO缓冲机制研究 音频数据 linux
    一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
  • 随想 生活 暗黑小菠萝 生活
    其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。   毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
  • 我认为POJO是一个错误的概念 windshome javaPOJO编程J2EE设计
                  这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。    &
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他