E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
beeDI
灵蜂
BeeDI
ETL
大数据时代的集成利器ETL工具https://blog.csdn.net/little_bee_2004/article/details/80006047在信息时代大数据环境下,基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时,它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。为此,国产数据集成软件厂商北京灵蜂软件有限公司日前宣布,推出最新版本的企业级数据集
weixin_49476464
·
2023-12-26 23:38
学习
hadoop
big
data
数据库
跨库合并数据(数据联邦)
目录一概述二操作1定义数据接口2选择合并数据3预览分片数据4合并MySQL与SQLServer分片数据5合并文本数据6主题数据入库一概述
BeeDI
支持跨库合并数据功能(数据联邦),多个数据源(异构数据库
wahahaman
·
2023-08-13 08:09
数据集成
database
etl
数据仓库
Kafka实时数据同步
数据发布设置2.3捕获到发布数据流映射2.4查看任务执行日志3订阅Kafka数据到ClickHouse3.1数据订阅设置3.2数据加载设置3.3订阅到加载数据流映射3.4查看任务执行日志4校验数据一致性1概述
BeeDI
wahahaman
·
2023-08-13 08:39
kafka
大数据
数据库
clickhouse
BeeDI
Post表单数据
BeeDI
支持基于HttpPost方式传递表单数据,既可采用名值对的参数方式上传表单项,也可通过Json格式封装表单数据上传。下面以Solr为例介绍
BeeDI
的Post表单操作。
wahahaman
·
2023-08-13 08:38
数据集成
web集成
json
restful
http
https
数据库
数据探查分析
1概述
BeeDI
提供任意数据的探查分析功能,通过探查可快速了解数据属性取值分布状况(有效值数,空值数、不同属性值数量百分比等),优化改善数据质量。
wahahaman
·
2023-08-13 08:38
数据集成
mysql
数据库
postgresql
mongodb
elasticsearch
数据同步 模式汇总
目录1全量同步1.1全表覆盖1.2差异更新2增量同步2.1时间戳2.2触发器2.3日志解析
BeeDI
支持全量及增量数据同步功能,可定时或实时保持目标与源端数据一致。
wahahaman
·
2023-08-13 08:38
数据同步
实时同步
数据集成
数据库
数据仓库
database
异构数据比对
1概述
BeeDI
提供任意数据库间(Oracle、SQLServer、MySQL、PostgreSQL、DB2、Elasticsearch、Cassandra、MongoDB、Solr、HBase等)表的数据一致性比对校验功能
wahahaman
·
2023-08-13 08:08
数据集成
数据同步
多源异构数据库实时同步解决方案
2技术原理采用灵蜂数据集成软件
BeeDI
在异构库间进行实时数据同步,通过ETL全量同步历史数据,通过日志解析方式实时同步增量数据,
BeeDI
提供Oracle、SQLServer、
wahahaman
·
2023-08-13 08:07
数据同步
实时同步
数据集成
mysql
postgresql
数据库
ETL工具(kettle) 与 ETL产品(Beeload&
BeeDI
) 差之毫厘,谬以千里
ETL——是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。工具——原指工作时所需用的器具,后引申为达到、完成或促进某一事物的手段。只要能使物质发生改变的物质,相对于那个能被它改变的物质而言就是工具。产品——为了满足市场需要,而创建的用于运营的功能及服务”就是产品。产品是以使用为目
little_bee_2004
·
2023-04-06 09:39
国产ETL工具
国产etl
产品
高端ETL工具
beeDI
Beeload
产品
中间件ETL产品
国产etl工具
BeeDI
产品 之“数据联邦“ 经典功能组件
一、数据联邦概念及优势数据联邦(跨库合并数据)功能组件,可满足对实际数据集成中不断扩展需求。提供虚拟数据集成服务和企业数据集成的能力。由于在实际数据集成平台中将传统的物理数据集成方法于虚拟数据方法相结合,该功能组件即刻提供数据的整体可视化图形流程。无需落具体落地到某一数据库,直接在ETL服务内存进行数据访问、运算......从而加快数据抽取速度,减少IT基础架构成本和复杂度、提高企业整个灵活性。见
little_bee_2004
·
2023-04-06 09:38
etl
国产ETL工具
etl工具
数据联邦
BeeDI
ETL工具— C/S 架构 为 数字基建 “安全” 保驾护航
Beeload&
BeeDI
产品C/S架构为信创中间件(ETL工具)添砖加瓦从系统软件(操作系统、数据库)、中间件、应用软件、安全软件......重中之重的安全、可靠、稳定性,必须C/S架构给予重任!
little_bee_2004
·
2023-04-06 09:55
etl
国产ETL工具
C/S架构
Beeload
beedup
国产ETL工具/ETL 产品 (
BeeDI
) 集团财务 双向同步 审核平台
项目需求核心实时同步、双向同步、部分同步、日志解析同步、断点续传项目需求概要35分公司财务数据实时同步汇总中心平台中心平台财务数据实时同步分发35分公司项目需求内容35分公司数据中部分表数据同步到中心库对应表,10张表分公司表年数据量在100W内,各系统之间网络TCP偶尔断网情况,需要将部分表同步,表中有日期字段,各地分公司服务器有时间差异,优先同步机制选用数据库日志,中心库数据库库修改后同步,对
little_bee_2004
·
2023-04-03 04:46
BeeDI
国产ETL工具
国产ETL工具BeeDI
双向同步
BeeDI
实时同步
BeeDI
日志解析同步
BeeDI
ETL集群部署
目录一概述二配置1主备资源管理器配置2作业服务器配置三操作1登录资源管理器2调度执行作业3作业服务器故障任务迁移4后备RM接管一概述
BeeDI
提供集群部署调度功能,支持ETL任务在多台服务器上的自由迁移
wahahaman
·
2023-02-26 07:49
任务调度
数据集成
实时同步
etl
服务器
数据库
ETL性能优化
目录一概述二性能选项1程序最大内存2ETL性能选项3多任务并发选项三性能监测四性能优化一概述
BeeDI
内置多种机制用于ETL性能优化,可选择同步、异步、并发、缓冲更新等不同数据载入方式或调整提交缓冲记录数优化单一
wahahaman
·
2023-02-26 06:04
任务调度
数据集成
etl
数据库
数据仓库
国产ETL工具
BeeDI
产品“实时同步“之 高阶 功能组件
BeeDI
提供“实时”企业数据集成。实时组件通过实时处理和传输业务数据的能力,增强了
BeeDI
的批处理功能。为满足当下复杂的业务需求,IT部门需要实时集成以加快核心业务流程和信息流。
little_bee_2004
·
2022-11-19 14:50
etl
国产ETL工具
国产etl
产品
高端ETL工具
beeDI
Beeload
产品
详解MySQL实时同步到Oracle解决方案
2技术原理采用灵蜂数据集成软件
BeeDI
将MySQL数据实时同步到Oracle,通过ETL全量同步历史数据,通过日志解析方式实时同步增量数据。受限于日志空间,如果将所
·
2021-03-09 22:30
MySQL 实时同步到 Oracle 解决方案
目录1需求概述2技术原理3MySQL环境配置3.1创建用户3.2启用BinLog4
BeeDI
同步操作4.1配置全量同步任务4.2配置实时日志解析任务4.3执行全量同步任务4.4执行实时日志解析任务4.5
wahahaman
·
2021-02-16 00:23
数据同步
数据集成
实时同步
mysql
数据库
跨数据库数据一致性校验
1.概述
BeeDI
提供任意数据库之间(Oracle、SQLServer、MySQL、PostgreSQL、Elasticsearch、Cassandra、MongoDB、Solr等)表的数据一致性校验比对功能
wahahaman
·
2020-12-07 10:08
数据同步
数据库
MySQL 实时同步到 ES 轻松配置
目录1基本概述2环境配置2.1创建用户2.2启用BinLog3
BeeDI
同步操作3.1创建同步作业3.2创建测试数据3.3预览MySQL变化数据3.4同步数据到ES1基本概述本文介绍采用灵蜂数据集成软件
wahahaman
·
2020-09-25 02:27
实时同步
数据集成
mysql
elasticsearch
Oracle双向同步测试方案
1.测试目标2.测试环境2.1测试数据库2.2创建测试表2.3开启数据库归档2.4s3建立同步用户2.5配置同步任务2.5.1安装
BeeDI
2.5.2全量任务2.5.3增量任务3.测试步骤3.1全量同步
wahahaman
·
2020-09-17 05:00
Oracle双向同步
Oracle数据同步
Oracle实时同步
上一页
1
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他