mysql同步doris

Doris数据备份及恢复

Doris支持将当前数据以文件的形式，通过broker备份到远端存储系统中。之后可以通过恢复命令，从远端存储系统中将数据恢复到任意Doris集群。
shangjg3·2023-12-06 08:48

Spark读写Doris数据

1准备Spark环境创建maven工程，编写pom.xml文件    4.0.0
shangjg3·2023-12-06 08:48

Doris 集成 ElasticSearch

Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案：（1）ES中的多index分布式Join查询（2）Doris
shangjg3·2023-12-06 08:14

Canal笔记:安装与整合Springboot模式Mysql同步Redis

官方文档https://github.com/alibaba/canal使用场景学习一件东西前，要知道为什么使用它。1、同步mysql数据到redis常规情况下，产生数据的方法可能有很多地方，那么就需要在多个地方中，都去做mysql数据同步到redis的处理，相对麻烦很多。可以使用canal，对mysql进行集中，统一的处理。概述canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于M
WalkerShen·2023-12-06 07:45

Apache Doris 在某工商信息商业查询平台的湖仓一体建设实践

本文导读：信息服务行业可以提供多样化、便捷、高效、安全的信息化服务，为个人及商业决策提供了重要支撑与参考。本文以某工商信息商业查询平台为例，介绍其从传统Lambda架构到基于DorisMulti-Catalog的湖仓一体架构演进历程。同时通过一系列实践，展示了如何保证数据的准确性和实时性，以及如何高效地处理和分析大规模数据，为信息服务行业提供了有价值的参考思路，有助于推动整个行业的发展和创新。作者
SelectDB技术团队·2023-12-06 05:37

DOT Recapping Sharing -Doris

23rd-24thJun2018DivisionWDOTRecapSharing:-Doris1.Deardirectors,whentherearethehardtimes,alwaysrememberWHY.Beingatoastmastersfor2years
裸熊兜Doris·2023-12-05 15:19

大数据的技术栈-逐步完善

hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构b.Doris
刘文钊1·2023-12-04 20:12

月度产品更新（11月）：数据同步功能上线，配置更简单

更新快速预览新增&优化功能：新增【数据同步】新增【变量动态依赖】优化【日志操作】新增连接器：邮政速递EMSWhale帷幄websocket黑湖小工单百世快递应用更新：小红书金蝶云星空有赞自建快手小店抖店doris
白鹅�·2023-12-04 16:04

Apache Doris 详细教程（三）

7、监控和报警Doris可以使用Prometheus和Grafana进行监控和采集，官网下载最新版即可。
白鸽呀·2023-12-04 07:09

Apache Doris 详细教程（二）

5、doris的查询语法5.1、doris查询语法整体结构SELECT[ALL|DISTINCT|DISTINCTROW]--对查询字段的结果是否需要去重，还是全部保留等参数select_expr[,select_expr
白鸽呀·2023-12-04 06:38

长安汽车基于 Apache Doris 的车联网数据分析平台建设实践

导读：随着消费者更安全、更舒适、更便捷的驾驶体验需求不断增长，汽车智能化已成必然趋势。长安汽车智能化研究院作为长安汽车集团有限责任公司旗下的研发机构，专注于汽车智能化技术的创新与研究。为满足各业务部门的数据分析需求，长安汽车基于ApacheDoris升级了车联网数据分析平台，支撑单日百亿级别数据实时处理，并实现十亿级别数据查询秒级响应，为长安汽车在提升用户用车体验、实时预警车辆故障、保证车辆安全驾
SelectDB技术团队·2023-12-04 03:11

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能揭秘！

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众
SelectDB技术团队·2023-12-04 02:03

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-12-03 16:07

Doris 数据导入四：Binlog Load 方式

BinlogLoad提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC（ChangeDataCapture）功能。1适用场景INSERT/UPDATE/DELETE支持。
shangjg3·2023-12-03 06:38

Doris 数据导入三：Routine Load 方式

例行导入（RoutineLoad）功能为用户提供了一种自动从指定数据源进行数据导入的功能。1适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。csv每一个message为一行，且行尾不包含换行符。（3）默认支持Kafka0.10.0.0（含）以上版本。如果要使用Kafk
shangjg3·2023-12-03 06:01

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

docker踩坑记录：docker容器创建doris容器间无法通讯问题

背景：开发大数据平台，使用doris作为数据仓储，使用docker做集群部署，先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/
Alaia.·2023-12-02 14:47

Doris 数据导入二：Stream Load 方式

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
shangjg3·2023-12-02 10:22

Doris 上卷（Rollup）和前缀索引

1基本概念在Doris中，我们将用户通过建表语句创建出来的表称为Base表（BaseTable）。Base表中保存着按用户建表语句指定的方式存储的基础数据。
shangjg3·2023-12-02 10:21

Doris 外部表

DorisODBC外部表ODBCExternalTableOfDoris提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力
shangjg3·2023-12-02 10:21

Doris 数据导入一：Broker Load 方式

1.Doris导入数据的方式总结导入（Load）功能就是将用户的原始数据导入到Doris中。导入成功后，用户即可通过Mysql客户端查询数据。
shangjg3·2023-12-02 10:18

用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

背景StarRocks和Doris是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。
ClouGence·2023-12-02 08:47

Python连接Doirs查询实战

问题背景有客户提出来他们的客户端是Python的，需要使用Python语言查询Doris。
wangleigiser·2023-12-01 15:47

Apache Doris : 一个开源 MPP 数据库的架构与实践

分享提纲：Doris背景介绍适用场景&案例介绍Doris整体架构Doris关键技术Doris背景介绍介绍Doris的整体架构，以及Doris的一些特性。
hellozhxy·2023-12-01 15:43

日志检索场景ES-＞Doris迁移最佳实践：函数篇

函数列表函数：term函数功能说明：查询某个字段里含有某个关键词的文档参数说明：返回值说明：ES使用示例：{"query":{"term":{"title":"blog"}}}Doris使用示例：select
wangleigiser·2023-12-01 15:40

基于Apache doris怎么构建数据中台(五)-数据质量管理

上一次我们讲了，数据怎么进行快速的接入，这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态，并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理；洞察关键信息，形成事前预判、事中监控、事后跟踪的质量管理闭环流程；沉淀故障问题，搭建解决方案的知识库体系。在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、
张家锋·2023-11-30 17:48

docker集群部署doris

1.前言这篇文章主要讲述如何在docker环境下搭建doris集群，以及一些注意事项。
yedajiang44·2023-11-30 02:18

Doris系列9-表结构变更

目前Doris支持
只是甲·2023-11-30 02:13

Doris之Stream load

StreamloadStreamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
墨卿风竹·2023-11-30 02:41

doris导入报错问题集合

dorisspark导入报错：Inserthasfiltereddatainstrictmode,tracking_url由于enable_insert_strict的默认值是false，当前执行INSERT语句时，有不符合目标表格式的数据，比如字符串超过字段类型等等，导入任务会直接报错。解决办法修改数据类型，比如varchar的长度setenable_insert_strict=false；只要
炼数成器·2023-11-30 02:39

Apache Doris常见问题答疑(二)

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星Q：showbackends/frontends查看到的信息不完整A：在执行如showbackends/frontends
hf200012·2023-11-30 02:38

Doris_Doris导入常见问题

Doris数据导入错误：thelengthofinputistoolargerthanschema可能原因：varchar长度设置过短Doris表字段乱序导入palo表中的csv本身无schema信息，
高达一号·2023-11-30 02:34

Doris-集群部署（四）

创建目录并拷贝编译后的文件1）创建目录并拷贝编译后的文件mkdir/opt/module/apache-doris-0.15.0cp-r/opt/software/apache-doris-0.15.0
玖玖1704·2023-11-29 21:12

Doris单机版安装和初步使用

参考官方文档https://doris.apache.org/zh-CN/docs/dev/get-starting/下载安装包下载-ApacheDorisIndexof/apache/doris/1.2
未竟·2023-11-28 21:54

Stream load doris

代码如下：经测试有效packageDemo;importcom.alibaba.fastjson.JSONObject;importorg.apache.commons.net.util.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;import
weixing_2006·2023-11-28 19:52

Doris-Broker Load（二十四）

适用场景源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。基本原理用户在提交导入任务后，FE会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。基本语法LOADLABELdb
玖玖1704·2023-11-28 16:18

Doris-导入示例（二十五）

1）Doris中创建表createtablestudent_result(idint,namevarchar(50),ageint,scoredecimal(10,4))DUPLICATEKEY(id)
玖玖1704·2023-11-28 16:18

Doris-Stream Load（二十六）

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
玖玖1704·2023-11-28 16:18

Doris-Routine Load（二十七）

例行导入（RoutineLoad）功能为用户提供了一种自动从指定数据源进行数据导入的功能。适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。csv每一个message为一行，且行尾不包含换行符。（3）默认支持Kafka0.10.0.0（含）以上版本。如果要使用Kafka
玖玖1704·2023-11-28 16:58

apache doris windows下fe开发环境搭建

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.环境准备JDK1.8+,IntelljIDEA1.linux上编译好fe前端代码，主要目的是获取自动生成的代码
hf200012·2023-11-28 07:35

Apache Doris 系列： 入门篇-创建数据表

本文档我们介绍Doris怎么创建表及其他的相关操作。
hf200012·2023-11-28 07:35

Apache Doris 数据建模之 Aggregate Key 模型

了解Doris数据模型对于我们使用Doris来解决我们业务问题非常重要，这个系列我们将详细介绍Doris的三种数据模型及Doris数据分区分桶的一些策略，帮助用户更好的使用Doris。
hf200012·2023-11-28 07:35

Apache Doris Stream load 数据导入方式

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.概要Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到
hf200012·2023-11-28 07:05

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-11-28 07:59

Doris DUPLICATE KEY数据覆写方案

1.问题背景因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。2.实现步骤创建表CREATETABLEIFNOTEXISTStest1(`day`DATENOTNULLCOMMENT"default1980-00-00",`user_type`VARCHAR(20)COMMENT"",`product`VARCHAR(20)COMMENT"",`use
wangleigiser·2023-11-28 04:50

Doris的数据模型和增删改查操作

Doris的数据模型和增删改查Doris数据模型了解Doris的朋友都知道，Doris是一个MPP的分析型数据库。可以支持大数据下的实时分析。说到数据分析，不得不提的是Doris的数据模型。
Dennis985·2023-11-28 04:20

Day 008 2组阿德doris+《人生效率手册》读书笔记

阅读时间：17:30阅读内容：《人生效率手册》在阅读完《如何有效阅读一本书》和《洋葱阅读法》之后，我明白了为了更有效率地阅读，我们并不需要一拿到书就直接通读全书。所以在今天的阅读过程中，我只是看了这本书的标题，封面和前言。第一次听说这本书的作者张萌，还是在萌薇老师的奇遇人生手账营里。百度百科里对张萌萌姐的履历有详细的介绍，而最吸引我的是她是2018年北京奥运会的火炬手，她是85后连续创业者、时间管
阿德doris·2023-11-27 23:43

Doris数据查询

1查询设置1.1增大内存一个查询任务，在单个BE节点上默认使用不超过2GB内存，内存不够时,查询可能会出现‘Memorylimitexceeded’。SHOWVARIABLESLIKE"%mem_limit%";exec_mem_limit的单位是byte，可以通过SET命令改变exec_mem_limit的值。如改为8GB。SETexec_mem_limit=8589934592;</
shangjg3·2023-11-27 21:56

Doris的数据模型

Doris的数据模型主要分为3类：Aggregate、Uniq、Duplicate1Aggregate模型表中的列按照是否设置了AggregationType，分为Key（维度列）和Value（指标列）
shangjg3·2023-11-27 21:54

【Apache Doris】Manager极致丝滑地运维管理

【ApacheDoris】Manager极致丝滑地运维管理1.标准VS可视化运维管理2.环境信息2.1.硬件信息2.2.软件信息3.前置准备3.1.安装包准备3.2.文档手册准备4.集群初始化4.1.系统参数预设4.2.Manager部署4.3.新集群部署4.4监控告警4.4.1监控4.4.2告警5.集群升级5.1新包准备5.2一键升级5.3结果验收6.集群扩所容6.1一键扩容6.2一键缩容7.多
乙真仙人·2023-11-26 22:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他