Doris(Incuba 第11页

Apache doris Datax DorisWriter扩展使用方法

DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能ApacheDoris是一个现代化的MP

张家锋·2023-10-15 14:25

Apache Doris 首届线下峰会即将开启，最新议程公开！｜即刻预约

点击此处即刻报名DorisSummitAsia2023回顾人类的发展史，地球起源于46亿年前的原始星云、地球生命最初出现于35亿年前的原始海洋、人类物种诞生于数百万年前，而人类生产力的真正提升源于十八世纪六十年代的工业革命，自此以后，我们所熟知的一切，蒸汽机、电话、汽车、计算机、互联网、智能手机才被逐步创造出来。百年间，人类社会的变革超越了过去数百万年的总和，真正的“行万世于一时”。探索人类社会如

SelectDB技术团队·2023-10-14 20:51

突破边界与持续技术创新，Doris Summit Asia 2023 主论坛亮点解读

SelectDB技术团队·2023-10-14 20:21

Apache Doris 在小鹅通的应用实践

SelectDB技术团队·2023-10-14 20:21

Apache Doris 2.0.2 版本正式发布！

SelectDB技术团队·2023-10-14 20:19

「硬刚Doris系列」官方常见问题小汇总

阅读读本文前必读：「硬刚Doris系列」ApacheDoris基本使用和数据模型「硬刚Doris系列」ApacheDoris架构原理及核心特性解读「硬刚Doris系列」Doris高级用法「硬刚Doris

王知无(import_bigdata)·2023-10-14 04:50

一文介绍Doris

文章目录一、架构介绍1.名词解释2.FE(Frontend)3.BE（Backend）4.元数据结构二、存储介绍1.DataPage2.Footer信息3.indexpages三、索引介绍1.OrdinalIndex(一级索引)2.ShortKeyIndex索引3.ZoneMapIndex索引4.BloomFilter索引5.BitmapIndex索引6.索引的查询流程四、读写过程1.写入2.读取

阳呀么阳阳阳·2023-10-14 04:19

Doris宕机问题排查

搭建的doris集群有段时间总是宕机，起初不懂如何检查问题所在，后来请社区的开发人员帮忙排查，现记录一次排查步骤一、进入be的log目录下找到be.out日志文件，vimbe.out，按大写字母G到最底下

程序员在线炒粉·2023-10-14 04:16

Apache Doris系列：大数据平台安装与部署详细步骤

ApacheDoris系列：大数据平台安装与部署详细步骤ApacheDoris（前身为Palo）是一个适用于大数据分析的开源列式存储数据库。本文将介绍如何安装和部署ApacheDoris，以便您能够在大数据环境中使用它来进行高效的数据分析和查询。步骤1：环境准备在开始之前，请确保您的系统满足以下要求：操作系统：Linux（推荐使用CentOS或Ubuntu）Java版本：8或更高内存：建议至少16

我的小星星·2023-10-14 04:15

解决Key columns should be a ordered prefix of the schema. KeyColumns[1] (starts from zero) is xxx, but

文章目录1.复现错误2.分析错误3.解决错误1.复现错误今天在编写doris语句：CREATETABLEIFNOTEXISTStest3.test(`id`intCOMMENT'ID',`bb`stringCOMMENT

互联网全栈开发实战·2023-10-13 22:30

解决(conn=298) errCode = 2, detailMessage = String Type should not be used in key column[aa].的多无

1.复现错误今天，在写创建doris表的SQL语句：CREATETABLEIFNOTEXISTSt

互联网全栈开发实战·2023-10-13 22:30

解决Doris中的errCode = 2, detailMessage = String Type should not be used in key column[id].

1.复现错误今天在执行Doris的SQL语句时，却报出如下错误：CREATETABLEIFNOTE

互联网全栈开发实战·2023-10-13 22:59

【备忘】maven跳过ssl验证

由于公司网络策略设置原因，配置apache的nexus下载flink-doris-collector依赖报错：[ERROR]Failedtoexecutegoalonprojectdemo:Couldnotresolvedependenciesforprojectcom.tianzy.demo

Java小田·2023-10-13 05:45

Apache Doris ODBC外表之Postgresql使用指南

今天是2022年阳历新年第一天，祝大家元旦快乐，这也是2022年第一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris2022年起飞，顺利从Apache孵化器毕业成顶级项目，给大家带来更快

张家锋·2023-10-13 04:58

插画师 Doris Liou 的脑洞作品欣赏

分享一组来自插画师DorisLiou的脑洞作品~乍一看DorisLiou的作品，就被奇异怪诞的画风和内容吸引~画面整体色调大胆明亮，内容有趣耐人寻味。透过望远镜看到的秘密森林，蓝色的小猴子围着一个植物转圈，似乎在做什么神秘的仪式！让人想起了疫情时期在家办公的模样，视频会议时上半身正正经经，下半身是大裤衩配拖鞋。在肉片上的小人们还在认真做自己的事情，丝毫不知道危险的到来……看完这组图好想进入插画师的

布丁辰儿·2023-10-13 02:55

Apache Doris (三十九）：Doris数据导出 - MySQL dump导出

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录

IT贫道·2023-10-12 20:22

利用Flink(1.17)滚动窗口实时统计Apache Doris审计日志

具体方案：1.分析Doris审计日志：从日志可以看到，数据是以"|“分割开的KV数据（这块要特殊说

码猿小站·2023-10-12 19:03

Flink CDC 系列 - 实现 MySQL 数据实时写入 Apache Doris

▼关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中

Apache Flink·2023-10-12 10:28

Doris使用及优化（1.2.6 - 2.0.2 release）

文章内容是在使用Doris的过程中逐渐积累，但也只是针对使用的经验，请大家参照的时候要综合考虑自己方使用的情况而定。如果有不正确的、其他好的使用及优化建议，请留言批评指正。

JasonGofen·2023-10-12 10:27

博文推荐｜Flink CDC 结合 Doris Flink Connector 实现MySQL数据实时入Apache Doris

本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。

ApacheDoris·2023-10-12 10:54

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

需要组件：mysql5.7.37Doris-0.15.1flink-1.13.6scala_2.12flink-connector-mysql-cdc-2.0.2flink-doris-connector

红烧佩奇真好吃·2023-10-12 10:18

【Doris】Flink CDC 结合 Doris Flink Connector 实现MySQL数据实时入Apache Doris

本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。

九层之台起于累土·2023-10-12 10:48

【Doris实战】Apache-doris-2.0.2部署帮助手册

Apache-doris-2.0.2部署帮助手册校验时间：2023年10月11日文章目录Apache-doris-2.0.2部署帮助手册安装前准备安装包安装要求Linux操作系统版本需求软件需求句柄需求关闭

顧棟·2023-10-12 10:09

通过flink 插入数据Stream_load 方式

1.场景：通过模拟数据发送kafa—>flink接收到kakfa数据–>然后通过flink进行streamLoad插入数据到doris中；2.建表语句CREATETABLE`wudl_doris01`(

wudl5566·2023-10-12 08:44

doris 记录

doris文档—>>>Doris官网https://www.wenjiangs.com/doc/fgifo6j1https://www.bookstack.cn/read/doris-1.1-en/GettingStarted.mddorisonk8shttps

胖胖胖胖胖虎·2023-10-11 19:11

Doris数据同步：stream load Java工具类实现

导入原理自己百度吧，工具类需要引入一个依赖org.apache.httpcomponentshttpclient${httpcomponents.version}工具类：1.导入csv文件，文件格式如下：1,2,,3,41,2,3,4,5publicclassDorisStreamLoader{/***用户名*/privatefinalStringuser;/***密码*/privatefinal

life is ftc·2023-10-11 16:23

从 Clickhouse 到 Apache Doris，慧策电商 SaaS 高并发数据服务的改造实践

作者介绍：马成，慧策JAVA高级研发工程师慧策（原旺店通）是一家技术驱动型智能零售服务商，基于云计算PaaS、SaaS模式，以一体化智能零售解决方案，帮助零售企业数字化智能化升级，实现企业规模化发展。凭借技术、产品、服务优势，慧策现已成为行业影响力品牌并被零售企业广泛认可。2021年7月，慧策完成最新一轮D轮3.12亿美元的融资，累计完成四轮逾4.52亿美元的融资，与诸多国际一流企业、行业头部企业

SelectDB技术团队·2023-10-11 14:05

数据仓库的MPP架构

数据仓库的MPP架构1.MPP架构的大数据计算引擎Impala、ClickHouse、Druid、Doris，采用MPP架构的很多OLAP引擎号称：亿级秒开2.MPP架构MPP是系统架构角度的一种服务器分类方法

美美的大猪蹄子·2023-10-11 10:17

基于Binlog、FlinkCDC、Doris实现实时数据同步

基于Binlog、FlinkCDC、Doris实现数据实时同步Docker部署MySQLdockerpullmysql:5.7.32通过挂载的方式开启一个mysql镜像dockerrun-p3307:3306

何以问_·2023-10-11 07:38

Flink实现kafka到kafka、kafka到doris的精准一次消费

1流程图2Flink来源表建模--来源-城市topicCREATETABLENJ_QL_JC_SSJC_SOURCE(recordstring)WITH('connector'='kafka','topic'='QL_JC_SSJC','properties.bootstrap.servers'='172.*.*.*:9092','properties.group.id'='QL_JC_SSJC_

DLoong+·2023-10-10 14:34

Doris进阶——数据导出

Export导出Doris提供了一种数据导出功能，可以将数据（可指定分区）的数据以文本的格式进行导出，可以通过Broker进程将数据导出到HDFS或者其他远端存储系统中。

小眼睛的Ayuan·2023-10-09 10:46

Apache Doris 0.14.0部署HDFS Broker服务

ARM64平台编译，我们这里采样Docker环境编译下载Docker镜像[root@bigdata001~]#[root@bigdata001~]#dockerpullapache/incubator-doris

Bulut0907·2023-10-09 10:46

Apache Doris 数据导入导出 , Binlog Load

INSERT语句支持以下两种语法：SQLINSERTINTOtableSELECT…INSERTINTOtableVALUES(…)对于Doris来说，一个INSE

All996·2023-10-09 10:16

Doris系列18-数据导出

文章目录一.数据导出概述二.案例2.1不指定文件2.1指定文件参考:一.数据导出概述数据导出（Export）是Doris提供的一种将数据导出的功能。

只是甲·2023-10-09 10:43

Doris-04-数据导入和导出&数据备份和恢复

BrokerLoadStreamLoadRoutineLoadBinlogLoadInsertIntoS3Load数据导出Export导出查询结果导出mysqldump导出数据备份及恢复简要原理说明备份恢复删除远端仓库数据导入和导出数据导入导入（Load）功能就是将用户的原始数据导入到Doris

迷雾总会解·2023-10-09 10:42

Apache Doris 入门教程18：数据导出

数据导出数据导出（Export）是Doris提供的一种将数据导出的功能。

sunjian286·2023-10-09 10:42

Apache Doris Broker快速体验之案例（3）

ApacheDorisBroker快速体验之案例（3）环境信息硬件信息软件信息Broker介绍Broker导入案例测试表创建数据初始化导入任务创建结果验证Broker导出案例测试表创建数据初始化导出任务创建结果验证OutFile案例测试表创建数据初始化导出任务创建结果验证环境信息硬件信息CPU：4CCPU型号：ARM64内存：10GB硬盘：66GBSSD软件信息VM镜像版本：CentOS-7Apa

乙真仙人·2023-10-09 10:08

Doris 入门：高级特性（四）

目录一、表结构变更二、Rollup三、增大内存四、修改超时时间五、Broadcast/ShuffleJoin六、数据模型七、索引八、物化视图九、动态分区十、数据导出十一、ColocationJoin十二、SQL函数一、表结构变更添加列：altertabletable1addcolumnuvbigintsumdefault‘0’afterpv;删除列：altertabletable1dropcolu

AcWare 学习笔记·2023-10-09 10:07

Apache Doris (三十七）：Doris数据导出 - Export导出

进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊。博主个人B栈地址：https://space.bilibili.com/430821680?spm_id_from=333.999.0.0目录

IT贫道·2023-10-09 10:02

Flink+Doris 实时数仓

Flink+Doris实时数仓Doris基本原理Doris基本架构非常简单，只有FE(Frontend)、BE(Backend)两种角色，不依赖任何外部组件，对部署和运维非常友好。

不二人生·2023-10-09 04:42

Doris在线升级

安装路径旧/opt/doris-0.9.0新/opt/DORIS-0.9.111.升级步骤1)下载解压tarzxfvDORIS-0.9.11-release-output.tar.gz耗时，传输jar包

河漏风·2023-10-08 22:00

docker常用命令

docker常用命令dockercp容器到本地：dockercpbe:/opt/apache-doris/be/conf/be.conf.本地到容器：dockercpbe.confbe:/opt/apache-doris

wangqiaowq·2023-10-08 22:59

Doris物化视图使用实战

物化视图原理物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris中的一个特殊的表。

wangleigiser·2023-10-08 22:58

Doris Routine Load正则表达实战

DorisRoutineLoad正则表达实战1.Kafka安装#1.下载安装包wgethttps://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz#2.解析安装包$tar-xzfkafka_2.13-3.2.0.tgz$cdkafka_2.13-3.2.0#3.启动zookeeper$nohupbin/zookeeper-server-star

wangleigiser·2023-10-08 22:28

Doris 0.14.7 版本发布啦

Doris0.14.7版本发布啦！作为ApacheDoris社区的主要维护团队，百度Doris团队也同时维护了基于ApacheDoris官方Release版本的3位迭代版本(tags)。

黄瓜炖啤酒鸭·2023-10-08 22:57

Doris对接hive数据源以及Doris版本滚动升级实操

对接hive数据源(Doris支持两种建表方式,分桶表和复合分区表/复合分区表先分区在分区内分桶)分桶表测试案例:建hive表:droptabletmp_txzl_as2;CREATETABLE`tmp_txzl_as2

WLY@WLY·2023-10-08 22:27

Datasophon升级doris版本为2.0.1

一、背景使用datasophon管理，原来是doris-1.2.4版本由于查询数据量不一致问题升级到doris-2.0.1版本集群规划两台fe一个follower,一个observer,三台BE节点，两个台

皮皮阿~·2023-10-08 22:56

Apache Doris 升级手册

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星ApacheDoris可以通过滚动升级的方式，平滑进行升级。

hf200012·2023-10-08 22:25

Doris 2.0.1 DockerFile版升级实战

1、Doris2.0.1DockerFile的制作参考Doris2.0.1Dockerfile制作-CSDN博客2、之前的Doris集群通过Docker容器进行的部署，需提前准备好Doris2.0.1的镜像包参考

wangqiaowq·2023-10-08 22:24

Doris数据库使用jdbcTemplate插入或修改的内容含有单引号的问题

今天遇到一个问题，做一个批量插入的功能使用jdbcTemplate.batchUpdate（Stringsql,ListbatchArgs）；sql是包含占位符的insert语句：insertintotalbeA(id,name)values(?,?)batchArgs是具体参数数组：{[1,'A'],[2,'B']}类似这种。如果name的值带有单引号，类似于I'm这种。jdbcTemplate

java路飞·2023-10-08 03:42

推荐频道

Doris(Incuba