doris

Doris Routine Load接入Kafka0.8.0实战

《图解Spark大数据快速分析实战》(王磊)1.问题产生的背景Doris通过RoutineLoad支持将Kafka数据接入DorisKafka目前（2022-07-18）版本已经到了3.2.0，但是客户反馈他们线上
wangleigiser·2023-11-19 21:48

Apache Doris安装部署

ApacheDoris安装部署版本：CentOS7.6ApacheDoris0.14.0编译选择合适的版本进行下载，此次选择0.14.0版本下载|ApacheDoris一、CentOS编译1安装依赖sudoyumgroupinstall'DevelopmentTools'&&sudoyuminstallmavencmakebyaccflexautomakelibtoolbisonbinutils-
终回首·2023-11-19 17:35

Apache Doris (五十四）： Doris Join类型 - Bucket Shuffle Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-19 09:41

经验篇：大数据常用工具集合

数据存储工具rds、mysql、postgresql、presto；starrocks/Doris；oss、es、hdfs、binlog、nosql、redis、neo4j；Kafkaoss：文件、图片
lazyone10·2023-11-17 17:32

【Doris】通过Stream Load解决Doris同步产生err=-235 or -215 or -238问题

Doris版本：0.15.0-rc04文章目录任务流程异常说明StreamLoad介绍简单说明支持数据格式前置条件启动批量删除方式相关代码示例任务流程异常说明当MySQL端批量进行Delete或Update
鼠标左键·2023-11-17 01:25

Apache Doris 系列： 基础篇-JAVA执行Stream Load

简介StreamLoad的本质是调用DorisBE节点的HTTPAPI来实现数据的导入，因为我们可以用JAVAHTTPCLIENT来实现数据的导入。代码publicclassStreamLoadExample{privatefinalstaticStringHOST="192.168.56.104";//FEIPprivatefinalstaticintPORT=8030;//FEHTTP端口pr
修破立生·2023-11-17 01:53

Doris-0.15-导入Json数据

Streamload之json数据导入Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
如是我闻.春风不渡·2023-11-17 01:23

【Doris全面解析】Doris Stream Load原理解析

1引言Doris的导入（Load）功能就是将用户的原始数据导入到Doris表中。
ApacheDoris·2023-11-17 01:52

Doris开启Stream Load记录

Doris的showload命令默认不支持查看StreamLoad导入记录。
wangleigiser·2023-11-17 01:22

Doris Stream Load导入CSV文件

在doris_test数据库中创建表CREATETABLE`doris_test_sink`(`id`intNULLCOMMENT"",`number`intNULLCOMMENT"",`price`DECIMAL
wangleigiser·2023-11-17 01:51

Apache Doris 入门教程14：数据导入之MySql load

基本原理MySqlLoad和StreamLoad功能相似,都是导入本地文件到Doris集群中,因此MySQLLoad实现复
sunjian286·2023-11-17 01:21

Apache Doris 入门教程17：数据导入之JSON数据导入

JSON格式数据导入Doris支持导入JSON格式的数据。本文档主要说明在进行JSON格式数据导入时的注意事项。
sunjian286·2023-11-17 01:21

Apache Doris 入门教程13：数据导入之Stream load

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
sunjian286·2023-11-17 01:20

python使用Stream Load方式写入doris

0.doris支持的多种数据写入方式如：导入总览|ApacheDorisSparkLoad通过Spark导入外部数据BrokerLoad通过Broker导入外部存储数据StreamLoad流式导入数据(
菜鸟001号·2023-11-17 01:19

Flink cdc +doris生产遇到的问题汇总-持续更新

问题：我有个表主键是字符串类型然后cdc去读取的时候自己split了很久checkpoint一直显示执行中，我看日志打印是info：checkpoint一直卡在那里程序一直等待中：原因：倒全量数据chunlSplitter花费了太长时间，这个在社区提问看有没有解决方案。知识备份：阿里云FlinkCDC文档地址：MySQL的CDC源表-实时计算Flink版-阿里云cdc参数:WITH参数参数说明是否
黄瓜炖啤酒鸭·2023-11-16 08:18

【Apache Doris】审计日志插件 | 快速体验

【ApacheDoris】审计日志插件|快速体验一、环境信息1.1硬件信息1.2软件信息二、审计日志插件介绍三、快速体验3.1AuditLoader配置3.1.1下载AuditLoader插件3.1.2解压安装包3.1.3修改plugin.conf3.2创建库表3.3初始化3.4验证一、环境信息1.1硬件信息CPU：48CCPU型号：x86_64内存：185GB1.2软件信息系统：CentOSAp
乙真仙人·2023-11-15 13:29

记-从Doris大表整成csv文件到本地的过程

任务明细任务是需要同步服务器上的一张大表里面的数据整理成csv的方式到本地，表数据量1.7个亿。跑数因为连接公司内网不稳定，故使用公司服务器跑数因为数据量和csv大小不成线性关系，更像指数递增，故切分为小文件来做代码java代码如下importjava.io.FileWriter;importjava.io.IOException;importjava.sql.*;publicclasshello
要努力学习啊男神·2023-11-13 18:28

Doris学习--1、Doris简介、操作Doris、Doris架构（数据模型）

                      星光下的赶路人star的个人主页                      心之所向，剑之所往文章目录1、Doris简介1.1快速开始1.2安装配置1.2.1
星光下的赶路人star·2023-11-13 12:06

Apache Doris 系列： 基础篇-Flink DataStream 读写Doris

简介本文介绍Flink如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector本质是通过StreamLoad来时实现数据的查询和写入功能。支持二阶段提交，可实现ExatlyOnce的写入。DorisFE节点配置1）需在apa
修破立生·2023-11-13 12:42

Doris hdfs数据导入doris动态分区表

@羲凡——只为了更好的活着Dorishdfs数据导入doris动态分区表本文重点1.动态分区表创建2.读取路径作为分区参数3.预聚合增加count列——set(cnt=1)4.brokerload的hdfsHA
羲凡丞相·2023-11-13 12:11

Doris系列12-数据导入之Broker Load

文章目录一.BrokerLoad概述二.基本操作2.1创建导入2.1.1Label2.1.2数据描述类参数2.1.3导入作业参数2.1.4strictmode与sourcedata的导入关系2.2查看导入2.3取消导入三.相关系统配置3.1FE配置四.案例4.1导入Hiveorc格式表4.2导入Hivetext格式表参考:一.BrokerLoad概述Brokerload是一个异步的导入方式，支持的
只是甲·2023-11-13 12:39

Doris系列11-数据导入之Stream load

文章目录一.Streamload概述1.1基本原理1.2支持数据格式1.3基本操作1.3.1创建导入1.3.1.1签名参数1.3.1.2导入任务参数1.3.1.3strictmode与sourcedata的导入关系1.3.2返回结果1.3.3取消导入1.4相关系统配置1.4.1FE配置1.4.2BE配置二.导入实例参考:一.Streamload概述Streamload是一个同步的导入方式，用户通过
只是甲·2023-11-13 12:09

Doris系列5-Doris数据模型

文章目录基本概念一.Aggregate模型1.1Aggregate模型介绍1.2案例一:导入数据聚合1.3案例2：保留明细数据二.Uniq模型三.Duplicate模型四.数据模型的选择建议参考:基本概念在Doris
只是甲·2023-11-13 12:08

spark sql读取hive数据直接写入doris，离线批量导入

一，sparksql读取hive表这里通过catalog查询表的字段信息，然后查询出来的字段colStr要给下面的doris使用。注意：我这里是直接拿取的hive表所有的字段。
黄瓜炖啤酒鸭·2023-11-13 12:36

DORIS 文件读取（研究中）

前言该文章用于记录研究doris1.1.1版本的后端文件读取流程。目前还只有部分流程。正在完善中。
innersense·2023-11-13 12:05

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
hf200012·2023-11-13 12:34

doris broker方式从hdfs导入数据到doris

LOADLABELdb1.label1(DATAINFILE("hdfs://abc.com:8888/user/palo/test/ml/file1")INTOTABLEtbl1COLUMNSTERMINATEDBY","(tmp_c1,tmp_c2)SET(id=tmp_c2,name=tmp_c1),DATAINFILE("hdfs://abc.com:8888/user/palo/test
gegeyanxin·2023-11-13 12:33

Doris为数据分析而生的olap数据库：数据模型和数据分区使用详解

数据模型：Doris中的字段类型：TINYINT1字节范围：-2^7+1~2^7-1SMALLINT2字
HD0do(迪答数据)·2023-11-13 12:02

Doris：读取Doris数据的N种方法

SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，用户可以通过各类客户端工具来访问Doris
m0_37559973·2023-11-13 12:59

Doris：多源数据目录（Multi-Catalog）

JDBCCatalog4.1上传mysql驱动包4.2创建mysqlcatalog4.3.读取mysql数据1.基本概念多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris
m0_37559973·2023-11-12 11:38

Apache SeaTunnel & Doris7月联合Meetup，从数据集成到分析实践

随着大数据时代的来临，数据的处理对企业的技术团队挑战越来越高，数据在同步时能否支持各种数据源？应对海量的增量数据实例如何拥有更好的性能？数据聚合平台是否能开箱即用/方便二次开发？应对数据采集多场景和工具的是否具备良好的拓展性等，都是数据开发工程师关心的切实痛点问题，而对于企业来说，海量数据如何更好更快的分析应用，数据如何驱动业务更好的发展，成为相当重要的一环。而庞大的数据增量以及业务多变的数据分析
SeaTunnel·2023-11-12 09:29

Doris0.15-Broker Load

Broker以插件的形式，独立于Doris部署。如果需要从第三方存储系统导入数据，需要部署相应的Broker，默认提供了读取HDFS、百度云BOS及AmazonS3的fs_broker。
如是我闻.春风不渡·2023-11-12 09:58

Doris Broker Load入门实战

BrokerLoad原理Brokerload是一个异步的导入方式，支持的数据源取决于Broker进程支持的数据源。用户在提交导入任务后，FE会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。+|1.us
wangleigiser·2023-11-12 09:28

Apache Doris 入门教程16：数据导入之S3 Load

S3Load从0.14版本开始，Doris支持通过S3协议直接从支持S3协议的在线存储系统导入数据。本文档主要介绍如何导入AWSS3中存储的数据。
sunjian286·2023-11-12 09:58

Apache Doris 入门教程10：数据导入之Broker Load

因为Doris表里的数据是有序的，所以Brokerload在导入数据的时是要利用doris集群资源对数据进行排序，相对于Sparkload来完成海量历史数据迁移，对Doris的集群资源占用要比较大，这种方式是在用户没有
sunjian286·2023-11-12 09:57

Apache Doris 入门教程11：数据导入之Routine Load

例行导入（RoutineLoad）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。本文主要介绍该功能的实现原理、使用方式以及最佳实践。
sunjian286·2023-11-12 09:57

Apache Doris 入门教程12：数据导入之Spark Load

SparkLoad通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移，大数据量导入Doris的场景。
sunjian286·2023-11-12 09:57

与创新者同行，Apache Doris in 2023

在刚刚过去的DorisSummitAsia2023峰会上，ApacheDorisPMC成员、飞轮科技技术副总裁衣国垒带来了“与创新者同行”的主题演讲，回顾了ApacheDoris在过去一年所取得的技术突破与社区发展，重新思考了在面对海量数据实时分析上的挑战与机遇，全面介绍了ApacheDoris在未来的迭代计划与演进方向。以下为衣国垒在峰会上的演讲节选，以衣国垒第一人称叙述，经编辑。非常高兴可以看
SelectDB技术团队·2023-11-10 17:51

平安人寿基于 Apache Doris 统一 OLAP 技术栈实践

导读：平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自2022年起平安人寿开始引入开源实时数据仓库ApacheDoris并基于此统一OLAP技术栈，通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期，并满足了业务方
SelectDB技术团队·2023-11-10 17:46

治理效率提升77%！揭秘基于DataLeap实时健康分的最佳实践

目前该实时数仓团队已运行了上万的实时任务，依赖的组件繁多（例如：Flink、Yarn、Abase、Doris等）、开发人员众多、开发习惯和经验程度参差不齐等各类主客观因素，导致任务稳定性、资源浪
字节数据平台·2023-11-10 11:50

Doris：Binlog Load导入数据

BinlogLoad提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC(ChangeDataCapture)功能。
m0_37559973·2023-11-09 08:22

大数据Doris（十九）：数据导入（Load）

文章目录数据导入（Load）一、Brokerload二、Streamload三、Insert四、Multiload
Lansonli·2023-11-08 22:59

Doris：MySQL数据同步到Doris的N种方式

1.2导入数据2.JDBC编码方式3.JDBCCatalog方式3.1上传mysql驱动包3.2创建mysqlcatalog3.3.插入数据4.BinlogLoad方式1.CSV文件方式当mysql与doris
m0_37559973·2023-11-08 03:53

Apache Doris 是什么

Doris的主要特点包括：高性能：通过MPP架构，Doris能够在多个节点上并行处理查询，从而提供快速的数据分析能力。实时分析：Doris支持实时的数据更新和查询，适用于需要频繁更新和即时分析的场景。
舒一笑·2023-11-07 18:14

Doris-02-数据表的操作(建表、数据模型Aggregate-Uniq-Duplicate、动态分区、临时分区、Rollup、物化视图等)

文章目录数据表的操作创建用户和数据库基本概念Row&ColumnPartition&Tablet建表语句语法和示例列定义分区与分桶PartitionBucketPROPERTIESENGINE数据模型Aggregate模型Uniq模型Duplicate模型数据模型的选择建议动态分区原理和使用方式动态分区规则参数示例临时分区使用场景操作导入和查询Rollup基本概念Aggregate和Uniq模型中
迷雾总会解·2023-11-07 16:35

Doris学习

doris简介由百度大数据部研发之前叫百度palo，2018年共享到apache社区，改名dorisMPP分析型数据库产品亚秒级响应架构非常简洁，易于运维支持10pb以上的超大数据集满足多种数据分析需求固定历史报表实时数据分析交互式数据分析探索式数据分析流批一体架构
Flakej·2023-11-07 16:34

【大数据入门核心技术-Doris】（三）Doris基础使用

一、安装部署参考：【大数据入门核心技术-Doris】（二）Doris安装部署二、用户相关使用1、用户登录启动完Doris程序之后，可以通过root或admin用户连接到Doris集群。
forest_long·2023-11-07 16:02

Apache Doris (五十三）： Doris Join类型 - Shuffle Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.shuffleJoin的原理
IT贫道·2023-11-07 08:10

Doris--基础--08--Broadcast/Shuffle Join

Doris–基础–08–Broadcast/ShuffleJoin1、介绍doris在join操作的时候时候，默认使用broadcast的方式进行join，即将小表通过广播的方式广播到大表所在的节点，形成内存
勤径苦舟·2023-11-07 03:58

Apache Doris的Bucket Shuffle Join实现

目录1.介绍2.原理3.使用1.介绍两个表进行join时，让右表根据左边的数据分布，进行数据的shuffle，再进行join。减少跨节点的数据传输。加速查询2.原理SQL语句为A表joinB表，并且join的等值表达式命中了A的数据分布列。而BucketShuffleJoin会根据A表的数据分布信息，将B表的数据发送到对应的A表的数据存储节点。BucketShuffleJoin的网络开销和内存开销
Bulut0907·2023-11-07 03:27
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他