Doris(Incuba 第3页

PiflowX-DorisWrite组件

DorisWrite组件组件说明往Doris存储写入数据。

暗影八度·2024-01-14 12:15

Doris集群搭建——2.0.1.1版本

目录一、启动Doris二、配置并分发doris安装包和环境变量1.分发doris安装包2.解压安装包3.分发环境变量4.修改对应的配置文件(1)修改be的配置(2)修改fe的配置三、be的扩容与缩容(一

雷神乐乐·2024-01-14 06:31

升级Doris集群——2.0.1.1到2.0.3版本

之前安装的Doris版本官方说不太稳定，所以我们可以对其进行升级1.关闭所有节点2.下载2.0.3版本的Doris安装包，将旧版本的bin和lib目录替换为对应新版本bin和lib目录，按照非master

雷神乐乐·2024-01-14 06:31

Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决

1、版本介绍：doris版本：1.2.8SparkConnectorforApacheDoris版本：spark-doris-connector-3.3_2.12-1.3.0.jar:1.3.0-SNAPSHOTspark

Data_IT_Farmer·2024-01-13 07:57

D43 2组阿德doris+《这些人，那些事》读书笔记

阿德doris·2024-01-12 15:10

批量生成datax同步JSON（postgresql到doris）

1.问题描述使用datax同步psql数据到doris，表的数量过多，写datax的配置文件很麻烦。鉴于此，编写了一个datax的配置文件生成脚本，可以灵活的实现一键生成配置文件，提高生产效率。

tuoluzhe8521·2024-01-12 13:30

Apache Doris入门10问

蟹老板jerry·2024-01-12 13:30

银联商务基于 Apache Doris 的数据平台升级实践

本文导读：在长期服务广大规模商户的过程中，银联商务已沉淀了庞大、真实、优质的数据资产数据，这些数据不仅是银联商务开启新增长曲线的基础，更是进一步服务好商户的关键支撑。为更好提供数据服务，银联商务实现了从Hadoop到ApacheDoris的架构升级，使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍，满足大规模数据导入和实时极速查询的业务需求，解决了业务和数

SelectDB技术团队·2024-01-12 13:28

【技术选型】Doris vs starRocks

比对结论仅从当前能看到的数据中，相比于doris，starRocks在性能方面具备优势，且更新频率高（降低维护成本）。

偏振万花筒·2024-01-12 08:41

大数据Doris（五十四）：SQL函数之日期函数（二）

文章目录SQL函数之日期函数（二）一、DAYOFMONTH(DATETIMEdate)二、dayofweek(DATETIMEdate)

Lansonli·2024-01-11 20:30

Flink/Doris生产环境方案选型的一些思考

以Flink为主的计算组件和以Doris为代表的存储+计算一体的方案选择问题是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会遇到的问题。

王知无(import_bigdata)·2024-01-11 09:37

Apache Doris 聚合函数源码阅读与解析｜源码解读系列

笔者最近由于工作需要开始调研ApacheDoris，通过阅读聚合函数代码切入ApacheDoris内核，同时也秉承着开源的精神，开发了array_agg函数并贡献给社区。笔者通过这篇文章记录下对源码的一些理解，同时也方便后面的新人更快速地上手源码开发。聚合函数，顾名思义，即对一组数据执行聚合计算并返回结果的函数，在统计分析过程中属于最常见的函数之一，最典型的聚合函数包括count、min、max、

SelectDB技术团队·2024-01-11 07:16

Apache Doris 入门 10 问

SelectDB技术团队·2024-01-11 07:16

doris批量创建分区

大数据Doris（十五）：Doris分区Partition-腾讯云开发者社区-腾讯云CREATETABLEIFNOTEXISTSexample_db.example_range_tbl3(`user_id

青云游子·2024-01-10 15:51

doris，DUPLICATE KEY类型不支持update

明细表只能支持insert/delete，不支持update语句。update需要通过delete+insert实现

青云游子·2024-01-10 15:51

Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.Spark操作Doris配置项

IT贫道·2024-01-10 14:35

李家的张麻子：ETL工程师的数据库编程之旅，用ChatGPT打破常规！

数据库编程大赛：一条SQL计算扑克牌24点12月27日，NineData和云数据库技术社区主办，华为云、火山引擎、开源中国、云和恩墨、TDengine、云猿生数据、DORIS、ITPUB等协办单位和媒体

NineData·2024-01-10 13:58

Apache Doris (六十二）： Spark Doris Connector - (2)-使用

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.将编译jar包加入本地Maven仓库

IT贫道·2024-01-10 08:54

大数据OLAP引擎发展原因及特性分析

在大数据高速发展时期，多个技术团队基于OLAP的应用需求，开发出多种OLAP技术，如Hive、SparkSql、FlinkSql、Impala、Kylin、ClickHouse、Doris等，或者在实现其他应用需求的时候

i7杨·2024-01-10 01:31

Doris 案例篇——长安汽车基于 Doris 的车联网数据分析平台建设实践

Doris案例篇——长安汽车基于Doris的车联网数据分析平台建设实践随着消费者更安全、更舒适、更便捷的驾驶体验需求不断增长，汽车智能化已成必然趋势。

不二人生·2024-01-09 12:20

doris部署

doris-2.0.1.1部署安装一、下载doris安装包二、解压到/data下，修改名称三、修改fe配置文件四、启动doris-fe五、验证doris-fe六、修改be配置文件七、启动doris-be

码海小虾米_·2024-01-09 09:50

doris使用笔记

1将数据导到本地csvselect*fromtableNameintooutfile"file:///root/doris/data/dis_"formatasCSVproperties("max_file_size

西门不止会吹雪·2024-01-09 00:00

数仓建设学习路线（二）模型建设(1)

OLAP概念全称OnLineAnalyticalProcessing，中文名联机分析处理系统，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K

语兴数据·2024-01-08 18:58

浅谈Doris在物联网应用

一、Doris简介Doris是一个高性能的分布式列式存储系统，支持PB级别的数据存储和查询。

shinelord明·2024-01-08 11:03

Doris初识(01)

Doris初识初识ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景

不二人生·2024-01-07 16:14

Doris 的概述及使用场景

Doris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景

一座野山·2024-01-06 16:16

Apache Doris 2.0.2 安装步骤 Centos8

Linux操作系统版本需求Linux系统版本当前系统版本CentOS7.1及以上CentOS8Ubuntu16.04及以上-软件需求软件版本当前版本Java1.81.8.0_391GCC4.8.2及以上gcc(GCC)8.5.020210514(RedHat8.5.0-4)1、查看操作系统版本方法1：使用命令行打开终端或命令行窗口。运行以下命令来查看CentOS版本信息：cat/etc/cento

Feike_Feng·2024-01-06 07:30

Apache Doris (六十一）： Spark Doris Connector - (1)-源码编译

博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.SparkDorisConnector2.Spark与Doris版本兼容

IT贫道·2024-01-05 14:40

P3704数字表格(莫比乌斯反演)

题目背景Doris刚刚学习了fibonacci数列。

yusen_123·2024-01-05 11:48

大数据 - Doris系列《一》- Doris简介

目录1.1Doris概述1.2OLAP和OLTP（面试）1.应用场景联机事务处理OLTP(On-LineTransactionProcessing)联机分析处理OLAP(On-LineAnalyticalProcessing

王哪跑nn·2024-01-05 09:55

大数据 - Doris系列《二》- Doris安装（亲测成功版）

设置系统最大文件打开句柄数==>启动一个程序的时候，打开文件的数量就是句柄数3.时钟同步4.关闭交换分区（swap）2.2安装FE2.3安装BE2.4BE向FE注册2.5扩容和缩容（搭建集群）2.5.1doris

王哪跑nn·2024-01-05 09:49

Apache Doris (五十八）： Doris - Join优化原理

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.RuntimeFilterJoin优化</

IT贫道·2024-01-05 04:49

Apache Doris (五十九）： Doris - BITMAP精准去重

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录

IT贫道·2024-01-05 04:49

Apache Doris (六十）： Doris - 物化视图

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录

IT贫道·2024-01-05 04:48

Doris系列2-Doris编译和安装

一.编译前准备1.1环境准备主机配置:IP主机名部署10.31.1.119hp5FEFS_Broker10.31.1.120hp6BEFS_Broker10.31.1.121hp7BEFS_Broker,FEObserver10.31.1.122hp8BEFS_Broker硬件配置：每台主机：CPU4核、内存8G、硬盘150G软件版本：名称版本操作系统CentOSrelease7.8(Final)

只是甲·2024-01-04 19:09

Doris 数仓使用规范（经验版）

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au

hf200012·2024-01-03 19:30

【大数据】Doris 数仓使用规范原则

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au

奔向理想的星辰大海·2024-01-03 16:48

数字化转型必备：数睿通 2.0 数据中台升级详解

引言转眼又过了一个月的时间，数睿通2.0数据中台也迎来了本月的更新，本次更新主要包括：数据资产完善（资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块

小螺旋丸·2024-01-03 10:51

Apache Doris (五十七）： Doris - Runtime Filter

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录

IT贫道·2024-01-02 04:42

Apache Doris 单节点（可多节点）Docker集群制作教程

集群制作Author：苏奕嘉脚本研发Author：种益调研测试Author：杨春东前言ApacheDoris是当下非常火热和流行的MPP架构OLAP数据库，很多同学想自学/测试Doris的使用和能力，但是又苦于没有环境或者畏惧冗长的编译

张家锋·2024-01-01 11:14

【Apache Doris】自定义函数之 JAVA UDF 详解

【ApacheDoris】自定义函数之JAVAUDF详解一、背景说明二、原理简介三、环境信息3.1硬件信息3.2软件信息四、IDE准备五、JAVAUDF开发流程5.1源码准备5.1.1pom.xml5.1.2JAVA代码5.2mvn打包5.2.1clean5.2.2package5.3函数使用5.3.1upload5.3.2使用六、注意事项七、总结一、背景说明UDF主要适用于，用户需要的分析能力D

乙真仙人·2023-12-31 17:51

大数据Doris（四十五）：物化视图选择最优

文章目录物化视图选择最优物化视图选择最优下面详细解释一下第一步最优物化视图是被如何选择出来的。这里分为两个步骤：对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算（取部分行，部分列，或部分行列的聚合）出都可以留在候选集中，过滤完成后候选集合大小>=1。从候选集合中根据聚合程度，索引等条件选出一个最优的也就是查询花费最少物化视图。这里再举一个相对复杂的例子，来体现这个过程。

Lansonli·2023-12-31 14:18

go操作doris踩坑记录

go操作doris踩坑记录1.doris无法用deletefrom删除整个表数据2.doris本身事务只支持insert、rollback、commitError1105(HY000):TException

清盏涂墨衣·2023-12-31 10:56

【遇见Doris】Apache Doris (incubating) 0.12.0版本预览

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。

ApacheDoris·2023-12-31 03:15

【遇见Doris】Apache Doris (incubating) 0.11.0新版本预览线下沙龙

此次Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。

ApacheDoris·2023-12-31 03:45

【遇见Doris】Apache Doris 在京东广告平台的应用

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。

ApacheDoris·2023-12-31 03:44

【遇见Doris】Apache Doris Parquet文件读取的设计与实现