E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
DORIS
利用大数据领域
Doris
提升企业数据决策效率
利用大数据领域
Doris
提升企业数据决策效率关键词:大数据、
Doris
、企业数据决策、数据处理、效率提升摘要:本文围绕利用大数据领域的
Doris
来提升企业数据决策效率展开。
大数据洞察
·
2025-06-28 23:47
大数据
网络
ai
实时数仓工具-SelectDB
Doris
项目于2013年内部开发,2017年正式开源,目前在GitHub上获得了接近13,000星,全球已有超过5,000家企业采用,社区活跃度极高,累计贡献者超过650人,且曾连续数月在大数据
清平乐的技术博客
·
2025-06-27 04:25
实时数仓
数据仓库
Apache
Doris
3.0.6 版本正式发布
亲爱的社区小伙伴们,ApacheDoris3.0.6版本已于2025年06月16日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。GitHub下载官网下载行为变更禁止Unique表使用时序Compaction#49905存算分离场景下AutoBucket单分桶容量调整为10GB#50566新特性Lakehouse支持访问AWSS3TableBuckets中的Iceberg表格式详
·
2025-06-24 21:00
数据库apache
doris
通过raft协议实现高可用
在
Doris
中,Raft协议主要通过管理和同步FE(Frontend)节点的元数据来实现集群的高可用性,确保即使部分节点故障,系统仍能持续提供服务并保障数据一致性。
jiedaodezhuti
·
2025-06-24 09:06
数据库
服务器
网络
信创 CDC 实战|国产数据库的数据高速通道:OceanBase 实时入仓 StarRocks
本系列文章聚焦OceanBase、GaussDB、TDSQL、达梦等主流信创数据库,逐一拆解其日志机制与同步难点,结合TapData的实践经验,系统讲解从CDC捕获到实时入仓(
Doris
、StarRocks
·
2025-06-23 14:08
数据库
Apache
Doris
2.0.12 版本正式发布
官网下载:https://
doris
.apache.org/download/GitHub下载:https://github.com/apache/
doris
/releases行为变更不再将建表的默认注释设置为表的类型
SelectDB技术团队
·
2025-06-23 04:51
数据库
大数据
数据仓库
Doris
实时数仓
Apache
Doris
3.0.6 版本正式发布
亲爱的社区小伙伴们,ApacheDoris3.0.6版本已于2025年06月16日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。GitHub下载官网下载行为变更禁止Unique表使用时序Compaction存算分离场景下AutoBucket单分桶容量调整为10GB新特性Lakehouse支持访问AWSS3TableBuckets中的Iceberg表格式详情请参考文档:Icebe
SelectDB技术团队
·
2025-06-23 03:49
apache
大数据
极速分析
实时分析
数据分析
Doris
数据集成 Apache Paimon
Doris
数据集成ApachePaimon湖仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。
猫猫姐
·
2025-06-20 23:08
Doris
doris
Apache
Doris
高频问题排查指南:从报错到性能优化
一、部署与配置问题1.FE启动失败:AddressalreadyinuseERROR:fe.journal.Catalogconstructorexception.port=9010isalreadyused.原因:端口被占用或残留进程未释放解决:#查找占用进程lsof-i:9010#终止残留进程kill-9#清理元数据(谨慎操作)rm-rfdoris-meta/image/*2.BE节点无法加入
智慧源点
·
2025-06-19 08:33
大数据
apache
Doris
数据集成 Apache Iceberg
Doris
数据集成ApacheIcebergApacheIceberg是一种开源、高性能、高可靠的数据湖表格式,可实现超大规模数据的分析与管理。
猫猫姐
·
2025-06-17 10:21
Doris
doris
iceberg
Apache
Doris
2.1.10 版本正式发布
官网下载:https://
doris
.apache.org/downloadGitHub下载:https://github.com/apache/
doris
/releases行为变更AuditLog中的
SelectDB技术团队
·
2025-06-09 18:47
apache
数据仓库
doris
Doris
数据库深度解析:架构、原理与实战应用
一、
Doris
的架构与原理1.架构组成
Doris
是一个分布式MPP(大规模并行处理)数据库,它的架构主要由以下几部分组成:FE(Frontend):负责管理元数据、解析SQL查询、优化查询计划,并将任务分配给
从零开始学习人工智能
·
2025-06-08 10:30
数据库
架构
【
Doris
基础】
Doris
中的Replica详解:Replica原理、架构
目录1Replica基础概念1.1什么是Replica1.2
Doris
中的副本类型2
Doris
副本架构设计2.1副本分布机制2.2副本一致性模型3副本生命周期管理3.1副本创建流程3.2副本恢复机制4副本读写流程详解
IT成长日记
·
2025-06-06 11:40
Apache
Doris学习之旅
apache
Doris
Replica
Doris
实践——叮咚买菜基于OLAP引擎的应用实践
目录前言一、业务需求二、选型与对比三、架构体系四、应用实践4.1实时数据分析4.2B端业务查询取数4.3标签系统4.4BI看板4.5OLAP多维分析五、优化经验六、总结原文大佬介绍的这篇
Doris
数仓建设实践有借鉴意义的
吵吵叭火
·
2025-06-04 20:05
大数据
大数据
数据仓库
Apache
Doris
实时分析数据仓库的快速入门
Doris
通常被分类为OLAP数据库,并且在ClickBench(一个面向分析型数据库系统的基准测试)中表现出色。得益于其高效的向量化执行引擎,
Doris
也可以用作快速的向量数据库。
AWsggdrg
·
2025-06-04 20:04
apache
数据仓库
知识图谱
python
开源夜莺V8.Beta11发版,支持CK告警、事件Pipeline等
支持ClickHouse告警夜莺最重要的定位是告警引擎,所以会持续增加各类数据源的告警支持,ClickHouse之后还有
Doris
、MySQL、Postgres等。
·
2025-06-04 11:37
运维监控开源开源监控软件
最全
Doris
实战——结合Flink构建极速易用的实时数仓_flink
doris
3.6.4执行层查询加速四、行业最佳实践4.1跨境电商4.2运营服务商4.3供应链企业原文大佬的这篇
Doris
+Flink构建实时数仓的实战文章整体写的很深入,这里直接摘抄下来用作学习和知识沉淀。
2301_82241942
·
2025-06-01 06:36
程序员
flink
linq
大数据
Apache
Doris
大厂高频面试题50道和参考答案
Doris
与传统关系型数据库的主要区别是什么?
Doris
的架构是怎样的?请详细说各个组件的功能。请描述一下
Doris
的基本架构,并解释其主要组成部分的作用。
Doris
的主要特点是什么?
大模型大数据攻城狮
·
2025-06-01 04:21
doris
doris面试
doris运维
mpp架构
数据仓库
数据湖
物化视图
doris
如何实现自增id和uuid生成
doris
没有uuid函数。可以通过可选就唯一字段群值加密即可。例如,结果表有维度和度量字段。已知一行结果组合一定为唯一值。利用concat和MD5函数生成uuid即可。
斑鸠同学
·
2025-05-31 01:12
doris
大数据
《Spark/Flink/
Doris
离线&实时数仓开发》目录
欢迎加入《Spark/Flink/
Doris
离线&实时数仓开发》付费专栏!
大模型大数据攻城狮
·
2025-05-25 12:32
spark
flink
大数据
数据面试
离线数仓
实时数仓
调度器
Doris
数据导入方式与Broker Load操作指南
Doris
数据导入方式与BrokerLoad操作指南ApacheDoris作为新一代MPP分析型数据库,提供了六种高效的数据导入方式,每种方式针对不同的数据源、数据规模和实时性需求,形成了完整的数据集成解决方案
晚夜微雨问海棠呀
·
2025-05-23 15:59
大数据
sql
【架构】-- StarRocks 和
Doris
介绍与选型建议
StarRocks和
Doris
的介绍随着大数据分析需求的不断增长,企业对高性能、低延迟的分析型数据库提出了更高的要求。
oo寻梦in记
·
2025-05-23 15:27
数据湖仓
架构设计
大数据
starrocks
doris
MPP
基于Redis bitmaps人群圈群
由于基于bitmap技术的圈群场景在Clickhouse和
Doris
的压测表现不是很理想,查阅了资料发现很少有文章提到bitmap在高并发人群圈选的性能问题,难道钱能解决的问题就不是问题了?
colodoo(纸伞)
·
2025-05-22 12:08
大数据
redis
大数据
java
clickhouse
专为 Apache
Doris
打造的可视化数据管理工具 SelectDB Studio V1.1.0 重磅发布!
作为全球领先的开源实时数据仓库,ApacheDorisGithubStars已超过13.6k,并在5000余家中大型企业生产环境得到广泛应用,支撑业务核心场景,成为众多企业数据分析基础设施不可或缺的重要基座。过去,ApacheDoris用户常用DBeaver、Navicat等业界常见的数据库客户端工具连接ApacheDoris及其兼容数据库。这些客户端工具可完成基本的数据查询与数据管理操作,但存在
·
2025-05-20 21:09
数据库运维
Doris
高性能读能力与实时性实现原理
一、读性能优异的核心原因MPP分布式架构:采用大规模并行处理架构,将查询请求拆解为多个子任务并行执行,BE节点之间通过数据分片并行计算实现负载均衡,线性扩展处理能力。单查询可同时利用多节点CPU资源,10PB级数据亚秒级响应(P95响应时间<1秒)。向量化执行引擎基于SIMD指令集的向量化处理,单次运算处理1024行数据块,相比传统行式引擎效率提升5-10倍。通过减少虚函数调用、提升C
jiedaodezhuti
·
2025-05-20 14:41
大数据
doris
节点数量规划
1.FE节点数量FE节点主要负责用户请求的接入、查询解析规划、元数据管理及节点管理等工作。对于生产集群,一般建议部署至少3个节点的FE以实现高可用环境。FE节点分为以下两种角色:Follower节点:参与选举操作,当Master节点宕机时,会选择一个可用的Follower节点成为新的Master。Observer节点:仅从Leader节点同步元数据,不参与选举,可用于横向扩展以提升元数据的读服务能
jiedaodezhuti
·
2025-05-16 22:07
doris
大数据
为什么
doris
是实时的?
ApacheDoris作为实时分析型数据库的核心竞争力源于其技术架构与功能设计的深度融合,以下从关键特性解析其实时能力的技术实现:一、MPP架构驱动分布式并行计算基于大规模并行处理(MPP)架构,
Doris
jiedaodezhuti
·
2025-05-16 22:06
doris
大数据
在文件检索方面
doris
和elasticsearch的区别
apacheDoris与Elasticsearch在文件检索领域的差异源于技术架构与定位目标的本质区别,以下从核心维度对比分析二者的技术特性:一、架构设计与定位差异维度ApacheDorisElasticsearch核心架构分布式MPP列式分析引擎,面向OLAP优化分布式倒排索引检索引擎,面向全文搜索优化数据模型结构化/半结构化数据为主,支持动态Schema非结构化文本为主
jiedaodezhuti
·
2025-05-16 22:06
elasticsearch
doris
elasticsearch
大数据
搜索引擎
Doris
使用(2)
目录1数据导入1.1BrokerLoad1.2StreamLoad1.3RoutineLoad1.4InsertInto2数据导出3数据删除4Rollup表官网使用手册:https://
doris
.apache.org
xiuxiuhh
·
2025-05-10 23:01
大数据
doris
Doris
的日期时间函数使用教程
日期时间处理教程序号名称网址1日期时间加减MySQL日期相关_mysql日期加减-CSDN博客1、CONVERT_TZ(DATETIMEdt,VARCHARfrom_tz,VARCHARto_tz)转换datetime值dt,从from_tz转到to_tz时区,并返回的结果值。如果参数无效该函数返回NULL。MySQL[test_db]>selectconvert_tz('2019-08-0113
yqj234
·
2025-05-10 23:01
数据库
Doris
数据集成 Apache Hudi
Doris
数据集成ApacheHudi湖仓一体(DataLakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。
不二人生
·
2025-05-10 23:29
Doris
实战
数据仓库
doris
湖仓一体
如何对比某个表在Hive和
Doris
磁盘空间大小和
Doris
表如何优化存储空间保姆级教程(亲试可用)
目录一、如何查看某个表在Hive占用的磁盘空间大小1.使用DESCRIBEFORMATTED查询2.使用HDFS命令查看目录大小3.使用hadoopfs-du命令二、如何查看某个表在
Doris
占用的磁盘空间大小
大模型大数据攻城狮
·
2025-05-08 12:32
hive
hadoop
数据仓库
doris
mpp
doris优化
doris压缩
Docker单机部署
Doris
超详细图文教程
1、先修改内核参数在启动
doris
的be时,需要将Linux操作系统的内核参数设置为2000000,这里是
Doris
官方要求的。
人间味是清欢
·
2025-05-07 11:58
docker
容器
运维
Apache
Doris
与StarRocks对比
##历史背景ApacheDoris源自百度的Palo项目,于2017年开源,2018年贡献给Apache基金会,并于2022年从Apache孵化器毕业成为顶级项目。StarRocks则是由原ApacheDoris团队的一部分成员在2020年分支出来成立的独立项目,最初称为DorisDB,后更名为StarRocks。这两个项目虽然有共同的起源,但在过去几年中各自按照不同的方向发展,形成了各自的技术特
weixin_47233946
·
2025-05-07 09:46
apache
SeaTunnel 2.3.9同步Oracle数据至
Doris
出现乱码?别慌,这么做
Oracle字符集为ASCII,如果想要同步数据到
Doris
,就会出现中文乱码问题。那么出现这个问题该怎么办呢?实际上有办法解决。
SeaTunnel
·
2025-05-04 03:28
oracle
数据库
Doris
索引机制全解析,如何用高效索引加速数据分析
本文将深入解析
Doris
索引设计的精妙之处。与传统的OLTP数据库不同,
Doris
作为OLAP系统面临着完全不同的挑战:海量数据(单表千亿级)、
数据最前线
·
2025-05-02 06:25
Doris数据库专栏
数据分析
数据挖掘
Doris
深度解析:打造高效、可扩展的数据分析平台
“
Doris
”是一个用于商业智能(BI)的开源MPP(大规模并行处理)数据库系统,原名ApacheDoris,用于构建数据仓库和进行数据分析。
林木森^~^
·
2025-05-01 22:34
中间件
大数据
数据分析
数据挖掘
doris
Doris
2.x与3.x版本差异与新增特性
一、核心架构与性能优化1.查询引擎与优化器
Doris
2.x:MPP架构:基于分布式计算模型,支持单表和多表复杂查询。
有梦想的攻城狮
·
2025-04-29 12:25
mysql
数据结构
doris
版本差异
kafka
doris2.
Doris
与 ClickHouse 在业务中的隐藏陷阱:那些官方文档没告诉你的细节
Doris
和ClickHouse聚合操作在业务不同阶段的对比与实践在大数据分析领域,
Doris
和ClickHouse都是非常受欢迎的MPP数据库,它们在聚合操作上的设计理念和实现方式各有特点。
布拉德·甘·拉敎
·
2025-04-27 04:22
clickhouse
数据库
Doris
Doris
+ Iceberg 构建冷热分层数据湖架构:架构设计与实战指南
在海量数据治理与存储演进中,冷热数据分层已成为降本增效的关键策略。本篇将深入探讨如何结合ApacheDoris与ApacheIceberg构建一套高性能、可扩展的数据湖架构,支持冷热数据自动分层、快速查询与灵活扩展。一、背景:为什么需要冷热数据分层?在实际的大数据场景中,数据按照访问频率与实时性可分为:类型特征常见场景热数据最近1小时/1天的数据,查询频繁实时指标、监控、运营分析冷数据近7天、30
晴天彩虹雨
·
2025-04-21 13:49
架构
大数据
Flink-
doris
-connector sql写入
doris
on zeppelin优化版
一,代码开发1,写入
doris
的案例代码2,指定DorisDynamicTableSourceFactory3,DorisDynamicTableSourceFactory具体实现4,DorisSinkFunction
黄瓜炖啤酒鸭
·
2025-04-17 11:44
apache
doris
doris-sql
doris-connecter
sql插入doris
flink实时写
doris
问题
参照
doris
官方文档测试写
doris
,FlinkDorisConnector-ApacheDoris。
Jmin_L
·
2025-04-17 10:42
flink
Apache
Doris
Flink Connector 使用教程
ApacheDorisFlinkConnector使用教程
doris
-flink-connectorFlinkConnectorforApacheDoris项目地址:https://gitcode.com
卢千怡
·
2025-04-17 10:12
Doris
实战——结合Flink构建极速易用的实时数仓_flink
doris
原文大佬的这篇
Doris
+Flink构建实时数仓的实战文章整体写的很深入,这里直接摘抄下来用作学习和知识沉淀。
2301_82243558
·
2025-04-17 10:41
程序员
flink
大数据
Doris
实战——结合Flink构建极速易用的实时数仓_flink
doris
(1)
综上可知,利用FlinkCDC结合
Doris
两阶段事务提交保证了数据写入一致性。需要注意的是,在该过程中可能遇到一个问题:如果事务预提交成功、但FlinkCheckpoint失败了该怎么办?
2301_79988566
·
2025-04-17 10:11
程序员
flink
大数据
flink写
doris
时的优化
1.概念
doris
并不擅长高频、小量数据的导入;因为
doris
每一次数据导入都会在be节点上生成数据文件;如果高频导入小量数据,就会在存储层产生大量的小文件(必然会影响到后续的查询效率,也会对系统产生更多的
别这么骄傲
·
2025-04-17 10:10
flink
大数据
运维实战:K8s 上的
Doris
高可用集群最佳实践
今天我们将深入探讨::如何在K8s集群上部署Computestoragecoupled(存算耦合)模式的
Doris
高可用集群?
KubeSphere 云原生
·
2025-04-09 10:41
k8s
容器平台
kubesphere
云计算
大数据架构师选型必懂:大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、
Doris
)
第一章相关理论1.1大数据离线数仓理论1.1.1基本原理大数据离线数仓,作为一个专门构建用于支持决策分析过程的数据集合,具有面向主题、集成、不可更新以及随时间变化的特点。其核心价值在于,通过对历史数据的深度存储、精细加工、全面整合与深入分析,能够为企业或组织提供一个多角度、多维度的数据视图,从而助力高层管理者做出更为明智与精准的决策。1.2SQL-on-Hadoop解决方案SQL-on-Hadoo
大模型大数据攻城狮
·
2025-04-09 05:10
大数据
hive
spark
大数据架构师
doris面试
数仓选型
数据仓库
LeetCode刷题笔记(SQL-002)
Truncatetableseat;insertintoseat(id,student)values('1','Abbot');insertintoseat(id,student)values('2','
Doris
不是哪吒是豹豹
·
2025-04-08 17:55
SQL
Leetcode
SQL
数据分析开源可视化工具
superset简单易用,可以对接mysql、presto、
doris
、postgresql、ClickHouse、sparkSQL、hive、oracle、sqlserver、Elasticsearch
PONY LEE
·
2025-04-08 07:17
数据可视化
数据分析
数据可视化
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他