--Doris

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
·2023-08-31 10:24

自建minio实现doris的快速备份与恢复

一.概述doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos,大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的
spark大数据玩家·2023-08-31 03:47

Doris架构中包含哪些技术？

Doris主要整合了GoogleMesa(数据模型)，ApacheImpala(MPPQueryEngine)和ApacheORCFile(存储格式，编码和压缩)的技术。为什么要将这三种技术整合?
传智教育·2023-08-30 10:53

Doris数据库BE——rowset版本追踪

rowset代码位置be/src/olap/version_graph.cpp，字面意思行集合，由一行或多行组成。rowset版本简单理解为rowset编号，每次导入生成一个rowset，比如insert执行10次会生成10个rowset，一次streamload生成一个rowset。版本的格式为：version=[start_version,end_version]，比如你执行10次insert
肥叔菌·2023-08-30 05:41

当 Apache Doris 遇上大模型：探秘腾讯音乐如何基于大模型 + OLAP 构建智能数据服务平台

本文导读：当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于ApacheDoris构建查询高效、实时统一分析的OLAP引擎，使OLAP作为底层基建加强模型连接转化效率、结果输出准确率，最终将大模型+OLAP引擎结合为用户提供个性化、实时化、灵活化的智能
·2023-08-28 14:24

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到
hf200012·2023-08-27 15:08

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能揭秘！

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众
张家锋·2023-08-27 15:17

【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库

Doris：基于MPP架构的高性能实时分析型数据库1.Doris介绍ApacheDoris是一个基于MPP（MassivelyParallelProcessing，大规模并行处理）架构的高性能、实时的分析型数据库
G皮T·2023-08-27 05:58

基于Apache doris怎么构建数据中台(三)-数据资产管理

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星前面我们讲了什么是数据中台，及数据中台的架构及功能规划，这次我们开始从数据资产开始拆解每个功能模块做的内容数据资产管理平台可以定量评估数据资产的成本
hf200012·2023-08-26 19:39

万字讲述如何通过Doris构建数据中台

目录基于Apachedoris怎么构建数据中台(一)-什么是数据中台基于Apachedoris怎么构建数据中台(二)-数据中台建设内容基于Apachedoris怎么构建数据中台(三)-数据资产管理基于Apachedoris怎么构建数据中台(一)-什么是数据中台这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题1.什么是数据中台数据是从业务系统产生的
浪尖聊大数据-浪尖·2023-08-26 19:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

亲爱的社区小伙伴们，我们很高兴地向大家宣布，ApacheDoris2.0.0版本已于2023年8月11日正式发布，有超过275位贡献者为ApacheDoris提交了超过4100个优化与修复。在2.0.0版本中，ApacheDoris在标准Benchmark数据集上盲测查询性能得到超过10倍的提升、在日志分析和数据湖联邦分析场景能力得到全面加强、数据更新效率和写入效率都更加高效稳定、支持了更加完善的
SelectDB技术团队·2023-08-26 19:08

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
SelectDB技术团队·2023-08-26 19:08

Apache Doris 2.0-beta 盲测性能 10 倍提升，更统一的多场景极速分析体验！

下载链接：https://doris.apache.org/downloadGitHub源码：https://github.com/apache/doris/tre
SelectDB技术团队·2023-08-26 19:38

Apache Doris 助力中国联通万亿日志数据分析提速 10 倍

本文导读：在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前，ApacheDoris在联通体系的落地已支持了30多条业务线和数百个实时作业，不仅帮助联通实现了万亿级安全日志的高效分析和低成本，也为其他运营商提供了成功的参考案例和学习经验，对推动运营商的数字化转型进程具有重
SelectDB技术团队·2023-08-26 19:38

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
SelectDB技术团队·2023-08-26 19:37

开源大数据：Apache Doris

令您的数据分析工作更加简单高效ApacheDoris核心特性Doris存储文
ejinxian·2023-08-26 10:44

轻松将MySQL数据同步到Doris

而Doris作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01为什么需要把MySQL同步到Doris？
·2023-08-25 15:22

D36 2组阿德doris+《被讨厌的勇气》读书笔记

本周开启新书《被讨厌的勇气》。这本书采用青年与哲人“对话”的形式展开本书，用贴近生活的实例帮助我们加深对人性的理解，带我们一步步走进阿德勒心理学和阿德勒思想。这本书的语言很平实，没有晦涩难懂的专业心理学词汇。是每个人都可以很容易看懂的心理学著作。“一切烦恼都来自人际关系”“所谓的自由，就是被别人讨厌”“人真的可以摆脱过去的创伤吗？”“为什么说自卑感不是真的？”“满足别人的期待有什么不对的？”“人最
阿德doris·2023-08-24 23:33

Apache Doris 入门教程36：文件分析和文件缓存

文件分析通过TableValueFunction功能，Doris可以直接将对象存储或HDFS上的文件作为Table进行查询分析。并且支持自动的列类型推断。
sunjian286·2023-08-24 13:58

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
·2023-08-23 12:48

Day3+8组+83号Doris周《学习力》

☞旧知当有了一份所谓的稳定工作之后，有多少人还愿意继续去折腾;当这份工作足够稳定到养老的时候，谁还愿意轻易改行。大部分人应该都会按部就班的做下去吧，工作做完之后，就可以随意挥霍剩下的光阴……而我呢？☞新知《学习力》中提到80%的时间，投入到你的“最”兴趣当中，20%的时间探索人生边界。我的理解是把我们每天的时间、精力的80%投入到自己的工作中，毕竟每一份工作，只要深耕下去，全力聚焦地可以打造成为自
木词·2023-08-23 10:50

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
木东居士·2023-08-23 09:34

【遇见Doris】 Apache Doris 基于 Bitmap的精确去重和用户行为分析

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。
ApacheDoris·2023-08-23 09:32

Apache Doris高并发特性解读

300万字！全网最全大数据学习面试社区等你来！随着用户规模的极速扩张，越来越多用户将ApacheDoris用于构建企业内部的统一分析平台，这一方面需要ApacheDoris去承担更大业务规模的处理和分析——既包含了更大规模的数据量、也包含了更高的并发承载，而另一方面，也意味着需要应对企业更加多样化的数据分析诉求，从过去的统计报表、即席查询、交互式分析等典型OLAP场景，拓展到推荐、风控、标签画像以
王知无(import_bigdata)·2023-08-23 09:02

Apache Kylin VS Apache Doris

作者:康凯森日期:2018-04-17分类:OLAP1系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris的聚合模型2.3KylinCuboidVSDorisRollUp2.4Doris
hellozhxy·2023-08-23 09:59

Apache Doris 入门教程35：多源数据目录

概述多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
sunjian286·2023-08-23 05:10

java代码判断doris的某一天的分区是否存在

需要使用doris的SHOWPARTITIONS命令来查看表的分区信息。这个命令会显示表的所有分区信息，包括分区名、范围、副本数等。您可以根据您设定的动态分区规则判断是否有缺失或多余的分区1。
linweidong·2023-08-23 04:42

Spark写数据到Doris报错node and exceeded the max retry times

用sparkdataframe向doris写数据时，报下面错误：FailedtoloaddataonBE:http://192.168.50.10:18040/api/mydb/dwd_virtual_table
linweidong·2023-08-23 04:42

开启形象管理的window

看了彭小六的《洋葱阅读法》，加入了西安的读书会，周末碰到的第一个活动是Doris的形象管理-年末穿衣搭配以及化妆技巧。形象好气质佳，也是我一直追求的目标，便于周六下午报名参加了一把。
慧不慧·2023-08-22 18:49

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓。业务背景云积天赫是国内领先的AI
·2023-08-22 15:47

Apache Doris 入门教程34：Join 优化

BucketShuffleJoinBucketShuffleJoin是在Doris0.14版本中正式加入的新功能。旨在为某些Join查询提供本地性优化，来减少数据在节点间的传输耗时，来加速查询。
sunjian286·2023-08-22 11:46

大数据分析引擎-Doris简要介绍

目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。
天天沐沐·2023-08-22 09:05

CentOS7安装部署Doris

文章目录CentOS7安装部署Doris一、前言1.简介2.环境二、正文1.Doris基础1）架构图2）通讯端口2.部署服务器3.安装基础环境1）安装JDK112）安装GCC3）设置文件句柄数4）关闭交换分区
趴着喝可乐·2023-08-22 05:52

Doris查询数据库对象使用教程

1.查询表的表结构根据表名查询表结构相关的内容SELECT*FROMinformation_schema.COLUMNSWHERETABLE_SCHEMA='ods'ANDTABLE_NAME='ods_mes_m_line'
yqj234·2023-08-21 14:23

Apache Doris IP变更问题详解

ApacheDorisIP变更问题详解一、背景二、环境硬件信息软件信息三、FE恢复3.1异常日志3.2获取当前ip3.3重置ip信息3.4重置元数据记录3.5元数据模式恢复3.6重置fe集群节点3.7关闭元数据模式重启fe四、BE恢复4.1获取当前ip4.2重置ip信息4.3重置be集群节点一、背景因为有多网卡的存在，或因为安装过docker等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的
乙真仙人·2023-08-21 08:47

Apache Doris 极简运维之BE扩缩容（1）

ApacheDoris极简运维之BE扩缩容（1）一、环境信息硬件信息软件信息二、缩容2.1DROPBACKEND缩容2.2DECOMMISSIONBACKEND缩容2.2.1缩容前2.2.2缩容中2.2.3缩容后三、扩容3.1扩容前3.2扩容中3.3扩容后四、总结一、环境信息已部署三个BE节点并且状态显示正常运行中硬件信息CPU：1CCPU型号：ARM64内存：2GB硬盘：36GBSSD软件信息V
乙真仙人·2023-08-21 08:17

626. 换座位

示例：+---------+---------+|id|student|+---------+---------+|1|Abbot||2|Doris||3|Emerson||4|G
莫小鹏·2023-08-21 06:08

Apache Doris 入门教程33：统计信息

统计信息统计信息简介Doris查询优化器使用统计信息来确定查询最有效的执行计划。Doris维护的统计信息包括表级别的统计信息和列级别的统计信息。
sunjian286·2023-08-21 04:31

Apache Doris 入门教程32：物化视图

物化视图物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris中的一个特殊的表。
sunjian286·2023-08-20 14:36

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

685-383.jpg本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时
Flink中文社区·2023-08-19 07:57

Apache Doris 入门教程30：冷热分层机制

从节约存储成本角度考虑各云厂商普通云盘的价格都比对象存储贵在doris集群实际线上使用中，普通云盘的利用率无法达到100%云盘不是按需付费，而对象存储可以做到按需付费基于普通云盘做高可用，需要实现多副本
sunjian286·2023-08-19 05:44

Apache Doris 入门教程29：文件管理器

文件管理器Doris中的一些功能需要使用一些用户自定义的文件。比如用于访问外部数据源的公钥、密钥文件、证书文件等等。
sunjian286·2023-08-19 05:44

Apache Doris 入门教程31：计算节点

需求场景目前Doris是一个典型Share-Nothing的架构,通过绑定数据和计算资源在同一个节点获得非常好的性能表现.但随着Doris计算引擎性能持续提高,越来越多的用户也开始选择使用Doris直接查询数据湖数据
sunjian286·2023-08-19 05:42

spark导入doris的几种方式

本文主要介绍通过spark导入doris的3种方式。
炼数成器·2023-08-18 21:25

Apache Doris 2.0.0 特性分析

doris可以查询外部表，包括：Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon早期版本中，FE通过BE节点查询外部表，并且在BE节点内执行join、sort、agg
howard_shooter·2023-08-18 12:15

Apache Doris Join实现与调优实践

本文转自：ApacheDorisJoin的实现与调优实践-知乎(zhihu.com)视频可以前往知乎连接查看ApacheDorisJoin实现与调优实践8月14号，由示说网和上海白玉兰开源开放研究院联合举办的开源大数据技术线上Meetup如期举行，ApacheDoris社区受邀参与本次Meetup，来自百度的数据内核高级研发工程师、ApacheDorisContributor李昊鹏为大家带来了题为
张家锋·2023-08-17 17:06

Doris异常

executesqlerror:Inserthasfiltereddatainstrictmode,检查trackurl中的内容发现报：Reason:nopartitionforthistuple分析数据进来了，但是动态分区表没有创建这条数据的时间分区解决在insert前加了句##查看是否创建成功showpartitionsfromods_log_outlog_course_ydyjs_app;
wangqiaowq·2023-08-17 14:09

Doris安全删除BE节点

命令下发后，Doris会尝试将该BE上的数据向其他BE节点迁移，当所有数据都迁移完成后，Doris会自动删除该节点。该命令是一个异步操作。执行后，可以通过SHOWPROC'
wangqiaowq·2023-08-17 14:38

【运维】linkis1.3.2添加jdbc引擎（添加mysql、greenplum、starrocks、doris数据源查询）与配合多数据源管理提交任务初探

文章目录一.引擎的安装1.前置工作2.获取引擎插件3.上传和加载4.引擎刷新4.1.重启刷新4.2.检查引擎是否刷新成功二.测试mysql、starrocks与doris数据库1.通过shell提交任务
roman_日积跬步-终至千里·2023-08-17 06:44

apache doris和StarRocks的区别

Doris采用了集群方式，通过将数据分布在多个机器上进行处理来提高性能，并提供了SQL查询接口方便用户使用。
6个日的梦想·2023-08-16 23:01
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他