doris

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。在传统数据服务中，我们为业务分析师提供了多种数据服务，包括SQL查
·2023-09-05 17:37

Apache Doris 2.0.1 & 1.2.7 版本正式发布！

亲爱的社区小伙伴们，我们很高兴的宣布，2023年9月4日我们正式发布了ApacheDoris2.0.1和ApacheDoris1.2.7这两个版本，这两个版本由上百名位贡献者共同努力完成的，提供了更多有用的新特性，同时修复了若干已知的问题，进一步提升了系统的性能和稳定性，欢迎大家下载体验。本文将介绍这两个版本更新信息，以帮助大家快速了解新版本功能特性。同时期待听到大家的反馈和建议，这将帮助社区进一
·2023-09-05 13:41

flink实现kafka、doris精准一次说明

前言说明：本文档只讨论数据源为kafka的情况实现kafka和doris的精准一次写入flink的kafka连接器已经实现了自动提交偏移量到kafka，当flink中的数据写入成功后，flink会将这批次数据的
DLoong+·2023-09-05 09:34

Apache Doris 冷热分层技术如何实现存储成本降低 70%？

在数据分析的实际场景中，冷热数据往往面临着不同的查询频次及响应速度要求。例如在电商订单场景中，用户经常访问近6个月的订单，时间较久远的订单访问次数非常少；在行为分析场景中，需支持近期流量数据的高频查询且时效性要求高，但为了保证历史数据随时可查，往往要求数据保存周期更为久远；在日志分析场景中，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯的工作...往往历史数据的应用价值会随着时间推移
·2023-09-04 22:01

druid连接不上doris有哪些可能原因

如果你在使用Druid连接池连接Doris时遇到问题，无法连接上数据库，可能有以下几个原因和解决方案：网络配置问题：确保你的应用程序能够与Doris数据库所在的服务器进行通信。
linweidong·2023-09-03 15:07

Doris workload group实战

1.创建测试用户：创建一个用户名为test，密码为test的用户：createuser'test'@'%'IDENTIFIEDBY'test';给测试用户赋权：给用户test赋予数据库test.*权限grantSELECT_PRIV,LOAD_PRIV,CREATE_PRIV,ALTER_PRIVONtest.*TOtest;开启experimental_enable_workload_group
wangleigiser·2023-09-02 07:46

doris系列2: doris分析英国房产数据集

1.准备数据2.doris建表CREATE TABLE `uk_price_paid`(`id`varchar(50) NOT NULL,`price`int(20),`date` date
shangjg3·2023-09-01 06:51

Day6+4组49号doris+《学习力》

昨天已经结束了整本书的阅读，今天回顾了一下前几天的阅读，再次翻看了自己的读书笔记，发现了自己之前在看书的时候没重点关注的点【旧知】在参加萌薇老师的手账营之前，我觉得自己还不错，有稳定的工作、有亲密的家人、有可爱的女儿、有可以随时联系的好朋友。但是在参加完手账营之后，我发现自己这也不会，那也不会。除了前面提到的那些，再也没有什么值得提起的更好的表现了。所以陷入了焦虑，这个也想学，那个也想学。可是精力
阿德doris·2023-08-31 22:41

Doris系列3-基础使用指南

用户登录与密码修改1.2创建新用户二.数据表的创建与数据导入2.1创建数据库2.2账户授权2.3建表2.3.1单分区2.3.2复合分区2.4导入数据2.4.1流式导入2.4.2Broker导入参考:基础使用指南Doris
只是甲·2023-08-31 14:57

大数据分析引擎-Doris简要介绍

目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。
ly_zixuan·2023-08-31 13:24

Apache Doris (一) ：Doris 介绍及使用场景

目录1.ApacheDoris介绍2.ApacheDoris使用场景2.1报表分析2.2即席查询（Ad-hocQuery）2.3统一数仓构建2.4数据湖联邦查询进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！1.ApacheDoris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可
IT贫道·2023-08-31 13:24

Apache Doris (二) ：Doris架构原理及特点

目录1.ApacheDoris架构原理2.ApacheDoris特点2.1支持标准SQL接口2.2列式存储引擎2.3支持丰富的索引结构2.4支持多种存储模型2.5支持物化视图2.6MPP架构设计2.7支持向量化查询引擎2.8动态调整执行计划2.9采用CBO和RBO查询优化器进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！1.ApacheDoris架构原理Dor
IT贫道·2023-08-31 13:22

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
·2023-08-31 10:24

自建minio实现doris的快速备份与恢复

一.概述doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos,大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的
spark大数据玩家·2023-08-31 03:47

Doris架构中包含哪些技术？

Doris主要整合了GoogleMesa(数据模型)，ApacheImpala(MPPQueryEngine)和ApacheORCFile(存储格式，编码和压缩)的技术。为什么要将这三种技术整合?
传智教育·2023-08-30 10:53

Doris数据库BE——rowset版本追踪

rowset代码位置be/src/olap/version_graph.cpp，字面意思行集合，由一行或多行组成。rowset版本简单理解为rowset编号，每次导入生成一个rowset，比如insert执行10次会生成10个rowset，一次streamload生成一个rowset。版本的格式为：version=[start_version,end_version]，比如你执行10次insert
肥叔菌·2023-08-30 05:41

当 Apache Doris 遇上大模型：探秘腾讯音乐如何基于大模型 + OLAP 构建智能数据服务平台

本文导读：当前，大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台，利用庞大用户群与多元场景的优势，持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于ApacheDoris构建查询高效、实时统一分析的OLAP引擎，使OLAP作为底层基建加强模型连接转化效率、结果输出准确率，最终将大模型+OLAP引擎结合为用户提供个性化、实时化、灵活化的智能
·2023-08-28 14:24

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到
hf200012·2023-08-27 15:08

多场景下 3-11 倍性能提升，Apache Doris 1.2 新版本性能揭秘！

自ApacheDoris1.1.0版本发布距今已经有数月之久，在这一期间，我们重新思考并确立了社区新版本发布的流程，正式引入了LTS（Long-TermSupport，长周期支持）版本的概念，在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。值得高兴的是，这一行动已经有了明显的成效，目前1.1.x系列最新版本的稳定性经受了众
张家锋·2023-08-27 15:17

【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库

Doris：基于MPP架构的高性能实时分析型数据库1.Doris介绍ApacheDoris是一个基于MPP（MassivelyParallelProcessing，大规模并行处理）架构的高性能、实时的分析型数据库
G皮T·2023-08-27 05:58

基于Apache doris怎么构建数据中台(三)-数据资产管理

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星前面我们讲了什么是数据中台，及数据中台的架构及功能规划，这次我们开始从数据资产开始拆解每个功能模块做的内容数据资产管理平台可以定量评估数据资产的成本
hf200012·2023-08-26 19:39

万字讲述如何通过Doris构建数据中台

目录基于Apachedoris怎么构建数据中台(一)-什么是数据中台基于Apachedoris怎么构建数据中台(二)-数据中台建设内容基于Apachedoris怎么构建数据中台(三)-数据资产管理基于Apachedoris怎么构建数据中台(一)-什么是数据中台这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题1.什么是数据中台数据是从业务系统产生的
浪尖聊大数据-浪尖·2023-08-26 19:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

亲爱的社区小伙伴们，我们很高兴地向大家宣布，ApacheDoris2.0.0版本已于2023年8月11日正式发布，有超过275位贡献者为ApacheDoris提交了超过4100个优化与修复。在2.0.0版本中，ApacheDoris在标准Benchmark数据集上盲测查询性能得到超过10倍的提升、在日志分析和数据湖联邦分析场景能力得到全面加强、数据更新效率和写入效率都更加高效稳定、支持了更加完善的
SelectDB技术团队·2023-08-26 19:08

Doris Summit 2023 正式启航，议题征集 & 合作伙伴招募火热进行中

在数字化进程不断演进的时代，数据呈现爆发增长。在这数据洪流之中，数据实时分析的重要性愈发凸显，并成为企业成功的关键要素。作为专注于实时分析的开源实时数据仓库ApacheDoris，从开源至今已走过6个年头，这些年里ApacheDoris一直稳步向前，并在这两年取得了令人瞩目的进展。在DorisSummit2022年度峰会上，社区公布了2023年Roadmap，并在此指引下，ApacheDoris完
SelectDB技术团队·2023-08-26 19:08

Apache Doris 2.0-beta 盲测性能 10 倍提升，更统一的多场景极速分析体验！

下载链接：https://doris.apache.org/downloadGitHub源码：https://github.com/apache/doris/tre
SelectDB技术团队·2023-08-26 19:38

Apache Doris 助力中国联通万亿日志数据分析提速 10 倍

本文导读：在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前，ApacheDoris在联通体系的落地已支持了30多条业务线和数百个实时作业，不仅帮助联通实现了万亿级安全日志的高效分析和低成本，也为其他运营商提供了成功的参考案例和学习经验，对推动运营商的数字化转型进程具有重
SelectDB技术团队·2023-08-26 19:38

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
SelectDB技术团队·2023-08-26 19:37

开源大数据：Apache Doris

令您的数据分析工作更加简单高效ApacheDoris核心特性Doris存储文
ejinxian·2023-08-26 10:44

轻松将MySQL数据同步到Doris

而Doris作为一款专为大数据分析设计的分布式数据仓库，具有高性能、可扩展的特点，其优异的数据处理能力也在行业内广受关注。01为什么需要把MySQL同步到Doris？
·2023-08-25 15:22

D36 2组阿德doris+《被讨厌的勇气》读书笔记

本周开启新书《被讨厌的勇气》。这本书采用青年与哲人“对话”的形式展开本书，用贴近生活的实例帮助我们加深对人性的理解，带我们一步步走进阿德勒心理学和阿德勒思想。这本书的语言很平实，没有晦涩难懂的专业心理学词汇。是每个人都可以很容易看懂的心理学著作。“一切烦恼都来自人际关系”“所谓的自由，就是被别人讨厌”“人真的可以摆脱过去的创伤吗？”“为什么说自卑感不是真的？”“满足别人的期待有什么不对的？”“人最
阿德doris·2023-08-24 23:33

Apache Doris 入门教程36：文件分析和文件缓存

文件分析通过TableValueFunction功能，Doris可以直接将对象存储或HDFS上的文件作为Table进行查询分析。并且支持自动的列类型推断。
sunjian286·2023-08-24 13:58

一键实现 Oracle 数据整库同步至 Apache Doris

而对于从Oracle到Doris的数据同步，通常会用到以下两种常见的同步方式：OGG/XStream/LogMiner工具：通过该方式先将数据同步到Kafka中，然后通过RoutineLoad消费Kafka
·2023-08-23 12:48

Day3+8组+83号Doris周《学习力》

☞旧知当有了一份所谓的稳定工作之后，有多少人还愿意继续去折腾;当这份工作足够稳定到养老的时候，谁还愿意轻易改行。大部分人应该都会按部就班的做下去吧，工作做完之后，就可以随意挥霍剩下的光阴……而我呢？☞新知《学习力》中提到80%的时间，投入到你的“最”兴趣当中，20%的时间探索人生边界。我的理解是把我们每天的时间、精力的80%投入到自己的工作中，毕竟每一份工作，只要深耕下去，全力聚焦地可以打造成为自
木词·2023-08-23 10:50

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
木东居士·2023-08-23 09:34

【遇见Doris】 Apache Doris 基于 Bitmap的精确去重和用户行为分析

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。
ApacheDoris·2023-08-23 09:32

Apache Doris高并发特性解读

300万字！全网最全大数据学习面试社区等你来！随着用户规模的极速扩张，越来越多用户将ApacheDoris用于构建企业内部的统一分析平台，这一方面需要ApacheDoris去承担更大业务规模的处理和分析——既包含了更大规模的数据量、也包含了更高的并发承载，而另一方面，也意味着需要应对企业更加多样化的数据分析诉求，从过去的统计报表、即席查询、交互式分析等典型OLAP场景，拓展到推荐、风控、标签画像以
王知无(import_bigdata)·2023-08-23 09:02

Apache Kylin VS Apache Doris

作者:康凯森日期:2018-04-17分类:OLAP1系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris的聚合模型2.3KylinCuboidVSDorisRollUp2.4Doris
hellozhxy·2023-08-23 09:59

Apache Doris 入门教程35：多源数据目录

概述多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
sunjian286·2023-08-23 05:10

java代码判断doris的某一天的分区是否存在

需要使用doris的SHOWPARTITIONS命令来查看表的分区信息。这个命令会显示表的所有分区信息，包括分区名、范围、副本数等。您可以根据您设定的动态分区规则判断是否有缺失或多余的分区1。
linweidong·2023-08-23 04:42

Spark写数据到Doris报错node and exceeded the max retry times

用sparkdataframe向doris写数据时，报下面错误：FailedtoloaddataonBE:http://192.168.50.10:18040/api/mydb/dwd_virtual_table
linweidong·2023-08-23 04:42

开启形象管理的window

看了彭小六的《洋葱阅读法》，加入了西安的读书会，周末碰到的第一个活动是Doris的形象管理-年末穿衣搭配以及化妆技巧。形象好气质佳，也是我一直追求的目标，便于周六下午报名参加了一把。
慧不慧·2023-08-22 18:49

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓。业务背景云积天赫是国内领先的AI
·2023-08-22 15:47

Apache Doris 入门教程34：Join 优化

BucketShuffleJoinBucketShuffleJoin是在Doris0.14版本中正式加入的新功能。旨在为某些Join查询提供本地性优化，来减少数据在节点间的传输耗时，来加速查询。
sunjian286·2023-08-22 11:46

大数据分析引擎-Doris简要介绍

目录：1、背景2、Doris的架构3、Doris的核心特性4、数据的导入和输出1、背景大数据的时代，数据的处理能力大大增强，但在最后一个环节，即数据应用服务环节依然存在较大的瓶颈。
天天沐沐·2023-08-22 09:05

CentOS7安装部署Doris

文章目录CentOS7安装部署Doris一、前言1.简介2.环境二、正文1.Doris基础1）架构图2）通讯端口2.部署服务器3.安装基础环境1）安装JDK112）安装GCC3）设置文件句柄数4）关闭交换分区
趴着喝可乐·2023-08-22 05:52

Doris查询数据库对象使用教程

1.查询表的表结构根据表名查询表结构相关的内容SELECT*FROMinformation_schema.COLUMNSWHERETABLE_SCHEMA='ods'ANDTABLE_NAME='ods_mes_m_line'
yqj234·2023-08-21 14:23

Apache Doris IP变更问题详解

ApacheDorisIP变更问题详解一、背景二、环境硬件信息软件信息三、FE恢复3.1异常日志3.2获取当前ip3.3重置ip信息3.4重置元数据记录3.5元数据模式恢复3.6重置fe集群节点3.7关闭元数据模式重启fe四、BE恢复4.1获取当前ip4.2重置ip信息4.3重置be集群节点一、背景因为有多网卡的存在，或因为安装过docker等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的
乙真仙人·2023-08-21 08:47

Apache Doris 极简运维之BE扩缩容（1）

ApacheDoris极简运维之BE扩缩容（1）一、环境信息硬件信息软件信息二、缩容2.1DROPBACKEND缩容2.2DECOMMISSIONBACKEND缩容2.2.1缩容前2.2.2缩容中2.2.3缩容后三、扩容3.1扩容前3.2扩容中3.3扩容后四、总结一、环境信息已部署三个BE节点并且状态显示正常运行中硬件信息CPU：1CCPU型号：ARM64内存：2GB硬盘：36GBSSD软件信息V
乙真仙人·2023-08-21 08:17

626. 换座位

示例：+---------+---------+|id|student|+---------+---------+|1|Abbot||2|Doris||3|Emerson||4|G
莫小鹏·2023-08-21 06:08

Apache Doris 入门教程33：统计信息

统计信息统计信息简介Doris查询优化器使用统计信息来确定查询最有效的执行计划。Doris维护的统计信息包括表级别的统计信息和列级别的统计信息。
sunjian286·2023-08-21 04:31
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他