Doris动态分区

叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践

经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应
SelectDB技术团队·2023-04-20 20:05

Apache Doris 在美联物业的数据仓库应用实践，助力传统行业数字化革新

导读：传统行业面对数字化转型往往会遇到很多困难，比如缺乏数据管理体系、数据需求开发流程冗长、烟囱式开发、过于依赖纸质化办公等，美联物业也有遇到类似的问题。本文主要介绍美联物业基于ApacheDoris在数据体系方面的建设，以及对数据仓库搭建经验进行的分享和介绍，旨在为数据量不大的传统企业提供一些数仓思路，实现数据驱动业务，低成本、高效的进行数仓改造。作者｜美联物业数仓负责人谢帮桂美联物业属于香港美
SelectDB技术团队·2023-04-20 20:34

查询提速 20 倍，Apache Doris 在 Moka BI SaaS 服务场景下的应用实践

导读：MOKA主要有两大业务线MOKA招聘（智能化招聘管理系统）和MOKAPeople（智能化人力资源管理系统），MOKABI通过全方位数据统计和可灵活配置的实时报表，赋能于智能化招聘管理系统和人力资源管理系统。为了提供更完备的数据支持，助力企业提升招聘竞争力，MOKA引入性能强悍的ApacheDoris对早期架构进行升级转型，成就了MokaBI强大的性能与优秀的用户体验。作者｜Moka数据架构师
SelectDB技术团队·2023-04-20 20:01

查询提速 20 倍，Apache Doris 在 Moka BI SaaS 服务场景下的应用实践

导读：MOKA主要有两大业务线MOKA招聘（智能化招聘管理系统）和MOKAPeople（智能化人力资源管理系统），MOKABI通过全方位数据统计和可灵活配置的实时报表，赋能于智能化招聘管理系统和人力资源管理系统。为了提供更完备的数据支持，助力企业提升招聘竞争力，MOKA引入性能强悍的ApacheDoris对早期架构进行升级转型，成就了MokaBI强大的性能与优秀的用户体验。作者｜Moka数据架构师
·2023-04-20 19:11

hive实战开发-2（建表、写数、加载数据到hdfs、动态分区、列转行）

hive实战开发-21、建表2、写数3、加载数据到hdfs4、动态分区5、利用groupby+collect_list命令按照mac聚合数据1、建表--定义新表createEXTERNALtableifnotexistshdw_psi
幸福右手牵·2023-04-20 16:29

Doris架构原理

1.介绍Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP(MassivelyParallelProcessing)，即大规模并行处理。
javastart·2023-04-20 14:37

doris架构

文章目录概述架构组件概述ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！MPP(Massi
Dlimeng·2023-04-20 14:03

android动态分区AB升级,具有动态分区的 A/B 设备的 OTA

Android10支持动态分区，这是一种可以在无线下载(OTA)更新期间创建和销毁分区以及调整分区大小的用户空间分区系统。
weixin_39631689·2023-04-20 10:53

大数据OLAP查询引擎选型对比

1、常用OLAP查询引擎目前大数据比较常用的OLAP查询引擎包括：Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。
shinelord明·2023-04-20 02:30

D46 2组阿德doris+《这些人，那些事》读书笔记

今天读的是第三辑博真情的朋友们在这一辑，作者写了很多他当兵时候的朋友而我最记得的朋友们应该是高中复读时候的同学们。第一次高考成绩不理想，所以我选择了复读。之前那个高三和我一起复读的只有一个同学，小A。之所以叫她小A是因为当时班上有另外一个女孩子和她同名同姓，所以就在她们的名字后面加上A、B用于区分她们两个人。小A家在乡下，所以她平时住校。因为我们都个子小小的，又同班了几年，所以自然而然我们俩最熟悉
阿德doris·2023-04-19 19:57

Doris（8）：数据导入（Load）之Insert Into

但在Doris中，所有的数据写入都是一个独立的导入作业。所以这里将InsertInto也作为一种导入方式介绍。
不死鸟.亚历山大.狼崽子·2023-04-19 18:18

Apache Doris Broker数据导入使用示例及介绍

用户需要通过MySQL协议创建Brokerload导入，并通过查看导入命令检查导入结果主要适用于以下场景：外部数据源（如HDFS等）读取数据，导入到Doris中。数据量在几十到百GB级别。
张家锋·2023-04-19 18:01

Doris（9）：删除数据（Delete）

和Insertinto相似，所有的Delete操作在Doris中是一个独立的导入作业，一般Delete语句需要指定表和分区以及删除的条件来筛选要删除的数据。
不死鸟.亚历山大.狼崽子·2023-04-19 16:36

2022-11-02

#DorisPipeLine后续的工作讨论##1.背景当前Doris的执行引擎是volcano的pull模型，在单机多核的场景下存在下面的一些问题：*无法利用多核计算能力，提升查询性能，**多数场景下进行性能调优时需要手动设置并行度
50d8e4e7a5b3·2023-04-19 10:32

Day57 Hive 分区表、数据加载和导出，简单数据查询以及函数

目录开启hive中分区表支持中文字段：分区表操作建表分区表插入数据：覆盖原先分区中的数据：查询分区：删除分区：恢复分区：强制删除分区(慎用)：添加分区：增加动态分区操作异常情况：创建多级分区：多级分区的特点
Tian-Ys·2023-04-19 03:39

从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到ApacheDoris的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据
·2023-04-18 22:06

Hive 的SQL基本操作

Hive数据库操作Hive数据库表操作查看表的语法介绍建表的语法介绍根据查询结果建表视图的操作内部表的操作外部表的操作复杂类型表的操作内部表和外部表的区别内部表和外部表之间的转换分区表的操作静态分区和动态分区分区表综合练习示例分桶表的操作修改表的操作向表中加载数据表中的数据导出
半吊子Kyle·2023-04-18 17:06

如何在高配置服务器上跑出Doris的性能

如下配置是可以增强Doris使用服务器资源的能力，出来大家参考参考该配置是在10个32core，128GB，每个服务器挂着5个1TB磁盘。每秒写入80w数据的集群上的实测的配置。
wangleigiser·2023-04-18 08:47

doris insert数据时出现问题：Invalid floating-point literal

背景在使用doris插入数据时，出现float插入错误：ERROR1064(HY000):errCode=2,detailMessage=Invalidfloating-pointliteral查找过程因为是
精神抖擞王大鹏·2023-04-17 17:54

Doris数据模型

Unique模型读时合并（与聚合模型相同的实现方式）写时合并Duplicate模型聚合模型的局限性Unique模型的写时合并实现Duplicate模型key列数据模型的选择建议本文档主要从逻辑层面，描述Doris
Xlucas·2023-04-17 12:16

【大数据OLAP引擎】图文详解 Apache Doris 架构

深入了解ApacheDoris一、ApacheDoris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建
禅与计算机程序设计艺术·2023-04-17 05:13

鱼苗A01 我

Doris，来自嘉兴海宁市，是金庸的故乡，也是中国皮革之都。我是一个普通人，是那种在人群中能一抓有好几把的人，但对于我而言，似乎又显得不那么普通。
Doris_1643·2023-04-17 01:55

Doris（3）：创建用户与创建数据库并赋予权限

Doris采用MySQL协议进行通信，用户可通过MySQLclient或者MySQLJDBC连接到Doris集群。
不死鸟.亚历山大.狼崽子·2023-04-16 23:18

Doris的12天减肥日记-第1天

一半归功于睡了小懒觉在办公室没有动筷子吃晚餐真的佩服自己哦忍住过后就是明媚其实转移注意力是本质呢不过今天吃的水果挺多呦有香蕉苹果梨子西瓜芒果争取一步一步戒掉晚上吃东西的习惯特别是水果！一切妈妈寄的营养品都要有计划的一个一个消化掉在毕业前以轻松的遗留物品和身材拍照毕业！开销也有计划的节制保持记账好习惯坚持运动清理物品邮寄营养餐给妈妈努力工作同时不放弃更好机会的可能性随时塑造自己积极心态面对当下懒觉不
Dorisyoung·2023-04-16 18:24

Day6+8组+83号Doris周《学习力》

古时有“采菊东篱下，悠然见南山”的陶渊明过着与世无争的生活，而如今的我也可以吗？不知从何时开始，我变得不愿去争一下，即使有的时候我知道，我可以，可是没有信任的眼神给我力量，没有鼓励的话语让我试试，在集体中我是一个半透明似的存在。没勇气，不勇敢占据我性格的半壁江山，尽管有时自己不愿这样，想要做出改变，倔强的自己也暗自为自己加油打气，成功的站上了讲台，也突破过自己的极限，可不自信的想法还是一直包围着我
木词·2023-04-16 18:27

python 读取kafka 写hive_使用 spark 从 kafka 消费数据写入 hive 动态分区表（一）

使用spark从kafka消费数据写入hive动态分区表最近因为业务需求，需要把kafka内的数据写入hive动态分区表，进入kafka的数据是保证不会重复的，同一条业务数据仅会进入kafka一次。
weixin_39806413·2023-04-16 12:53

Apache Doris Grafana监控指标介绍

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星整个集群重点关注的几个指标：集群FEJVM堆统计集群BE内存使用情况概览MaxReplayedjournalidBDBJEWriteTablet
张家锋·2023-04-16 11:24

2020-01-26 Doris

一夜没睡不晓得远方的你这一年来是否过的好多么希望你可以好好的平安健康臭臭此时相望不相顾愿逐月华流照君不晓得哪一天才能才会相见！梦里见
DroisAndEthan·2023-04-15 17:50

Doris数据导入和导出

数据导入brokerloadBroker导入，主要用于从HDFS上把文件导入到Doris中。这是一个异步导入的方式。（任务执行成功并不代表数据全部都导入成功）前提：启动HDFS。
javaisGod_s·2023-04-15 01:57

MySQL-Flink CDC-Hudi综合案例

MySQLoe_course_tpye的映射表mysql_bxg_oe_course_type（源表）（3）在FlinkSQL中创建Hudi的映射表hudi_bxg_oe_course_type（目标表）（hudi不需要创建物理表，但是Doris
javaisGod_s·2023-04-15 01:27

Doris数据模型

Doris支持三种数据模型，分别是：AggregateModel（聚合模型）UniqueModel（唯一模型）DuplicateModel（冗余模型）AggregateModel（聚合模型）key相同的数据
javaisGod_s·2023-04-15 01:27

Hive小文件问题：如何产生、造成影响、解决办法

一、小文件是如何产生的1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。3.数据源本身就包含大量的小文件。
hzp666·2023-04-14 07:50

Hive小文件问题

1、小文件产生的原因数据源本身有很多小文件：reduce数量多导致生成的小文件增多：使用动态分区导致小文件增多：2、小文件危害HDFS内存资源消耗过大，并限制了数据存储规模：在HDFS中，具体的文件保存在
Stannis·2023-04-14 06:47

Android扩展知识 - so文件生成及其使用

借鉴博客如下：https://blog.csdn.net/doris_d/article/details/53330838?spm=1001.2101.3001.6650.2&utm_medium=
L-FHy·2023-04-14 05:45

android动态分区AB升级,Android A/B 系统升级简介

8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？来源:https://pengzhangdev.github.io/Android-AB-system-update/顾名思义,A/B系统就是指终端设备上存在两套系统,(userdata只有一份,被两套系统共用).简单来讲,可以理解为,存在一套系统分区,一套备份分区,两套系统都可以被启动,两套系统的版本号可以一样,也可以一
数数科技·2023-04-13 19:18

动态分区 .VAB到底是何物，分区不同怎么刷写第三方rec

安卓机型的分区架构发展基本启程为：onlyA，AB，onlyA动态分区，AB动态分区，到目前的VAB架构分区.其实这些对于一般的玩机友友来说影响不大。
安卓机器·2023-04-13 19:38

Hive实战篇-动态分区导致小文件过多

但是，动态分区的插入往往会伴随产生大量的小文件的发生。
在路上的小苑·2023-04-13 18:45

大数据Doris（二）：Apache Doris 部署介绍

文章目录ApacheDoris部署介绍一、软硬件要求二、生产/测试环境节点配置建议三、Broker部署介绍四、操作系统安装要求五、网络需求ApacheDoris部署介绍一、软硬件要求Doris运行在Linux
Lansonli·2023-04-11 23:06

Apache Doris 0.14.0版本 MPP数据库编译和安装

目录1.编译2.PE的高可用搭配3.安装3.1安装第一个FE3.2安装第一个BE3.3新增一个PE(follower/observer)3.4新增一个BE1.编译官方提供Docker环境编译、Centos\Ubuntu环境编译、ARM64平台编译，我们这里采样Docker环境编译下载Docker镜像[root@bigdata001~]#[root@bigdata001~]#dockerpullap
Bulut0907·2023-04-11 18:35

doris安装部署-通过docker部署doris集群

概要下载FE和BE包准备FE和BE环境配置FE配置BE在FE中添加BE开始使用doris一、下载FE和BE包从官方下载已经编译好的包：doris下载1.1doris官方下载二、准备FE和BE环境配置FE
码农水哥·2023-04-11 18:30

Doris系列2-Doris编译和安装

docker1.2.6启动并加入开机启动1.2.7验证安装是否成功1.2.8迁移docker1.2.9退出后重新进入docker二.编译2.1下载Docker镜像2.2运行镜像2.3下载源码2.4编译Doris
只是甲·2023-04-11 18:30

Docker上编译部署Doris0.15

一、拉取编译环境根据自己的情况选择对应的环境，我这里按照0.15为例dockerpullapache/incubator-doris:build-env-for-0.15.0二、运行镜像方式一：提前下载好源码
tianqin_9169·2023-04-11 18:57

Doris12版安装编译部署(docker编译)

Doris安装编译部署(docker编译)java8以上的前提下docker安装命令如下：curl-fsSLhttps://get.docker.com|bash-sdocker--mirroraliyun
WLY@WLY·2023-04-11 18:26

doris编译安装部署

编译#下载wgethttp://archive.apache.org/dist/incubator/doris/0.12.0-incubating/apache-doris-0.12.0-incubating-src.tar.gz
寒 暄·2023-04-11 18:56

Doris集群部署

集群资源服务器IP角色磁盘CPU内存doris01192.168.1.11FE/dev/vda199G32c128Gdoris02192.168.1.12BE、Broker/dev/{sdb…sdp}32c128Gdoris03192.168.1.13BE
范一刀·2023-04-11 18:25

Doris（2）：Doris编译部署

1Doris编译ApacheDoris提供直接可以部署的版本压缩包：https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5也可以自行编译压缩包后使用（推荐）1.1使用Docker
不死鸟.亚历山大.狼崽子·2023-04-11 18:46

Tapdata 与 Apache Doris 完成兼容性互认证，共建新一代数据架构

2022年4月，Tapdata启动PDK插件生态共建计划，致力于全面连接数据孤岛，加速构建更加开放的数据生态，旨在充分激发实时数据流动的价值，助力各行各业完成从传统数据架构平滑过渡到新一代数据库架构，为用户提供更好的数据服务体验。作为参与该计划的首批生态共建伙伴，ApacheDoris与Tapdata强强联手，共建下一代数据架构。近日，Tapdata实时数据平台（TapdataLiveDataPl
Tapdata 钛铂数据·2023-04-11 18:30

操作系统 内存分配-分区

操作系统内存分配-分区连续分配管理方式单一连续存储分配固定分区管理动态分区分配基于顺序搜索基于索引搜索的动态分区分配算法动态可重定位分区分配覆盖对换技术连续分配管理方式单一连续存储分配将内存分成两个连续的区域
@@老胡·2023-04-11 13:36

Doris调研学习

简介：Doris（原百度Palo）是一款基于大规模并行处理技术的分布式SQL数据库，由百度在2017年开源，2018年8月进入Apache孵化器。
乌拉乌拉儿·2023-04-10 11:58

D76 2组阿德doris+《活出生命的意义》读书笔记

作为一位心理学家，“意义疗法”的创始人，作为从四个集中营幸存下来的作者来说，他生命的意义就是帮助他人找到他们生命的意义。在本书的第二部分，作者讲述了很多心理学知识。其中作者提出了意义疗法其中的一种方法——矛盾意向法。这种方法是一项特别的技术。它主要针对的是神经官能症患者经常出现的过度反应或者预期焦虑。所谓预期焦虑简单来说就是跟恐惧能带来你所害怕的事情一样，强迫性的愿望反而使你极为盼望的事情变得不可
阿德doris·2023-04-08 20:04
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他