Doris动态分区

【遇见Doris】基于Doris的有道精品课数据中台建设实践

李荣谦有道精品课数据中台团队数据中台实时数仓负责人我们本次想要和大家分享一下有道精品课数据中台的架构演进过程，以及Doris作为一个MPP分析型数据库是如何为不断增长的业务体量提供有效支撑并进行数据赋能的
ApacheDoris·2023-10-28 02:44

【遇见Doris】6.29线下开发者沙龙分享--Doris主创团队

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。
ApacheDoris·2023-10-28 02:43

Apache Doris在京东广告的应用实践

最后将介绍Doris在我们在生产环境下的使用情况，包括ApacheDoris在京东“618”，“双11”大促中的表现。希望通过我们的使用实践为大家提供一些经验参考，也欢迎大家对我们的不足之处提出建议。
浪尖聊大数据-浪尖·2023-10-28 02:12

Apache Doris在京东搜索实时OLAP中的应用实践

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用ApacheFlink和ApacheDoris进行的探索和实践。流式计算在近些年的热度与日俱增，从GoogleDataflow论文的发表，到ApacheFlink计算引擎逐渐站到舞台中央，再到ApacheDruid等实时分析型数据库的广泛应用，流式计算引擎百花齐放。但不同的业务场景，面临着不同的问题，没有哪一种引擎是万能的。我们希望京东搜索业务
浪尖聊大数据-浪尖·2023-10-28 02:12

应用实践 | 10 亿数据秒级关联，货拉拉基于 Apache Doris 的 OLAP 体系演进

分享人｜货拉拉大数据引擎负责人杨秋吉，张斌业务背景货拉拉成立于2013年，成长于粤港澳大湾区，是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流公司。截至2022年4月，货拉拉的业务范围已经覆盖了国内352座城市，月活司机达到58万，月活用户达到760万，包含8条以上的业务线。货拉拉大数据体系为支撑公司业务，现在已经成立三个IDC集群、拥有上千台规模的机器数量，存储
hf200012·2023-10-28 02:10

如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

随着大数据应用的不断深入，企业不再满足离线数据加工计算的时效，实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀，传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数仓的构建至关重要。本文将分享如何基于ApacheDoris和ApacheFlink快速构建一个极速易
SelectDB技术团队·2023-10-28 02:40

Doris 开发实践建表，模型选择，分区使用，函数使用问题汇总

建表注意事项1.建表时候主键需要手动指定notnull语句2.主键指定的顺序需要按照建表的语句的字段顺序3.建表中comment语句放置的位置也要注意，否则会报错。CREATETABLEIFNOTEXISTSexample_db.expamle_tbl(`user_id`LARGEINTNOTNULLCOMMENT"用户id",`date`DATENOTNULLCOMMENT"数据灌入日期时间",
HD0do(迪答数据)·2023-10-28 02:09

【大数据 - Doris 实践】数据表的基本使用（五）：ROLLUP

数据表的基本使用（五）：ROLLUP1.基本概念2.Aggregate和Uniq模型中的ROLLUP2.1获得每个用户的总消费2.2获得不同城市，不同年龄段用户的总消费、最长和最短页面驻留时间3.Duplicate模型中的ROLLUP3.1前缀索引3.2ROLLUP调整前缀索引4.ROLLUP的几点说明ROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。1.基本概念在
G皮T·2023-10-28 02:38

计算机操作系统重点概念整理-第四章 内存管理【期末复习|考研复习】

第一章计算机系统概述第二章进程管理第三章进程同步第四章内存管理第五章文件管理第六章输出输出I/O管理文章目录第四章内存管理【期末复习|考研复习】前言四、内存管理4.1内存管理概念4.1.1基本原理和要求4.1.2交换技术4.2连续分配管理方式4.2.1动态分区分配
菠菠萝宝·2023-10-27 22:27

android10.0(Q) MTK 6765 user版本打开root权限

前言相比较Android8.1、9.0而言，Android10.0版本的root变得相当麻烦，10.0中引入了动态分区机制，同样的要想完全adbroot，需要fastboot解锁，然后关闭verity才能
龙之叶·2023-10-27 22:09

Doris--基础--13.4--SQl函数--字符串函数

Doris–基础–13.4–SQl函数–字符串函数1、append_trailing_char_if_absent(VARCHARstr,VARCHARtrailing_char)如果’str’字符串非空并且末尾不包含
勤径苦舟·2023-10-27 15:52

基于docker的doris集群升级

1.下载新版本的Doris安装包访问如下链接https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5找到想使用的版本，然后下载，可以下载编译好的版本，也可以下载源码再次编译
彪悍程序员·2023-10-27 12:03

type:ETL_QUALITY_UNSATISFIED； msg:quality not good enough to cancel

1.Doris倒入数据异常，如果在日志里看不出来，需要查看具体的情况。2.可以通过执行相应的sql去查看对应的报错信息，在客户端会提示我们查看异常详情的地址。3.通过访问详情会提示我们数据出错的原因。
'煎饼侠·2023-10-27 01:31

clickhouse、Doris、Kylin对比

clickhouseClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，是基于MPP架构的分布式ROLAP（RelationalOLAP）分析引擎主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告，可以支持任意指标、任意维度并秒级给出反馈。最大的特色是高性能的向量化执行引擎，而且功能丰富、可靠性高。OLAP（On-L
大地你王哥·2023-10-26 12:07

doris的单节点安装部署(详细)

doris的单节点安装部署环境准备：1.jdk8进入官网:https://www.oracle.com/java/technologies/downloads/在linux服务上创建jdk安装的目录mkdir
墨卿风竹·2023-10-26 11:30

doris的be其中失败的原因

doris的be其中失败的原因修改limits文件vim/etc/security/limits.conf1在文件的末尾处添加或者修改*softnofile204800*hardnofile204800
墨卿风竹·2023-10-26 11:52

开源BI系统调研

DataEase比较新，主要跟doris集成度比较高，其他数据源支持
wangfann·2023-10-26 03:38

测试连接：MYSQL、Doris、ORACLE、SQLSERVER、PostgreSQL、Hive、Elasticsearch、minIO

com.jcraftjsch0.1.54cn.hutoolhutool-all5.8.5commons-netcommons-net3.8.0io.miniominio8.3.5/***数据源url拼接及连接测试**@paramsysDatasource数据源对象*@returnResponse对象*/privateMaptestConn(SysDatasourcesysDatasource){M
m0_57164467·2023-10-25 12:02

Doris数仓的4大特点

Doris是一款基于MPP技术的SQL分析型数据库系统，能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。
Elivis Hu·2023-10-25 11:44

Redis为什么变慢了

Doris是一款基于MPP技术的SQL分析型数据库系统，能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。
Elivis Hu·2023-10-25 11:08

[1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog

JDBC外表JDBCExternalTableOfDoris提供了Doris通过数据库访问的标准接口(JDBC)来访问外部表，外部表省去了繁琐的数据导入工作，也省去了之前ODBC繁杂的驱动安装部署及版本匹配问题
张家锋·2023-10-25 10:26

Day7+8组+83号Doris周《学习力》

这个星期以来，我将《学习力》这本书反复翻看，由于要输出其中的一些内容，所以不得不这样做，这算是打卡才能产生的效果吧，自律真的不是嘴上说说就能行的。这本书不论是从什么地方开始读，都能给我们提供一些作者亲身实践的总结的一些方法，选出适合自己的几个方法，然后做就行了。现在对我来说人生开启了一个新的阶段，我也即将有了一个新的身份－－妈妈。所以对书中作者提到的与这个有关的内容，我都会看的很慢，边读边想，面对
木词·2023-10-25 05:40

D77 2组阿德doris+《活出生命的意义》读书笔记

昨天晚上，大群里进行了每周一问，问题是：你过往人生中有过特别艰难的生活经历吗？当时自己是怎么熬过去的？这段经历给了你什么启发？我的回答是目前为止，对我来说特别艰难的生活经历应该就是怀孕初期的孕反了。怀女儿的时候，刚好是暑假，从七月23号确定怀孕开始，一直到8月31日，整整吐了一个多月，每天吃什么吐什么，如果没吃就吐胃酸液，不管吃什么都没办法缓解。当时真的就是硬撑着度过了这一个多月，前三个月瘦了六斤
阿德doris·2023-10-25 03:01

D47 2组阿德doris+《这些人，那些事》读书笔记

今天阅读的是第四辑一封情书的重量和第五辑这些人，那些事对其中《长梦》一篇印象深刻。之所以对《长梦》印象深刻是因为我也曾经像那个女孩子一样收到过这样的一封情书。那是初中的时候，因为过去那么久了，甚至已经记不起是初几了。只记得那是我收到的第一封情书，来自隔壁班一个成绩不怎么样，长得还行，说过几次话的男孩子。在那个情窦初开的年纪，班里有几个女孩子有了男朋友，每天都很甜蜜开心的样子。所以对于长得并不好看的
阿德doris·2023-10-25 03:07

hive插入动态分区数据时，return code 2报错解决

Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask二、原因大概率是因为没有开启允许动态分区或单次动态分区个数太小了
zkkkkkkkkkkkkk·2023-10-24 23:46

利用 Databend + COS助力 CDH 分析 | 某医药集团

黄志武某医药集团信息中心数据库组组长，13年数据库行业从业经历，OracleOCM，关注Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris
云存储小天使·2023-10-24 19:26

Flink实时写入Apache Doris如何保证高吞吐和低延迟

随着实时分析需求的不断增加,数据的时效性对于企业的精细化运营越来越重要。借助海量数据,实时数仓在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。在这种情况下,ApacheDoris作为一个实时MPP分析数据库脱颖而出,它具有高性能和易用性,并且支持多种数据导入方式。结合ApacheFlink,用户可以从MySQL等上游数据库快速导入来自Kafka和
后季暖·2023-10-24 18:01

实验七 动态分区分配算法

不知道是不是理解错误，感觉最近的几个实验都大同小异。用算法思想描述就是（又是一个模拟题，甚至不需要考虑空间和时间复杂度。设立全局变量和所需结构：#definegetpch(type)(type*)malloc(sizeof(type))//指针建立的重命名structava_memory{//可用内存块存储.intID;//标记进程的号码，如果该区块未被进程占用，那么我们认为为-1.intstar
christine.ou·2023-10-24 13:37

动态分区分配算法

一、首次适应算法(FirstFit)1.思想每次都从低地址开始查找，找到第一个能满足大小的空闲分区2.实现以递增次序排列空闲分区，按顺序查找空闲分区链/空闲分区表，分配第一个满足要求的空闲分区3.缺点会导致低地址部分出现很多很小的空闲分区，使得每次分配查找开销更大。二、最佳适应算法(BestFit)1.思想为保证大进程能有连续的大片空间，多留大片空闲区，优先使用更小的空闲区。2.实现空闲分区按容量
代码续发·2023-10-24 13:36

Apache Doris的数据导入insert、数据删除delete

目录1.数据导入insert2.数据删除delete1.数据导入insertInsertInto命令包含以下两种。其中withlabel是可选的，默认会自动生成insertintotbwithlabellabel_nameselect…;insertintotbwithlabellabel_name(col1,col2,…)values(…),(…),…;：不建议用于生产环境示例：mysql>in
Bulut0907·2023-10-23 22:58

Doris系列14-数据导入之批量删除

文章目录一.批量删除概述1.1原理1.2读取1.3CumulativeCompaction1.4BaseCompaction1.5语法二.启用批量删除支持参考:一.批量删除概述目前Doris支持brokerload
只是甲·2023-10-23 22:53

Apache Doris 入门教程20：变更表结构

目前Doris支持以下几种修改:增加、删除列修改列类型调整列顺序增加、修改BloomFilter增加、删除bitmapindex本文档主要介绍如何创建SchemaChange作业，以及进行SchemaChange
sunjian286·2023-10-23 22:23

Apache Doris 入门教程09：数据导入之导入场景

支持的数据源Doris提供多种数据导入方案，可以针对不同的数据源进行选择不同的数据导入方式。
sunjian286·2023-10-23 22:23

Apache Doris 入门教程06：数据划分

本文主要介绍Doris的建表和数据划分，以及建表操作中可能遇到的问题和解决方法。基本概念在Doris中，数据都以表（Table）的形式进行逻辑上的描述。
sunjian286·2023-10-23 22:52

Apache Doris (十) ：Doris基础

目录1.基本概念2.建表语法及参数解释2.1column_definition_list2.2index_definition_list2.3engine_type2.4key_type
IT贫道·2023-10-23 22:19

Apache Doris (十五) ：Doris分区和分桶1-Range分区

目录1.分区Partition2.Ranage分区2.1创建Range分区方式2.2删分区2.3多列分区进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！
IT贫道·2023-10-23 22:19

Apache Doris 极速数据湖分析深度解读

从上世纪90年代初BillInmon在《buildingtheDataWarehouse》一书中正式提出数据仓库这一概念，至今已有超过三十年的时间。在最初的概念里，数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策」，而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。时代的发展与用户数据应用诉求的演进，催生了数据架构的不断革新，也
SelectDB技术团队·2023-10-23 22:46

Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时

导读：随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，使得实时数仓在这一过程中起到了不可替代的作用。本文将基于用户遇到的问题与挑战，揭秘ApacheDoris1.1特性，对Flink实时写入ApacheDoris的优化实现与未来规划进行详细的介绍。背景随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，在海量数据中，如何能实时有效的挖掘出有价值的信息，快
SelectDB技术团队·2023-10-23 22:45

Apache Doris (四十六）： Doris数据更新与删除 - 批量删除

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-23 22:43

[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集

jmx监控配置hadoop的jmx监控kafka的jmx监控hive的jmx监控hiveserver2的jmx监控metastore的jmx监控kylin的jmx监控loki的监控promtail的监控doris
王一1995·2023-10-23 20:19

Doris 运维篇：Apache Doris 如何定位处理问题的Tablet

我们在使用Doris的时候，有时候会遇到用户在查询的时候出现失败，出现类似下面这种错误：tablet=33903.2001738452.784560b62ce005b4-03d036e54a7ff7bb
张家锋·2023-10-23 16:22

【大数据 - Doris 实践】数据表的基本使用（四）：动态分区

数据表的基本使用（四）：动态分区1.原理2.使用方式3.动态分区规则参数3.1主要参数3.2创建历史分区的参数3.3创建历史分区规则3.4创建历史分区举例3.5注意事项4.示例4.1创建动态分区表4.2
G皮T·2023-10-23 07:21

Doris的12天减肥日记-第4天

加油Doris一步一步慢慢来比较快图片发自App
Dorisyoung·2023-10-23 05:35

王道计算机考研 操作系统学习笔记 + 完整思维导图篇章三: 内存管理

几个常用的数量单位指令的工作原理三种装入方式绝对装入可重定位装入动态重定位从写程序到程序运行链接的三种方式总结内存管理的概念内存保护内存空间的扩充覆盖技术交换技术内存空间的分配与回收连续分配管理方式单一连续分配固定分区分配动态分区分配总结动态分区分配算法首次适应算法最佳适应算法最坏适应算法邻近适应算法总结非连续分配管理方式基本分页存储管
学徒630·2023-10-22 14:33

【大数据 - Doris 实践】数据表的基本使用（三）：数据模型

数据模型1.Aggregate模型1.1例一：导入数据聚合1.2例二：保留明细数据1.3例三：导入数据与已有数据聚合2.Uniq模型3.Duplicate模型4.数据模型的选择建议5.聚合模型的局限性Doris
G皮T·2023-10-22 10:15

springboot 链接doris 配置

org.springframework.bootspring-boot-starter-data-jpaorg.springframework.bootspring-boot-starter-web在application.properties或application.yml文件中配置Doris
贾宝玉的贾·2023-10-22 03:18

操作系统备考学习 day9 (3.1.1 ~ 3.1.11)

内存的基本知识指令的工作原理绝对装入可重定位装入动态运行时装入从写程序到程序运行链接的三种方式3.1.2内存管理概念内存空间的分配与回收内存保护3.1.3覆盖与交换覆盖技术交换技术3.1.4连续分配管理方式单一连续分配固定分配方式固定分区分配动态分区分配
mcyuuji·2023-10-21 22:10

hive常用参数

sethive.exec.dynamic.partition=true;--#设置动态分区sethive.exec.dynamic.partition.mode=nonstrict;--动态分区非严格模式
微亮之海·2023-10-20 15:08

Hive零基础从入门到实战 入门篇（二十一） HiveQL：数据插入

目录前言CREATETABLE表名ASSELECT……INSERT2.1无分区表插入数据2.2分区表插入数据2.2.1静态分区插入2.2.2动态分区插入2.2.3静态分区和动态分区混合使用前言我们在入门篇
zxc131405·2023-10-20 01:24

大数据开发之Hive篇4-Hive数据操作语言

文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect语句3.2Insertoverwriteselect语句3.3multipleinserts3.4动态分区插入四
只是甲·2023-10-20 01:22
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他