Doris

Doris 数据导入二：Stream Load 方式

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
shangjg3·2023-12-02 10:22

Doris 上卷（Rollup）和前缀索引

1基本概念在Doris中，我们将用户通过建表语句创建出来的表称为Base表（BaseTable）。Base表中保存着按用户建表语句指定的方式存储的基础数据。
shangjg3·2023-12-02 10:21

Doris 外部表

DorisODBC外部表ODBCExternalTableOfDoris提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力
shangjg3·2023-12-02 10:21

Doris 数据导入一：Broker Load 方式

1.Doris导入数据的方式总结导入（Load）功能就是将用户的原始数据导入到Doris中。导入成功后，用户即可通过Mysql客户端查询数据。
shangjg3·2023-12-02 10:18

用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

背景StarRocks和Doris是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。
ClouGence·2023-12-02 08:47

Python连接Doirs查询实战

问题背景有客户提出来他们的客户端是Python的，需要使用Python语言查询Doris。
wangleigiser·2023-12-01 15:47

Apache Doris : 一个开源 MPP 数据库的架构与实践

分享提纲：Doris背景介绍适用场景&案例介绍Doris整体架构Doris关键技术Doris背景介绍介绍Doris的整体架构，以及Doris的一些特性。
hellozhxy·2023-12-01 15:43

日志检索场景ES-＞Doris迁移最佳实践：函数篇

函数列表函数：term函数功能说明：查询某个字段里含有某个关键词的文档参数说明：返回值说明：ES使用示例：{"query":{"term":{"title":"blog"}}}Doris使用示例：select
wangleigiser·2023-12-01 15:40

基于Apache doris怎么构建数据中台(五)-数据质量管理

上一次我们讲了，数据怎么进行快速的接入，这次我们讲在接入及后续的数据处理中质量怎么控制如何更加合理、高效的监控每类作业的运行状态，并将原本分散、孤岛式的监控日志信息通过规则引擎集中共享、关联、处理；洞察关键信息，形成事前预判、事中监控、事后跟踪的质量管理闭环流程；沉淀故障问题，搭建解决方案的知识库体系。在数据质量监管平台的规划建设中，面临如下挑战：缺乏统一监控视图，离线和实时作业监控分散，影响性、
张家锋·2023-11-30 17:48

docker集群部署doris

1.前言这篇文章主要讲述如何在docker环境下搭建doris集群，以及一些注意事项。
yedajiang44·2023-11-30 02:18

Doris系列9-表结构变更

目前Doris支持
只是甲·2023-11-30 02:13

Doris之Stream load

StreamloadStreamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
墨卿风竹·2023-11-30 02:41

doris导入报错问题集合

dorisspark导入报错：Inserthasfiltereddatainstrictmode,tracking_url由于enable_insert_strict的默认值是false，当前执行INSERT语句时，有不符合目标表格式的数据，比如字符串超过字段类型等等，导入任务会直接报错。解决办法修改数据类型，比如varchar的长度setenable_insert_strict=false；只要
炼数成器·2023-11-30 02:39

Apache Doris常见问题答疑(二)

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星Q：showbackends/frontends查看到的信息不完整A：在执行如showbackends/frontends
hf200012·2023-11-30 02:38

Doris_Doris导入常见问题

Doris数据导入错误：thelengthofinputistoolargerthanschema可能原因：varchar长度设置过短Doris表字段乱序导入palo表中的csv本身无schema信息，
高达一号·2023-11-30 02:34

Doris-集群部署（四）

创建目录并拷贝编译后的文件1）创建目录并拷贝编译后的文件mkdir/opt/module/apache-doris-0.15.0cp-r/opt/software/apache-doris-0.15.0
玖玖1704·2023-11-29 21:12

Doris单机版安装和初步使用

参考官方文档https://doris.apache.org/zh-CN/docs/dev/get-starting/下载安装包下载-ApacheDorisIndexof/apache/doris/1.2
未竟·2023-11-28 21:54

Stream load doris

代码如下：经测试有效packageDemo;importcom.alibaba.fastjson.JSONObject;importorg.apache.commons.net.util.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;import
weixing_2006·2023-11-28 19:52

Doris-Broker Load（二十四）

适用场景源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。基本原理用户在提交导入任务后，FE会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。基本语法LOADLABELdb
玖玖1704·2023-11-28 16:18

Doris-导入示例（二十五）

1）Doris中创建表createtablestudent_result(idint,namevarchar(50),ageint,scoredecimal(10,4))DUPLICATEKEY(id)
玖玖1704·2023-11-28 16:18

Doris-Stream Load（二十六）

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
玖玖1704·2023-11-28 16:18

Doris-Routine Load（二十七）

例行导入（RoutineLoad）功能为用户提供了一种自动从指定数据源进行数据导入的功能。适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。csv每一个message为一行，且行尾不包含换行符。（3）默认支持Kafka0.10.0.0（含）以上版本。如果要使用Kafka
玖玖1704·2023-11-28 16:58

apache doris windows下fe开发环境搭建

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.环境准备JDK1.8+,IntelljIDEA1.linux上编译好fe前端代码，主要目的是获取自动生成的代码
hf200012·2023-11-28 07:35

Apache Doris 系列： 入门篇-创建数据表

本文档我们介绍Doris怎么创建表及其他的相关操作。
hf200012·2023-11-28 07:35

Apache Doris 数据建模之 Aggregate Key 模型

了解Doris数据模型对于我们使用Doris来解决我们业务问题非常重要，这个系列我们将详细介绍Doris的三种数据模型及Doris数据分区分桶的一些策略，帮助用户更好的使用Doris。
hf200012·2023-11-28 07:35

Apache Doris Stream load 数据导入方式

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.概要Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到
hf200012·2023-11-28 07:05

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-11-28 07:59

Doris DUPLICATE KEY数据覆写方案

1.问题背景因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。2.实现步骤创建表CREATETABLEIFNOTEXISTStest1(`day`DATENOTNULLCOMMENT"default1980-00-00",`user_type`VARCHAR(20)COMMENT"",`product`VARCHAR(20)COMMENT"",`use
wangleigiser·2023-11-28 04:50

Doris的数据模型和增删改查操作

Doris的数据模型和增删改查Doris数据模型了解Doris的朋友都知道，Doris是一个MPP的分析型数据库。可以支持大数据下的实时分析。说到数据分析，不得不提的是Doris的数据模型。
Dennis985·2023-11-28 04:20

Day 008 2组阿德doris+《人生效率手册》读书笔记

阅读时间：17:30阅读内容：《人生效率手册》在阅读完《如何有效阅读一本书》和《洋葱阅读法》之后，我明白了为了更有效率地阅读，我们并不需要一拿到书就直接通读全书。所以在今天的阅读过程中，我只是看了这本书的标题，封面和前言。第一次听说这本书的作者张萌，还是在萌薇老师的奇遇人生手账营里。百度百科里对张萌萌姐的履历有详细的介绍，而最吸引我的是她是2018年北京奥运会的火炬手，她是85后连续创业者、时间管
阿德doris·2023-11-27 23:43

Doris数据查询

1查询设置1.1增大内存一个查询任务，在单个BE节点上默认使用不超过2GB内存，内存不够时,查询可能会出现‘Memorylimitexceeded’。SHOWVARIABLESLIKE"%mem_limit%";exec_mem_limit的单位是byte，可以通过SET命令改变exec_mem_limit的值。如改为8GB。SETexec_mem_limit=8589934592;</
shangjg3·2023-11-27 21:56

Doris的数据模型

Doris的数据模型主要分为3类：Aggregate、Uniq、Duplicate1Aggregate模型表中的列按照是否设置了AggregationType，分为Key（维度列）和Value（指标列）
shangjg3·2023-11-27 21:54

【Apache Doris】Manager极致丝滑地运维管理

【ApacheDoris】Manager极致丝滑地运维管理1.标准VS可视化运维管理2.环境信息2.1.硬件信息2.2.软件信息3.前置准备3.1.安装包准备3.2.文档手册准备4.集群初始化4.1.系统参数预设4.2.Manager部署4.3.新集群部署4.4监控告警4.4.1监控4.4.2告警5.集群升级5.1新包准备5.2一键升级5.3结果验收6.集群扩所容6.1一键扩容6.2一键缩容7.多
乙真仙人·2023-11-26 22:11

python使用doris教程

1.使用insertorupdate语句操作数据时，出现如下所示的提示信息原因：登陆的帐号对表没有写入和删除的权限，解决方法：申请对表的操作权限get_data_frameexecutingSQL:(pymysql.err.OperationalError)(1142,"errCode=2,detailMessage=LOADcommanddeniedtouser'default_cluster:
yqj234·2023-11-25 23:55

【Doris Weekly & FAQ】2021.08.02~2021.08.15

欢迎收看【Doris近日要闻】~本次为您带来的是2021年08月02日～2021年08月15日的双周总结。Doris社区周报每期会包含FAQ环节。
ApacheDoris·2023-11-25 13:03

一键实现Oracle数据整库同步至 Apache Doris的验证实录

看到一键实现万表MySQL整库同步至ApacheDoris这篇文章(一键实现万表MySQL整库同步至ApacheDoris(qq.com))就下载flink-doris-connector代码验证了一下
qq_26689303·2023-11-25 13:32

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

本文导读：同程数科是同程集团旗下的旅游产业金融科技服务平台，为上下游企业和个人消费者提供数字金融科技服务。近年来，随着同程数科业务的不断拓展和用户量的增加，高效可靠的一站式数据中心建设已成为必不可少的需求。为帮助业务人员提升数据开发的效率与质量，同程数科历经三代架构演进，最终引入ApacheDoris搭建统一实时数仓，在后续的实际应用中，将实时数仓平台化，进一步构建了一站式数据平台Ark，为业务人
SelectDB技术团队·2023-11-25 13:29

Apache Doris 在拈花云科的统一数据中台实践，One Size Fits All

作者｜NearFarXLab团队洪守伟、陈超、周志银、左益、武超整理｜SelectDB内容团队导读：无锡拈花云科技服务有限公司（以下简称拈花云科）是由中国创意文旅集成商拈花湾文旅和北京滴普科技有限公司共同孵化组建的。拈花云科以数字化思维为导向，致力于成为文旅目的地数智化服务商。2022年底，拈花云科NearFarXLab团队在数据需求的驱动下，开始调研并引进ApacheDoris作为新架构下的数据
SelectDB技术团队·2023-11-25 13:29

【Apache Doris】一键实现万表MySQL整库同步 | 快速体验

【ApacheDoris】一键实现万表MySQL整库同步|快速体验）一、环境信息1.1硬件信息1.2软件信息二、流程介绍三、前提概要3.1安装部署3.2JAR包准备3.2.1数据源3.2.2目标源3.3脚本模版四、快速体验五、常见问题5.1Mysql通信异常5.2MySQL无Key同步异常5.3CKPONHDFS连接异常5.4CKPONHDFS权限异常5.5其它参考官方【FlinkDorisCon
乙真仙人·2023-11-25 13:26

Doris系列13-数据导入之Routine Load

名词解释:FE：Frontend，Doris的前端节点。负责元数据管理和请求接入。BE：Backend，Doris的后端节点。负责查询执行和数据存储。
只是甲·2023-11-25 02:16

Apache Doris物化视图使用详解

目录1.什么是物化视图2.有了rollup，为啥还需要物化视图3.创建物化视图的原则4.物化视图的使用4.1创建4.2查看4.3删除5.物化视图中的聚合和查询中聚合的匹配关系6.explain查看select是否使用物化视图7.物化视图的局限性1.什么是物化视图通过定义一段select查询语句，从base表进行数据查询，形成一张物化视图表。物化视图表的数据独立于base表储存。对base表进行数据
Bulut0907·2023-11-24 16:04

Doris进阶——物化视图

在Doris中就是将查询结果预先存在来的表，建立在Base表上，独立存储。物化视图的适用场景，来源Doris官网：分析需求覆盖明细数据查询以及固定维度查询两方面。查询仅涉及表中的很小一部分列或行。
小眼睛的Ayuan·2023-11-24 16:02

Doris进阶——Rollup和前缀索引

RollupDoris中通过建表语句创建的表是Base表，也就是基础表，通过建表语句指定大的方式来存储基础数据。在Base表上可以存储创建多个Rollup表，Rollup表依赖于Base表的数据，且是单独物理存储的，所以创建太多会占用资源空间。Rollup作用：Rollup是在Base表的基础上获得更粗粒度的聚合数据。在不同数据模型中会有不同的作用。Rollup的根本作用就是提升某些查询的查询效率
小眼睛的Ayuan·2023-11-24 16:32

Doris系列之高级功能-Rollup操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris中物化视图-案例（二十）

参考上篇：Doris中的物化视图-查询案例一1）创建一个Base表createtablesales_records(record_idint,seller_idint,store_idint,sale_datedate
玖玖1704·2023-11-24 16:01

Doris-修改表（二十一）

使用ALTERTABLE命令可以对表进行修改，包括partition、rollup、schemachange、rename和index五种。语法：ALTERTABLE[database.]tablealter_clause1[,alter_clause2,...];rename1）将名为table1的表修改为table2ALTERTABLEtable1RENAMEtable2;2）将表exampl
玖玖1704·2023-11-24 16:01

Doris中的物化视图-查询（十九）

物化视图创建完成后，用户的查询会根据规则自动匹配到最优的物化视图。比如我们有一张销售记录明细表，并且在这个明细表上创建了三张物化视图。一个存储了不同时间不同销售员的售卖量，一个存储了不同时间不同门店的销售量，以及每个销售员的总销售量。当查询7月19日，各个销售员都买了多少钱的话。就可以匹配mv_1物化视图。直接对mv_1的数据进行查询。查询自动匹配物化视图的自动匹配分为下面两个步骤：（1）根据查询
玖玖1704·2023-11-24 16:00

猿创征文｜Apache Doris物化视图介绍

1.什么是物化视图物化视图，简单来说就是预先存储查询结果的一种数据库对象。众所周知ApacheDoris是一款MPP分析型数据仓库，仅需压秒级就可以快速响应用户的查询需求。物化视图的出现，主要是为了满足用户的需求，对那些频繁使用的重复性的查询，可以提前将查询结果存储在一张特殊的表中，当用户再次使用相同查询需求时，可以自动命中预先处理好的数据，因而能大幅度提升查询效率。2.物化视图的使用场景Apac
码猿小站·2023-11-24 16:59

Doris Rollup物化视图及应用实践

详情观看官网:Rollup与查询&&物化视图Rollup与查询在Doris里Rollup作为一份聚合物化视图，其在查询中可以起到两个作用：索引聚合数据（仅用于聚合模型，即aggregatekey）但是为了命中
这个妹妹我见过·2023-11-24 16:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他