Doris(Incuba 第17页

大数据Doris（四十六）：Stream Load基本原理和语法介绍

基本原理和语法介绍一、基本原理二、语法与结果1、语法2、返回结果StreamLoad基本原理和语法介绍Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris

Lansonli·2023-06-22 17:57

Doris-简介、架构、编译、安装和数据表的基本使用

目录1、Doris简介2、Doris网址3、Doris架构3、编译和安装3.1、软硬件需求3.2、编译3.2.1、安装Docker环境3.2.2、使用Docker开发镜像编译3.3、集群部署3.3.1、

jerry-89·2023-06-22 16:27

大数据中台技术组件

TURING.DT·2023-06-22 16:31

大数据Doris（四十七）：开启Steam Load记录

文章目录开启SteamLoad记录一、停止Doris集群二、在node3-node5BE节点上配置be.conf三、重新启动Doris集群开启SteamLoad记录后续执行StreamLoad导入任务后

Lansonli·2023-06-22 12:52

Day1+4组49号doris+《学习力》

今天开始共读第一本书，来自Angie的《学习力：如何成为一个有价值的知识变现者》【旧知】在认识萌薇老师以前，从来没听过知识变现。每天除了按部就班地上班，就是带娃和玩手机，直到参加萌薇老师的手账营，我才第一次知道了什么是知识变现。在这之后我又陆续参加了一些付费社群。我发现互联网时代下，人人都有可能实现知识变现。只是直到现在我也不知道自己的价值变现的方向在哪里，而且我也总会想，自己的能力还不够，可能没

阿德doris·2023-06-22 10:25

[建议收藏] Mysql+ETLCloud CDC+Doris实时数仓同步实战

一、业务需求及其痛点随着数字化转型，企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris

苛子·2023-06-22 06:26

叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践

经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应

·2023-06-21 14:19

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

摘要：本文整理自SelectDB资深大数据研发专家王磊，在FFA2022实时湖仓专场的分享。本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上，分析一下传统的数据架构。从图中可以看到，数据分为实时数据流和离线数据流。在实时数据部分，通过Binlo

·2023-06-21 14:18

【无标题】

Doris简介ApacheDoris（原百度Palo）是一个基于MPP架构的高性能、实时的分析型数据库，由百度在2017年开源，2018年8月进入Apache孵化器。

jerry-89·2023-06-21 10:40

OpenAI考虑为AI创建应用程序商店；Meta员工年薪反超Google；Apache Doris 1.2.5发布|极客头条

「极客头条」——技术人员的新闻圈！CSDN的读者朋友们早上好哇，「极客头条」来啦，快来看今天都有哪些值得我们技术人关注的重要新闻吧。整理|梦依丹出品|CSDN（ID：CSDNnews）一分钟速览新闻点！阿里巴巴：张勇卸任董事会主席和CEO，蔡崇信和吴泳铭接任腾讯首次披露行业大模型进展：不追求参数高，希望成本预算可控京东旧将闫小兵回归，入职综合部美图推出国内首个懂美学的视觉大模型MiracleVis

极客日报·2023-06-21 09:09

【解决问题的还得是看源码来得快】Datax脏数据配置问题解决

背景最近在用Datax进行数据测试，从sqlserver的数据输出到Doris，Doris安装在虚拟机上，只有3G内存，FE和BE同时安装在一起，由于内存过于小，在数据导入的时候想通过输出速率的方式解决问题

Hunter_Young·2023-06-20 16:44

Doris初认识

Doris初认识文章目录Doris初认识1.Doris概述2.核心特性3.使用场景4.架构1.Doris概述ApacheDoris是由百度大数据部研发（之前叫百度Palo，2018年贡献到Apache社区后

WHYBIGDATA·2023-06-20 09:42

Doris的安装

Doris的安装文章目录Doris的安装写在前面Linux操作系统版本需求软件需求操作系统安装要求设置系统最大打开文件句柄数时钟同步关闭交换分区（swap）开发测试环境生产环境安装下载安装包默认端口集群部署前置准备安装部署

WHYBIGDATA·2023-06-20 09:39

Doris镜像构建及容器编排

Doris镜像构建以构建完成的doris镜像ponylee/doris，starrocks镜像ponylee/starrocks。entrypoint.sh脚本文件#!

PONY LEE·2023-06-20 01:34

doris docker部署 1.2.4.1版本

目录写在前面镜像编译准备工作下载编译好的包fe安装包be安装包编辑初始化文件init_fe.shinit_be.sh编辑Dockerfilefe-Dockerfilebe-Dockerfile构建镜像doris-fedoris-be

qzWsong·2023-06-20 01:31

Doris--基础--3.5--SQL--建表

Doris–基础–3.5–SQL–建表1、查看帮助1.1、命令HELPCREATETABLE;1.2、内容MySQL[(none)]>helpcreatetableName:'CREATETABLE'Description

勤径苦舟·2023-06-19 19:33

在doris中实现行转列操作的三种方式及列转行的实现

本文演示使用sql进行列转行的操作和列转行一、行转列创建表droptablescore_1;CREATETABLEIFNOTEXISTSscore_1( `user_id`BIGINTNOTNULLCOMMENT"user_id", `subject`VARCHAR(255)NOTNULLCOMMENT"学科", `score`BIGINT NOTNULLDEFAULT'0'COMMENT"

自成E家·2023-06-19 19:02

Apache Doris数据分区Partition、数据分桶(distributed by)

目录1.数据分区和分桶的关系2.数据分区2.1range分区2.1.1多列range分区2.2list分区2.2.1多列list分区3.数据分桶4.关于Partition和Bucket的数量和数据量的建议5.建表语句properties设置5.1replication_num5.2storage_medium&storage_cooldown_time6.ENGINE1.数据分区和分桶的关系先分区

Bulut0907·2023-06-19 19:02

Apache Doris 基础使用(一)

目录1.1创建数据库1.2建表1.2.1单分区1.2.2复合分区1.3导入数据1.3.1Broker导入1.3.2Routine导入1.3.3其他导入方式1.1创建数据库###1.1创建数据库```sqlMySQL>CREATEDATABASEexample_db;MySQL>SHOWDATABASES;+--------------------+|Database|+--------------

野狼e族·2023-06-19 19:31

Doris

https://doris.apache.org/zh-CN/docs/dev/data-table/data-modelSHOWFRONTENDS;SHOWBACKENDS;SHOWBROKER;http

The_Well·2023-06-19 19:30

Doris入门到精通-阶段二（基本概念&使用）

简介在Doris中，数据都以关系表（Table）的形式进行逻辑上的描述。

顶尖高手养成计划·2023-06-19 19:00

Doris入门篇-分区分桶实验

简介测试分区分桶效果。分区的基本操作添加分区ALTERTABLEv2x_olap_database.government_carADDPARTITIONp20221203VALUESLESSTHAN("2022-12-04");动态分区表不能添加分区，需要转为手动分区表。查看分区showpartitionsfrom删除分区altertabledroppartition手动分区表与动态分区表切换手动

顶尖高手养成计划·2023-06-19 19:00

Apache Doris 1.2.4 Release 版本正式发布｜版本通告

在1.2.4版本中，Doris团队已经修复了自1.2.3版本发布以来近150个问题或性能改进项。同时，1.2.4版本也作为1.2.3的迭代版本，具备更高的稳定性，建议所有用户升级到这个版本。

·2023-06-19 19:03

Apache Doris 1.2.1 Release 版本正式发布｜版本通告

亲爱的社区小伙伴们，我们很高兴地宣布，ApacheDoris于2023年1月4日迎来1.2.1Release版本的正式发布！在新版本中，ApacheDoris团队修复了自1.2.0版本发布以来约200个问题或性能改进项。同时，1.2.1版本作为1.2LTS的第一个迭代版本，具备更高的稳定性，建议用户升级到这个版本。GitHub下载：https://github.com/apache/dor...官

·2023-06-19 19:57

Apache Doris 1.2.2 Release 版本正式发布

亲爱的社区小伙伴们，我们很高兴地宣布，ApacheDoris于2023年2月15日迎来1.2.2Release版本的正式发布！在新版本中，ApacheDoris团队修复了自1.2.1版本发布以来超过200个问题或性能改进项。同时，1.2.2版本作为1.2LTS的迭代版本，具备更高的稳定性，建议用户升级到这个版本。GitHub下载：https://github.com/apache/dor...官网

·2023-06-19 19:57

Apache Doris 1.1.4 版本正式发布！

作为1.1LTS（Long-termSupport，长周期支持）版本基础之上的Bugfix版本，在ApacheDoris1.1.4版本中，Doris团队修复了自1.1.3版本以来的约60个Issue或性能优化项

·2023-06-19 19:24

Apache Doris 1.1.3 版本正式发布！｜版本通告

亲爱的社区小伙伴们，我们很高兴地告诉大家，在2022年10月17日我们迎来了ApacheDoris1.1.3版本的正式发布。作为1.1LTS版本基础之上的Bugfix版本，在1.1.3版本中有超过80个Issue或性能优化项被合入，系统稳定性和性能得以进一步加强，推荐所有用户下载和使用。下载使用GitHub下载：https://github.com/apache/dor...官网下载页：https

·2023-06-19 19:23

Doris集群的安装部署

目录安装与部署软硬件配置1、机器选择2、软件选择3、环境信息修改和部署架构4、安装部署Doris5、启动FE6、在FE节点启动MySQL客户端7、在BE节点启动be8、查看BE状态8、查看FE状态是否正常

Xlucas·2023-06-19 19:35

Apache Doris 1.2.5 版本正式发布

在1.2.5版本中，Doris团队已经修复了自1.2.4版本发布以来近210个问题或性能改进项。同时，1.2.5版本也作为1.2.4的迭代版本，具备更高的稳定性，欢迎大家下载体验。

·2023-06-19 19:09

Doris-1.2.3 详细安装教程&doris-1.2.3性能测试教程

这是一个详细的安装和测试教程，包含了二进制包的版本选择和下载，FE、BE节点的部署，ssb数据集性能测试和tpch数据集性能测试。都有详细的教程和截图、步骤讲解目录一、二进制包下载1、下载2、选择下载包2.1BE下载2.2FE下载2.3安装JavaUDF函数二、安装部署1、文件归一2、添加环境变量3、修改可打开文件数（每个节点）添加4、部署FE节点1.1解压文件1.2创建FE元数据存储的目录1.3

小雏菊的成长·2023-06-19 19:32

Apache Doris

基于Doris0.15-1.0MPPMassivelyParallelProcessing大规模并行处理。

wqy19941008·2023-06-19 11:37

Doris常用命令

ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！dorisFE启动与停止:./start_

如是我闻.春风不渡·2023-06-19 11:37

Doris 开发指南

1.Doris简介1.1Doris概述ApacheDoris由百度大数据部研发（之前叫百度Palo，2018年贡献到Apache社区后，更名为Doris），在百度内部，有超过200个产品线在使用，部署机器超过

_777.....·2023-06-19 11:37

Doris FE启动流程源码解读

FE启动流程分析Doris中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。本文主要看一下Doris的fe在启动时做了什么。

BigDataMK·2023-06-19 11:36

Doris 数据副本分区均衡策略，fromBe has no replica in the map, can‘t move

文章目录前言一、分区负载均衡二、问题来了1.进一步验证2.解决前言当前使用Doris版本为0.14某天观察到线上Doris集群资源使用情况，发现整体上内存、CPU使用率较低，为降低成本进行了一波缩容操作

柏油·2023-06-19 11:36

Doris 扩缩容和副本均衡

扩缩容和副本均衡对于集群节点发生变化（扩缩容）时，集群内部的tablet是如何以一定的策略完成数据的重分布，从而达到每个be能够分布尽可能数量相同的tablet。同时，集群内部某些tablet由于某些原因发生损坏时，这些tablet的自动修复工作又是如何进行的呢？为什么通常需要推荐三副本，不采用2副本或者1副本存储？这个和副本自动修复机制有什么关联吗？一一来看上面的问题之前，我们先看一下整个tab

BigDataMK·2023-06-19 11:05

大数据Doris（三十九）：Spark Load 注意事项

文章目录SparkLoad注意事项SparkLoad注意事项1、现在Sparkload还不支持Doris表字段是String类型的导入，如果你的表字段有String类型的请改成varchar类型，不然会导入失败

Lansonli·2023-06-19 03:35

Doris单机部署

文章目录1.前言2.安装3.启动4.使用5.记一次安装报错1.前言 ApacheDoris是一款现代MPP(MassivelyParallelProcessing大规模并行处理)的分布式SQL分析数据库，所谓分析数据库就是将其数据集分布在许多机器或节点上，以处理大量数据，采用Apache2.0认证授权。它的前身是原百度Palo，由百度在2017年开源，2018年进入Apache孵化器。Apach

小强签名设计·2023-06-18 21:27

Doris Spark Load 记录

环境doris:selectdb-doris-1.2.0-1-caeed14spark:2.4.6Hadoop:3.1.0步骤●配置环境：参考官网DorisSparkLoad●配置示例○fe.confenable_spark_load

本旺·2023-06-18 15:23

doris 用户权限设置

创建角色语法：CREATEROLE[IFNOTEXISTS]role1;该语句创建一个无权限的角色，可以后续通过GRANT命令赋予该角色权限。例子mysql>CREATEROLEtest;QueryOK,0rowsaffected(0.01sec)删除角色语法：DROPROLE

贾斯汀玛尔斯·2023-06-18 15:23

Doris之资源管理

资源管理为了节省Doris集群内的计算、存储资源，Doris需要引入一些其他外部资源来完成相关的工作，如Spark/GPU用于查询，HDFS/S3用于外部存储，Spark/MapReduce用于ETL,

墨卿风竹·2023-06-18 15:51

Doris支持spark导入设计文档

Doris支持spark导入设计文档背景Doris现在支持Brokerload/routineload/streamload/minibatchload等多种导入方式。

墨卿风竹·2023-06-18 15:51

大数据Doris（三十五）：Doris创建Spark Resource

文章目录Doris创建SparkResource一、创建SparkResource二、分配资源权限Doris创建SparkResource一、创建SparkResourceSpark作为一种外部计算资源在

Lansonli·2023-06-18 15:50

大数据Doris（二十六）：Broker Load基本原理和语法介绍

BrokerLoad基本原理和语法介绍一、基本原理二、BrokerLoad语法BrokerLoad基本原理和语法介绍ApacheDoris架构中除了有BE和FE进程之外，还可以部署Broker可选进程，主要用于支持Doris

Lansonli·2023-06-18 12:07

Doris开发手记4：倍速性能提升，向量化导入的性能调优实践

正好有Doris社区的小伙伴吐槽向量化的导入性能表现并不是很理想，就借这个机会对之前开发的向量化导入的工作进行了性能调优，取得了不错的优化效果。

LeeHappen·2023-06-18 01:23

Doris面试题二十道

问题1：什么是Doris？答案：Doris（前身为Palo）是一款开源的分布式列式存储计算引擎，用于快速查询和分析大规模数据。

MIDSUMMER_yy·2023-06-18 01:08

大数据Doris（三十三）：Spark集群搭建

文章目录Spark集群搭建一、SparkStandalone集群搭建1、下载Spark安装包2、上传、

Lansonli·2023-06-17 18:46

大数据Doris（四十三）：kafka 简单json格式数据导入到Doris

文章目录kafka简单json格式数据导入到Doris一、创建Doris表二、创建Kafkatopic三、创建Ro

Lansonli·2023-06-17 14:39

使用Apache SeaTunnel进行数据库同步（MySQL to MySQL）

目前，大数据体系里有各种各样的数据引擎，有大数据生态的Hadoop、Hive、Kudu、Kafka、HDFS，也有泛大数据库体系的MongoDB、Redis、ClickHouse、Doris，更有云上的

猿敲月下码·2023-06-17 10:50

sql优化-json字符串数组解析优化-doris

sql优化-json字符串数组解析优化-dorisdata字段数据样式：[{“key”:“pen_id”,“value”:“754284934366130203”},{“key”:“distance_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“key”:“camera_0_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“k

cg6·2023-06-17 01:33

推荐频道

Doris(Incuba