Doris 第16页

doris删除BE节点，增加BE节点

目录一、删除BE节点命令二、增加BE节点一、删除BE节点命令ALTERSYSTEMDROPBACKEND"node1:9050";ALTERSYSTEMDROPBACKEND"node2:9050";ALTERSYSTEMDROPBACKEND"node3:9050";如果报如下错误：ERROR1105(HY000):errCode=2,detailMessage=ItishighlyNOTREC

小雏菊的成长·2023-07-29 02:49

免费开放｜一站式集群管理神器 Cluster Manager for Apache Doris，轻松提升运维效率

在如今这个数据驱动的时代，ApacheDoris已经成为众多企业不可或缺的重要数据平台，帮助企业实现海量数据的实时查询分析，助力企业的业务决策更加高效实时。作为广受认可的开源实时数据仓库，ApacheDoris以性能突出和极简易用著称，而运维的便捷性也是核心优势之一。系统在设计之初一直遵循简洁性的原则，整体架构精简、不依赖于其他外部系统，FE和BE高可用、支持故障自愈和数据副本自动修复，而来自社区

SelectDB技术团队·2023-07-27 13:29

如何基于 Apache Doris 构建新一代日志分析平台｜解决方案

作者：肖康，SelectDB技术副总裁、ApacheDorisCommitter日志数据是企业大数据体系中重要的组成部分之一，这些数据记录了网络设备、操作系统以及应用程序的详细历史行为，蕴含了丰富的信息价值，在可观测性、网络安全、业务分析等关键业务领域发挥着重要作用，可帮助企业更好了解系统及业务运行情况，及时发现及解决问题，以保障系统安全稳定运行。具体而言，日志数据可以通过以下方式为企业带来价值：

SelectDB技术团队·2023-07-27 13:28

Doris动态分区表新增分区问题

问题描述：最近在学习doris，今天创建了张动态分区表，建表语句的配置参数如下：PROPERTIES( "dynamic_partition.enable"="true", "dynamic_partition.time_unit

DLoong+·2023-07-26 14:48

Apache Doris (三十四）：Doris Stream Load（1）-基本原理及语法

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。

IT贫道·2023-07-25 00:28

Apache Doris (三十三）：Doris 数据导入(十一）Routine Load 2- 导入案例及注意事项

目录1.导入Kafka数据到Doris2.严格模式导入Kafka数据到Doris3.kafka简单json格式数据导入到Doris4.kafkajson数组格式数据导入到Doris5.注意事项进入正文之前

IT贫道·2023-07-25 00:57

Apache Doris (三十六）：通过外部表同步数据到Doris及Doris数据导入总结

目录1.通过外部表同步数据到Doris2.Doris数据导入总结进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！

IT贫道·2023-07-25 00:57

Apache Doris (三十五）：Doris Stream Load（2）-案例

1.开启SteamLoad记录后续执行StreamLoad导入任务后，我们会在Doris集群中会查询对应StreamLoad任务的情况，默认BE是不记录StreamLoad记录，如果想要在Doris集群中通过

IT贫道·2023-07-25 00:53

基于Apache doris怎么构建数据中台(八)-数仓管理

数仓分层模型数仓分层模型的好处：1、数据结构化更清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解。2、数据血缘追踪：提供给外界使用的是一张业务表，但是这张业务表可能来源很多张表。如果有一张来源表出问题了，我们可以快速准确的定位到问题，并清楚每张表的作用范围。3、增强数据复用能力：减少重复开发，通过数据分层规范化，开发一些通用的中间层数据，能够减少重复计算，提高单张业务表

张家锋·2023-07-23 00:19

Doris架构包含哪些技术？为什么进行技术整合？

Doris主要整合了GoogleMesa(数据模型)，ApacheImpala(MPPQueryEngine)和ApacheORCFile(存储格式，编码和压缩)的技术。为什么要将这三种技术整合?

传智教育·2023-07-21 23:09

doris恢复库恢复表

今天眼疾手快不小心删了公司生产环境的表而且碰巧这个数据没有备份的当时哥们就呆住还好doris升级过1.2刚推出了恢复数据的功能~~~~~这里给老天爷磕一个了~~~~~~数据删除恢复Doris为了避免误操作造成的灾难

后季暖·2023-07-21 21:12

Kyuubi的介绍优势（官网链接）

Kyuubi在各种现代计算框架（例如ApacheSpark、Flink、Doris、Hive和Trino等）之上构建分布式SQL查询引擎，以查询来自异构数据源的分布在大量机器上的海量数据集。

墨卿风竹·2023-07-21 00:07

Mysql+ETLCloud CDC+Doris实时数仓同步实战

业务需求及其痛点很多大型企业需要对各种销售及营销数据进行实时同步分析，例如销售订单信息，库存信息，会员信息，设备状态信息等等，这些统计分析信息可以实时同步到Doris中进行分析和统计，Doris作为分析型数据库特别适合于对海量数据的存储和分析

苛子·2023-07-20 17:24

Apache Doris (四) ：Doris分布式部署（一） FE部署及启动

ApacheDoris中部署多FE的思路为先在一台节点上配置部署一个FE并启动，相当于是启动Doris服务，然后配置更多的FE节点，添加到Do

IT贫道·2023-07-20 13:24

Apache Doris (三十二）：Doris 数据导入(十）Routine Load 1- 基本原理及语法

例行导入（RoutineLoad）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。目前RoutineLoad仅支持从Kafka中导入数据。

IT贫道·2023-07-20 13:24

Apache Doris (三十一）：Doris 数据导入(九）Spark Load 4- 导入Hive数据及注意事项

目录1.SparkLoad导入Hive非分区表数据2.SparkLoad导入Hive分区表数据3.注意事项进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！1.SparkLoad导入Hive非分区表数据1）在node3hive客户端，准备向Hive表加载的数据hive_data1.txt:1,zs,18,1002,ls

IT贫道·2023-07-20 13:22

河北幸福消费金融基于 Apache Doris 构建实时数仓，查询提速 400 倍！

本文导读：随着河北幸福消费金融的客户数量和放贷金额持续上升，如何依托大数据、数据分析等技术来提供更好决策支持、提高工作效率和用户体验，成为了当前亟需解决的问题。基于此，公司决定搭建数据中台，从基于TDH的离线数仓再到基于ApacheDoris的实时数仓，最终统一了数据出口，提升了数据质量，并实现查询速度近400倍的提升。本文将详细为大家分享河北幸福消费金融数据中台搭建经验和应用实践，希望为其他企业

SelectDB技术团队·2023-07-20 09:27

Apache Doris 1.2.6 版本正式发布｜版本通告

在1.2.6版本中，Doris团队已经修复了自1.2.5版本发布以来若干问题或性能改进项，欢迎大家下载体验。

SelectDB技术团队·2023-07-20 09:56

seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行踩坑记录

seatunnel-2.3.2doris数据同步到hive(cdh-6.3.2)首次运行报错解决，解决的报错如下：1、java.lang.NoClassDefFoundError:org/apache/

小雏菊的成长·2023-07-19 15:13

OLAP工具Apache Doris或StarRocks集群安装

StarRocks或Doris集群安装下载StarRockes2.0.1版本下载地址https://cdn-release.starrocks.com/StarRocks-2.0.1.tar.gz?

贾斯汀玛尔斯·2023-07-19 13:37

Doris建表

Name:‘CREATETABLE’Description:该语句用于创建table。语法：CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_definition2,…][,index_definition1[,ndex_definition12,]])[ENGINE=[olap|m

贾斯汀玛尔斯·2023-07-19 13:36

Doris之导入 Json 格式数据

导入Json格式数据Doris从0.12版本开始支持Json格式的数据导入。

墨卿风竹·2023-07-18 23:40

Apache Doris (二十八）：Doris 数据导入(六）Spark Load 1- 原理及配置

目录1.基本原理2.Spark集群搭建2.1SparkStandalone集群搭建2.2SparkOnYarn配置3.Doris配置Spark与Yarn3.1Doris配置Spark3.2Doris配置

IT贫道·2023-07-18 11:13

Apache Doris (二十九）：Doris 数据导入(七）Spark Load 2- Doris创建Spark Resource

1.创建SparkResourceSpark作为一种外部计算资源在Doris中用来完成ETL工作，因此我们引入resourcemanagement来管理Doris使用的这些外部资源。

IT贫道·2023-07-18 11:43

Apache Doris (二十七）：Doris 数据导入(五）HDFS Load

HDFSLoad主要是将HDFS中的数据导入到Doris中，Hdfsload创建导入语句，导入方式和BrokerLoad基本相同，只需要将WITHBROKERbroker_name语句替换成WithHDFS

IT贫道·2023-07-18 11:42

Apache Doris (八) ：Doris分布式部署（五） Broker部署及Doris集群启动脚本

1.Broker部署及扩缩容Broker是Doris集群中一种可选进程，主要用于支持Doris读写远端存储上的文件和目录。建议每一个FE和BE节点都部署一个Broker。Broker通过提供一个RP

IT贫道·2023-07-18 11:42

Apache Doris (十六) ：Doris分区和分桶2-List分区

目录1.List分区1.1创建List分区方式1.2增删分区1.3多列分区进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！1.List分区业务上，用户可以选择城市或者其他枚举值进行partition，对于这种枚举类型数据列进行分区就可以使用List分区。List分区列支持BOOLEAN,TINYINT,SMALLINT,INT,BIGINT,LARGEINT,

IT贫道·2023-07-18 11:12

Apache Doris (五) ：Doris分布式部署（二） FE扩缩容

目录1.通过MySQL客户端连接Doris2.FEFollower扩缩容3.FEObserver扩缩容4.FE扩缩容注意点进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容

IT贫道·2023-07-18 11:11

Apache Doris (六) ：Doris分布式部署（三） BE部署及启动

1.上传安装包并解压在node3节点上传“apache-doris-be-1.2.1-bin-x86_64.tar.xz”

IT贫道·2023-07-18 11:11

Apache Doris (三十）：Doris 数据导入(八）Spark Load 3- 导入HDFS数据

目录1.准备HDFS数据2.创建Doris表3.创建SparkLoad导入任务4.查看导入任务状态进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

IT贫道·2023-07-18 11:07

【Doris的安装和使用】

1.准备工作1.1集群规划1.2操作系统安装要求设置系统最大打开文件句柄数(注意这里的*不要去掉)sudovim/etc/security/limits.conf*softnofile65536*hardnproc65536设置最大虚拟块的大小sudovim/etc/sysctl.confvm.max_map_count=2000000将修改的配置分发给其他节点sudo/home/atguigu/

Tonystark_sunshine·2023-07-18 11:28

『西安洋葱线下读书会NO·1』

活动内容:热情在呼唤你活动地点:是Doris和榴莲糖的内外美学工作室活动时间：3月23日美丽的周六14:30~19:00参与人数:共10人庞大的队伍，主讲人榴莲糖、主持人刘夏、若男、乐山爸爸、章鱼、扬子

安奇_7d41·2023-07-17 06:21

撤销本地merge(合并过来一堆commit)未push

背景：我们有两套环境，A环境：A分支，doris环境：doris分支doris分支从master分支切出后，改动特别大，一堆commit在一个嗨皮快乐的假期后，我再doris分支改了一点东西提交后，想发布一版

FightingITPanda·2023-07-17 02:30

apache doris数据库集群搭建（二）

2.软硬件需求Doris作为一款开源的MPP架构OLAP数据库，能够运行在绝大多数主流的商用服务器上。

Hello.Reader·2023-07-16 10:42

apache doris数据库搭建（一）

1.Doris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景

Hello.Reader·2023-07-16 10:11

Doris-0.13.15部署扩容问题汇总

1、环境Doris版本0.13.15（进去可直接下载binarytgz，解压即用，无需自己编译）现有节点，3个节点node1,node2,node3FE服务扩容observer节点：node4,node5

Demon_gu·2023-07-16 01:25

星云零售信贷基于 Apache Doris 的 OLAP 演进之路

本文导读：腾梭科技是国内领先的零售金融数字化及安全服务提供商，是腾讯投资且在金融领域的战略合作伙伴，并与腾讯联合研发了“星云智慧信贷解决方案。在其信贷业务转型过程中，随着系统规模不断扩大，早期架构无法再满足业务需求，因此腾梭科技决定引入ApacheDoris实现业务升级。本文将详细介绍其信贷业务如何基于ApacheDoris在助贷系统日志分析场景的实践应用，实现毫秒级并发查询响应与极致存储性价比的

SelectDB技术团队·2023-07-16 01:42

Doris-问题

1.启动BE报错设置系统最大打开文件句柄数(注意这里的*不要去掉)重启生效!!!重启生效!!!重启生效!!!sudovim/etc/security/limits.conf*softnofile65536*hardnofile65536*softnproc131072*hardnproc131072重启生效2.多列分区创建表：CREATETABLEIFNOTEXISTStest_db.exampl

青云游子·2023-07-15 13:50

关于Windows 11 docker desktop 运行doris 容器时vm.max_map_count=2000000的设置问题

需要一个简单的测试环境，于是准备用docker启动一个1fe1be的简单玩一下如果be容器启动后再去修改/etc/sysctl.confsysctl-wvm.max_map_count=2000000这个参数是没用的，be仍然会启动失败这时可以打开cmdwsl--listC:\Users\pc>wsl--list适用于Linux的Windows子系统分发:Ubuntu(默认)docker-desk

枪枪枪·2023-07-15 12:45

Apache Doris (二十三) ：Doris 数据导入(一）Insert Into

目录1.语法及参数2.案例3.注意事项3.1.关于插入数据量3.2.关于insert操作返回结果3.3.关于导入任务超时3.4关于Session变量3.5关于数据导入错误进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！InsertInto语句的使用方式和MySQL等数据库中InsertInto语句的使用方式类似。但在

IT贫道·2023-07-14 12:25

SQL server + Dinky + doris 数据导入demo

1、SQLserver+Dinky+doris+flinkcdc导入plugins的jar包离线数仓部分希望可以1、一次性导入整张表(全量历史数据)2、实时增量导入通过flinkcdc方式要开启MySQLbinglog

wangqiaowq·2023-07-14 07:23

dinky+flink+doris实时架构全流程demo

一、版本doris：doris-1.2.3-rc02flink：flink1.4.6dinky：0.7.2jdk：1.8.0_191mysql：5.7二、安装doris官网下载地址：https://archive.apache.org

BarryAllenx·2023-07-14 07:34

Apache Doris 在金融壹账通指标中台的应用实践

本文导读：金融壹账通作为中国平安集团的联营公司，依托平安集团30多年金融行业的丰富经验及自主科研能力，向客户提供“横向一体化、纵向全覆盖”的整合产品，以“技术+业务”为独特竞争力，帮助客户提升效率、提升服务、降低成本、降低风险，实现数字化转型。在搭建数字化解决方案的过程中，面对传统报表制作过程中指标口径不统一、计算重复与交付效率低等痛点，金融壹账通决定基于ApacheDoris搭建一体化指标数据服

SelectDB技术团队·2023-07-13 22:46

【数据仓库】Apache Doris介绍

ApacheDoris介绍ApacheDoris应用场景ApacheDoris核心特性ApacheDoris架构Doris数据模型三种Aggregate模型介绍Uniq模型介绍在某些多维分析场景下,用户更关注的是如何保证

wenchun001·2023-07-13 19:54

Apache Doris 在约苗数据平台的实时数仓建设实践

本文导读：约苗平台是国内目前最大的成人预防接种管理服务平台。近年来，随着各功能的不断完善，用户数量不断增多，越来越多注册数据、疫苗类别点击数据、页面浏览时长等数据被生成和积累，如何有效利用这些数据进行处理分析，对于约苗提高工作效率、优化运营决策有着不容小觑的作用。基于此约苗平台历经三代架构演进，最终通过ApacheDoris重构了数据平台架构，统一了数据源出口，实现了近300倍的查询提速，目前已在

SelectDB技术团队·2023-06-23 11:06

精选一线企业最佳生产实践，《Apache Doris 用户案例集》重磅发布！

过去的一年势必是ApacheDoris在发展历程中有着浓墨重彩的一年，凭借对技术创新的执着与用户体验的追求，ApacheDoris已俘获全球范围内超过2000家企业的认可，拥有了极为广泛的用户规模、在企业实时数据分析的多种场景中得到广泛应用，并在广大社区用户和开发者的支持下，一举成为全球数据库和大数据领域最为活跃的开源项目之一。为了帮助更多人更好地使用ApacheDoris，我们从过去一年间Apa

SelectDB技术团队·2023-06-23 11:35

Apache Doris 冷热分层技术如何实现存储成本降低 70%？

在数据分析的实际场景中，冷热数据往往面临着不同的查询频次及响应速度要求。例如在电商订单场景中，用户经常访问近6个月的订单，时间较久远的订单访问次数非常少；在行为分析场景中，需支持近期流量数据的高频查询且时效性要求高，但为了保证历史数据随时可查，往往要求数据保存周期更为久远；在日志分析场景中，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯的工作…往往历史数据的应用价值会随着时间推移而降