--Doris

大数据Doris（六）：编译 Doris遇到的问题

文章目录编译Doris遇到的问题一、js_generator.cc:(.text+0xfc3c):undefinedreferenceto`well_known_types_js’
Lansonli·2023-10-07 09:50

Doris 编译安装(完整版)

@羲凡——只为了更好的活着Doris编译安装(完整版)前期准备安装java8、mysql、docker安装java8、mysql这个基本操作，晚上也有很多例子，我就不赘述了。
羲凡丞相·2023-10-06 07:26

Apache Doris安装过程

0.系统与版本要求Linux操作系统版本需求Linux系统版本CentOS7.1及以上Ubuntu16.04及以上虽然要求centos7以上，但是实测在centos8安装会出现某些依赖一直安装不上的问题，因此建议安装在centos7上软件需求软件版本Java1.8及以上GCC4.8.2及以上开发测试环境模块CPU内存磁盘网络实例数量Frontend8核+8GB+SSD或SATA，10GB+*千兆网
wapecheng·2023-10-06 07:55

Apache Doris常见问题答疑(一)

Doris的MasterFE节点会主动发送心跳给各个FE或BE
张家锋·2023-10-06 03:14

整形日记

Doris2426
Doris2426·2023-10-05 16:25

【实操记录】Oracle数据整库同步至Apache Doris

本文是Oracle数据整库同步至ApacheDoris实操记录，仅供参考参考：https://cn.selectdb.com/blog/1041、Oracle配置[root@node1oracle]#pwd/u01/app/oracle[root@node1oracle]#mkdirrecovery_area[root@node1oracle]#chown-Roracle:dbarecovery_
程裕强·2023-10-05 12:54

D21 16阿德doris记忆宫殿第六章第5节

今天阅读的是第5节意群的逻辑图像转化1、what？句子➝逻辑意群➝逻辑转化➝生活事件2、why？更好地理解句子，帮助记忆3、eg（1）不为失败找借口，只为成功在找方法。考试失败了不要找借口，要想着为下次的成功找到方法。（2）尊严来自实力，实力来自己拼搏要想获得尊严就要有实力，想要有实力就要努力拼搏（3）赢家总有一个计划，输家总有一个借口长跑比赛的赢家总是提前为自己制定计划，而输家总会为自己的失败找
阿德doris·2023-10-04 23:57

Doris--基础--5.3--物化视图

Doris–基础–5.3–物化视图1、介绍1.1、什么是物化视图将预先计算(根据定义好的SELECT语句)好的数据集，存储在Doris中的一个特殊的表，这个表就叫物化视图物化视图的出现主要是为了满足用户
勤径苦舟·2023-10-04 18:34

Doris系列16-物化视图

2.1创建物化视图2.2支持聚合函数2.3更新策略2.4查询自动匹配2.5查询物化视图2.6删除物化视图三.案例参考:一.物化视图概述物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris
只是甲·2023-10-04 18:33

doris动态分区开启历史分区

举例说明：CREATETABLEtbl1(k1DATE,...)PARTITIONBYRANGE(k1)()DISTRIBUTEDBYHASH(k1)PROPERTIES("dynamic_partition.enable"="true","dynamic_partition.time_unit"="DAY","dynamic_partition.start"="-2","dynamic_part
_板栗_·2023-10-04 12:02

Doris教程笔记

存储引擎规则1.数据要根据用户指定的分区列(只能是数字或日期类型)划分成若干个分区(patition)2.在每个分区内，数据还可以根据用户指定的分桶列进行hash分桶，每个分桶就是一数据片段(tablat)，tablat是数据划分的最小逻辑单元。3.patition可视为逻辑上最小的管理单元，数据的导入导出都可以或仅能针对一个patition进行。4.tablet直接的数据是没有交集的(不会重复存
爱码猿·2023-10-04 05:24

599. 两个列表的最小索引总和

地址：力扣https://leetcode-cn.com/problems/minimum-index-sum-of-two-lists/题目：假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表
mrbone9·2023-10-04 01:31

Apache Doris : 一个开源 MPP 数据库的架构与实践

分享提纲：Doris背景介绍适用场景&案例介绍Doris整体架构Doris关键技术Doris背景介绍介绍Doris的整体架构，以及Doris的一些特性。
香山上的麻雀·2023-10-02 18:02

基于Apache doris怎么构建数据中台(四)-数据接入系统

基于Apachedoris怎么构建数据中台(四)-数据接入系统上一次我们讲解了数据资产，元数据管理，血缘关系等，这次我们开始将数据接入，怎么实现快速的数据接入在开发数据模型时，我们必须有一个统一的平台，能够像流水线一样，把数据一步步加工成数据模型。这其中涉及到数据萃取、数据聚合、作业调度等。主要是为了实现业务数据的快速接入，零代码实现，数据分析人员只需要通过UI进行简单的配置、提交任务即可完成数据
张家锋·2023-10-02 03:04

Starrocks数据导入方式

1、数据导入概览https://doris.apache.org/zh-CN/docs/dev/install/standard-deployment下图为各类数据导入Starrocks方式可以通过语句
zxf126126·2023-10-01 12:42

大数据Doris（二）：Doris原理篇

文章目录Doris原理篇一、Doris特点1、支持标准SQL接口2、列式存储引擎3、支持丰富的索引结构4、支持多种存储模型5、支持物化视图6、MPP架构设计7、支持向量化查询引擎8、动态调整执行计划9、
Lansonli·2023-09-30 01:12

怎么使用 Go 语言操作 Apache Doris

ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单
hf200012·2023-09-29 12:29

Zilliz@阿里云：大模型时代下Milvus Cloud向量数据库处理非结构化数据的最佳实践

为探讨这些问题，近日，阿里云联合Zilliz和Doris举办了一场以《大模型时代下的数据存储与分析》为主题的技术沙龙，其中，阿里云对象存储OSS上拥有海量的非结构化数据，Milvus（Zilliz）作为全球最有影响力的开源向量数据库项目
LCHub低代码社区·2023-09-29 09:18

Doris数据库简单语句整理

最近项目要用到Doris数据库，简单学习了下，觉得这个数据库挺好的，便简单的整理了下他的建表语句--所有表的新增，必须设置分桶--如果BE节点数量小于3，则需指定副本数小于等于BE节点数量replication_allocation
Java小学森·2023-09-28 12:56

各种数据库表名长度限制整理

ORACLE30GreenPlum40KINGBASEES63PostgreSql63Gbase63瀚高63OSCAR64MYSQL64HBASE64MariaDB64SQLSERVER128达梦128DB2128doris64OscarMPP64ClickHouse248
Java小学森·2023-09-28 12:51

怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据

Doris支持bitmap数据类型，在Flink计算场景中，可以结合FlinkdorisConnector对bitmap数据做计算。
hf200012·2023-09-28 06:35

Apache Doris 2.0 版本 FQDN 使用介绍

在介绍这个之前，我们知道Doris之前是不支持主机名称方式，只能使用IP地址，在实际使用中，有的用户因为网络重构或者设备迁移产生了IP地址变更，这个就会引发Doris集群数据不可用。
hf200012·2023-09-27 11:54

Apache Doris 行列转换可以这样玩

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换1.行转列我们来看一个简单的例子，我们要把下面这个表的数据，转换成图二的样式image-20230914151818953.png要转换的结果数据展示image-20230914152642915.png先看看建表语句：CREATETABLEtb_score_01(idINT(11)
hf200012·2023-09-27 11:22

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。在传统数据服务中，我们为业务分析师提供了多种数据服务，包括SQL查
·2023-09-26 19:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-26 19:55

Doris行权限入门实战

Doris行权限原理Doris支持了行级数据权限，当多租户模式使用的是共享表模式的情况下该功能能很方便的帮用户数实现行级权限控制。Doris的行级权限是通过安全策略(ROWPOLICY)实现的。
wangleigiser·2023-09-26 19:21

Doris权限设置Demo

Doris权限管控Demo如下：CREATEUSER'test'@'%'IDENTIFIEDBY'test';createdatabasetestdb;GRANTSELECT_PRIV,LOAD_PRIV
wangleigiser·2023-09-26 19:51

Java Stream Load写入数据到Doris

JavaStreamLoad写入数据到Dorisdemo如下：importorg.apache.commons.codec.binary.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.me
wangleigiser·2023-09-26 19:47

【010】2022.12.27 周二 和big死磕的一天

下午的一些问题排查和解决也都还好，不过待到晚上开项目会，总结问题时，发现了一个spark写入doris后，时间字段对不上的问题，看了半天也没结果，感觉很诡异。
算法成瘾者·2023-09-26 09:27

doris错误信息Invalid range value format

错误信息ERROR1105(HY000):errCode=2,detailMessage=Invalidrangevalueformat：errCode=2,detailMessage=dateliteral[2017-03-01]isinvalid:errCode=2,detailMessage=Invaliddatetimevalue:2017-03-01mysql>createtablema
程裕强·2023-09-26 07:57

Doris 2.0.1 Dockerfile制作

docker-build//构建根目录└──fe//FE构建目录├──dockerfile//dockerfile脚本└──resource//资源目录├──init_fe.sh//启动及注册脚本└──apache-doris-x.x.x-bin-fe.tar.gz
wangqiaowq·2023-09-25 11:41

下一代实时数据库：Apache Doris 【五】数据表的创建

uroot-pcreateuser‘test’identifiedby‘test’;2）创建数据库createdatabasetest_db;3）用户授权grantallontest_dbtotest;3.2基本概念在Doris
Maynor996·2023-09-25 07:49

Doris配置MySQL jdbc catalog信息不同步问题解决方案

Doris客户端mysql-h127.0.0.1-P9030-uroot-p1.创建MySQLcatalogmysql>CREATECATALOGjdbc_mysqlPROPERTIES(->
贾斯汀玛尔斯·2023-09-24 17:43

Apache Doris 快速入门

broker：用来和外部文件系统打交道2.修改配置DORIS_HOME=/export/server/doris-1.2.4.1node1：安装doris的机器名配置文件修改参数$D
时下握今·2023-09-24 13:47

同程数科基于 Apache Doris 的数据仓库建设

本文详细讲述了架构1.0到2.0的演进过程及Doris的应用实践，希望对大家有所帮助。作者｜同程
SelectDB技术团队·2023-09-24 10:10

下一代实时数据库：Apache Doris 【三】集群部署

文章目录2.3安装要求2.3.1软硬件需求2.3.2默认端口2.4集群部署2.4.1创建目录并拷贝编译后的文件2.4.2部署FE节点2.4.3配置BE节点2.4.4在FE中添加所有BE节点2.4.5启动BE2.4.6部署FS_Broker(可选)后记2.3安装要求2.3.1软硬件需求Linux操作系统要求linux系统版本Centos7.1及以上Ubuntu16.04及以上2)软件需求软件版本Ja
Maynor996·2023-09-24 10:40

Doris数据库FE——SQL handleQuery

SQL解析在下文中指的是将一条sql语句经过一系列的解析最后生成一个完整的物理执行计划的过程。这个过程包括以下四个步骤：词法分析、语法分析、生成逻辑计划、生成物理计划。DorisSQL解析具体包括了六个步骤：词法分析，语法分析、语义分析，生成单机逻辑计划，生成分布式逻辑计划，生成物理计划。具体代码实现上包含以下五个步骤：Parse、Analyze、SinglePlan、DistributedPla
肥叔菌·2023-09-24 05:23

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
张家锋·2023-09-23 18:01

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Doris 导出表结构或数据

MYSQLDUMP导出表结构或数据Doris在0.15之后的版本已经支持通过mysqldump工具导出数据或者表结构导出查询结果集-ApacheDoris使用示例导出导出test数据库中的table1表
jerry-89·2023-09-23 03:03

Apache Kylin VS Apache Doris全方位对比

://cloud.tencent.com/developer/article/14772341系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris
数仓大山哥·2023-09-22 21:19

下一代实时数据库：Apache Doris 【二】编译与安装

文章目录第2章编译与安装2.1安装Docker环境2.2使用Docker开发镜像编译后记第2章编译与安装安装Doris，需要先通过源码编译，主要有两种方式：使用Docker开发镜像编译(推荐)、直接编译
Maynor996·2023-09-22 21:18

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

文章目录集成其他系统Spark读写Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
迷雾总会解·2023-09-21 12:33

记 doris - 开发问题与解决系列

doris-开发问题与解决系列不支持多表关联跨表字段聚合计算key字段不能为nullkey字段类型不能是string/text/float/double，date做key不会报错，但数据显示异常和不准确
cg6·2023-09-21 12:00

Mysql同步数据到Doris的踩坑过程

问题背景由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
是良辰·2023-09-21 12:27

Apache Doris 系列： 入门篇-安装部署

下面我们以部署一台FE节点和一台BE节点为例来演示部署，正常情况Doris集群下我们建议至少要部署一个FE节点及三个BE节点。
张家锋·2023-09-20 15:35

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他