doris参数调优

Apache Doris 行列转换可以这样玩

行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换1.行转列我们来看一个简单的例子，我们要把下面这个表的数据，转换成图二的样式image-20230914151818953.png要转换的结果数据展示image-20230914152642915.png先看看建表语句：CREATETABLEtb_score_01(idINT(11)
hf200012·2023-09-27 11:22

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。在传统数据服务中，我们为业务分析师提供了多种数据服务，包括SQL查
·2023-09-26 19:55

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-26 19:55

Doris行权限入门实战

Doris行权限原理Doris支持了行级数据权限，当多租户模式使用的是共享表模式的情况下该功能能很方便的帮用户数实现行级权限控制。Doris的行级权限是通过安全策略(ROWPOLICY)实现的。
wangleigiser·2023-09-26 19:21

Doris权限设置Demo

Doris权限管控Demo如下：CREATEUSER'test'@'%'IDENTIFIEDBY'test';createdatabasetestdb;GRANTSELECT_PRIV,LOAD_PRIV
wangleigiser·2023-09-26 19:51

Java Stream Load写入数据到Doris

JavaStreamLoad写入数据到Dorisdemo如下：importorg.apache.commons.codec.binary.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.me
wangleigiser·2023-09-26 19:47

【010】2022.12.27 周二 和big死磕的一天

下午的一些问题排查和解决也都还好，不过待到晚上开项目会，总结问题时，发现了一个spark写入doris后，时间字段对不上的问题，看了半天也没结果，感觉很诡异。
算法成瘾者·2023-09-26 09:27

doris错误信息Invalid range value format

错误信息ERROR1105(HY000):errCode=2,detailMessage=Invalidrangevalueformat：errCode=2,detailMessage=dateliteral[2017-03-01]isinvalid:errCode=2,detailMessage=Invaliddatetimevalue:2017-03-01mysql>createtablema
程裕强·2023-09-26 07:57

jvm基础学习总结笔记

重点掌握知识点.需了解内存模型各部分作用,保存哪些数据.类加载双亲委派加载机制,常用加载器分别加载哪种类型的类.GC分代回收的思想和依据以及不同垃圾回收算法的回收思路和适合场景.性能调优常有JVM优化参数作用,参数调优的依据
cy629584407·2023-09-25 22:56

Doris 2.0.1 Dockerfile制作

docker-build//构建根目录└──fe//FE构建目录├──dockerfile//dockerfile脚本└──resource//资源目录├──init_fe.sh//启动及注册脚本└──apache-doris-x.x.x-bin-fe.tar.gz
wangqiaowq·2023-09-25 11:41

下一代实时数据库：Apache Doris 【五】数据表的创建

uroot-pcreateuser‘test’identifiedby‘test’;2）创建数据库createdatabasetest_db;3）用户授权grantallontest_dbtotest;3.2基本概念在Doris
Maynor996·2023-09-25 07:49

Doris配置MySQL jdbc catalog信息不同步问题解决方案

Doris客户端mysql-h127.0.0.1-P9030-uroot-p1.创建MySQLcatalogmysql>CREATECATALOGjdbc_mysqlPROPERTIES(->
贾斯汀玛尔斯·2023-09-24 17:43

Apache Doris 快速入门

broker：用来和外部文件系统打交道2.修改配置DORIS_HOME=/export/server/doris-1.2.4.1node1：安装doris的机器名配置文件修改参数$D
时下握今·2023-09-24 13:47

同程数科基于 Apache Doris 的数据仓库建设

本文详细讲述了架构1.0到2.0的演进过程及Doris的应用实践，希望对大家有所帮助。作者｜同程
SelectDB技术团队·2023-09-24 10:10

下一代实时数据库：Apache Doris 【三】集群部署

文章目录2.3安装要求2.3.1软硬件需求2.3.2默认端口2.4集群部署2.4.1创建目录并拷贝编译后的文件2.4.2部署FE节点2.4.3配置BE节点2.4.4在FE中添加所有BE节点2.4.5启动BE2.4.6部署FS_Broker(可选)后记2.3安装要求2.3.1软硬件需求Linux操作系统要求linux系统版本Centos7.1及以上Ubuntu16.04及以上2)软件需求软件版本Ja
Maynor996·2023-09-24 10:40

Doris数据库FE——SQL handleQuery

SQL解析在下文中指的是将一条sql语句经过一系列的解析最后生成一个完整的物理执行计划的过程。这个过程包括以下四个步骤：词法分析、语法分析、生成逻辑计划、生成物理计划。DorisSQL解析具体包括了六个步骤：词法分析，语法分析、语义分析，生成单机逻辑计划，生成分布式逻辑计划，生成物理计划。具体代码实现上包含以下五个步骤：Parse、Analyze、SinglePlan、DistributedPla
肥叔菌·2023-09-24 05:23

Apache Doris 系列： 入门篇-数据导入及查询

数据导入及查询本文档主要介绍Doris的数据导入及数据查询。
张家锋·2023-09-23 18:01

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

hive分区表同步数据到doris分区分桶表详解

hive分区表同步数据到doris分区分桶表详解本文从BrokerLoad来实现数据同步一、BrokerBroker是在doris中独立存在的，FE是负责元数据和任务调度，BE负责存储实际数据和执行任务
不吃鱼的cat·2023-09-23 03:04

Doris 导出表结构或数据

MYSQLDUMP导出表结构或数据Doris在0.15之后的版本已经支持通过mysqldump工具导出数据或者表结构导出查询结果集-ApacheDoris使用示例导出导出test数据库中的table1表
jerry-89·2023-09-23 03:03

Apache Kylin VS Apache Doris全方位对比

://cloud.tencent.com/developer/article/14772341系统架构1.1WhatisKylin1.2WhatisDoris2数据模型2.1Kylin的聚合模型2.2Doris
数仓大山哥·2023-09-22 21:19

下一代实时数据库：Apache Doris 【二】编译与安装

文章目录第2章编译与安装2.1安装Docker环境2.2使用Docker开发镜像编译后记第2章编译与安装安装Doris，需要先通过源码编译，主要有两种方式：使用Docker开发镜像编译(推荐)、直接编译
Maynor996·2023-09-22 21:18

JVM参数调优——G1收集器

开启G1CollectorG1收集器的出现除了提供可控的低延迟GC，解决历史收集器的一些弊病，同时还尽力简化调优参数对于大多数应用，开启收集器，再配置一下Xms和Xmx就足够了（不建议配置Xmn）-XX:+UseG1GC核心参数最大暂停时间的目标值默认值为200毫秒。太大会导致延迟大，太小会导致频繁GC，吞吐下降，请结合堆大小酌情谨慎调节。一般情况下，使用默认值就好。-XX:MaxGCPauseM
耘田·2023-09-22 00:08

Kafka 源码分析——Producer

文章目录前言Producer整体流程Producer初始化Producer发送流程执行拦截器逻辑获取集群元数据序列化选择分区消息累加进缓存消息发送Producer缓冲区Producer参数调优前言在Kafka
叫我二蛋·2023-09-21 19:50

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

文章目录集成其他系统Spark读写Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
迷雾总会解·2023-09-21 12:33

记 doris - 开发问题与解决系列

doris-开发问题与解决系列不支持多表关联跨表字段聚合计算key字段不能为nullkey字段类型不能是string/text/float/double，date做key不会报错，但数据显示异常和不准确
cg6·2023-09-21 12:00

Mysql同步数据到Doris的踩坑过程

问题背景由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
是良辰·2023-09-21 12:27

nginx参数设置及优化

目录一、用户设置二、nginx添加到systemd三、nginx参数调优1、worker与cpu2、io模型和worker并发连接数四、nginx访问设置1、控制单ip并发连接数2、控制单位时间的请求数
dyh_chd·2023-09-21 06:13

电商数仓学习笔记(一）

第一章数据仓库概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop安装LZO压缩配置LZO创建索引Hadoop参数调优
芝士雪豹.·2023-09-21 06:01

MySQL进阶_2(应用优化、缓存优化、内存优化、锁）

文章目录一点前言应用优化连接池减少数据库的访问负载均衡缓存优化概述操作流程查询缓存参数设置查询缓存的使用缓存失效的情况内存优化优化原则内存优化说明MySQL并发度调整锁（浅了解一下）一点前言Mysql可以通过调整参数进行调优，所以本篇大致整理一下参数调优的东西
Dean_xiu·2023-09-21 06:57

Apache Doris 系列： 入门篇-安装部署

下面我们以部署一台FE节点和一台BE节点为例来演示部署，正常情况Doris集群下我们建议至少要部署一个FE节点及三个BE节点。
张家锋·2023-09-20 15:35

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:10

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:40

【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计

本系列包含：Doris构建实时数仓落地方案详解（一）：实时数据仓库概述Doris构建实时数仓落地方案详解（二）：Doris核心功能解读Doris构建实时数仓落地方案详解（三）：Doris实时数仓设计Doris
G皮T·2023-09-20 08:38

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

基于Apache doris怎么构建数据中台(二)-数据中台建设内容

这次主要是将基于Doris的数据中台建设内容及系统架构设计围绕着上次将的我们要解决的五个问题：找数，理解数据，问题评估，取数及数据可视化，给出一个概要的设计及框架数据中台建设内容数据规范统一：采用维度事实建模理论进行严格的
张家锋·2023-09-19 14:05

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文导读：当前，大数据、人工智能、云计算等技术应用正在推动保险科技发展，加速保险行业数字化进程。在这一背景下，招商信诺不断探索如何将多元数据融合扩充，以赋能代理人掌握更加详实的用户线索，并将智能分析贯穿业务全链路，实现对用户、产品、场景策略的全面洞察与闭环迭代。本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11

【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述

Doris构建实时数仓落地方案详解（一）：实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP查询5.MPP架构6.实时数仓定义7.实时数仓的难点数据仓库的概念可以追溯到
G皮T·2023-09-19 04:45

【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读

Doris构建实时数仓落地方案详解（二）：Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T·2023-09-19 04:14

xgboost参数调优

一.确定最佳决策树数量选择较高的学习速率(learningrate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。先给定boosting主要参数一个初始值，后续再进行调优。1、max_depth
有机会一起种地OT·2023-09-19 03:44

基于贝叶斯优化CNN-LSTM混合神经网络预测（Matlab实现）

贝叶斯优化：使用贝叶斯优化算法对模型进行超参数调优，包括学习率、批量大小、卷积核大小、LST
小P学长·2023-09-18 23:09

mysql innodb_thread_concurrency_mysql 参数调优（12）之innodb_thread_concurrency、innodb_concurrency_tickets .

设置这个参数在mysql低负载时没有效果，建议在mysql非常繁忙时可以关注并配置你可能会经常听到应该设置innodb_thread_concurrency=0(表示不进行并发线程数量控制)然后就不要管它了。不过这个只在低负载服务器使用时才正确。然后，如果你的服务器的CPU或者IO使用接受饱和，特别是偶尔出现峰值，这时候系统想在超载时能正常处理查询，那么强烈建议关注innodb_thread_co
埃斯蓬托的篡位者·2023-09-18 12:53

【遇见Doris】Doris在用户画像人群业务的应用

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:38

Doris进阶——数据导入

数据导入：将用户的原始数据导入到Doris中，导入成功后可以通过Mysql客户端进行查询。所有的导入方式都支持CSV格式，其中BrokerLoad中支持parquet和orc数据格式。
小眼睛的Ayuan·2023-09-18 08:08

Doris进阶——数据备份与恢复

Doris官网：Doris_BackupBackupBackup是将指定的表数据或者指定分区的数据以Doris的文件存储格式上传到远端仓库中，实现数据的备份。
小眼睛的Ayuan·2023-09-18 08:08

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:07

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

doris历程_Doris简史-为分析而生的11年

期间,Doris从最初的只为解决百度凤巢报表的专用系统,已经成长为目前国内唯一的分析型数据库孵化项目。一路走来,Doris的初心从未改变。
weixin_39998521·2023-09-18 08:06

Doris的执行计划生成、分发与执行

目录一、概述三、执行计划的生成四、执行计划的分发五、执行计划的执行六、举个例子一、概述执行SQL的代码入口为StmtExecutor::execute()三、执行计划的生成在Doris的FE端，与大多数数据库系统一样
howard_shooter·2023-09-18 08:34
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他