doris调优

Doris系列9-表结构变更

目前Doris支持
只是甲·2023-11-30 02:13

Doris之Stream load

StreamloadStreamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
墨卿风竹·2023-11-30 02:41

doris导入报错问题集合

dorisspark导入报错：Inserthasfiltereddatainstrictmode,tracking_url由于enable_insert_strict的默认值是false，当前执行INSERT语句时，有不符合目标表格式的数据，比如字符串超过字段类型等等，导入任务会直接报错。解决办法修改数据类型，比如varchar的长度setenable_insert_strict=false；只要
炼数成器·2023-11-30 02:39

Apache Doris常见问题答疑(二)

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星Q：showbackends/frontends查看到的信息不完整A：在执行如showbackends/frontends
hf200012·2023-11-30 02:38

Doris_Doris导入常见问题

Doris数据导入错误：thelengthofinputistoolargerthanschema可能原因：varchar长度设置过短Doris表字段乱序导入palo表中的csv本身无schema信息，
高达一号·2023-11-30 02:34

JVM-调优参数讲解

垃圾收集器堆配置-Xms:初始堆大小-Xmx:最大堆大小-XX:NewSize=n:设置年轻代大小-XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4-XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。注意Survivor区有两个。如：3，表示Eden：Survivor=3：2，一
云天河_·2023-11-30 02:11

JVM调优实战

jvm可利用多大的内存空间操作系统32位:2的32次方=4G-操作系统一半空间=2g--jvm64位:2的64次方=16384PB-操作系统2G=剩余空间jvm调优原则gc时间足够小(堆内存设置小一些)
木木子丶·2023-11-30 01:16

54、Spark性能优化之Java虚拟机垃圾回收调优

Java虚拟机垃圾回收调优的背景如果在持久化RDD的时候，持久化了大量的数据，那么Java虚拟机的垃圾回收就可能成为一个性能瓶颈。
ZFH__ZJ·2023-11-30 00:48

Spark性能调优系列：Spark参数配置大全（官网资料）

Spark参数配置大全Spark提供了三个位置来配置系统Spark属性控制大多数应用程序参数，可以使用SparkConf对象或Java系统属性来设置。通过conf/spark-env.sh每个节点上的脚本，环境变量可用于设置每台计算机的设置，例如IP地址。可以通过配置日志log4j.properties。Spark属性Spark属性控制大多数应用程序设置，并分别为每个应用程序配置。这些属性可以在传
Mr Cao·2023-11-29 22:07

Doris-集群部署（四）

创建目录并拷贝编译后的文件1）创建目录并拷贝编译后的文件mkdir/opt/module/apache-doris-0.15.0cp-r/opt/software/apache-doris-0.15.0
玖玖1704·2023-11-29 21:12

JDK21协程-虚线程 openjdk源码解读 底层从Java代码到C/C++代码初次深度解读 虚线程调优

自从2022-12-08开始,下一个LTS版本JDK21已经进入了开发阶段。小编在此进行了一次主线版本的协程的初体验。说是协程，其实在JVM内部是以虚线程的概念存在的。小编这次从java代码到C/C++代码初次深度解读一下虚线程，毕竟JDK21已经进入了开发阶段，等到JDK21LTS版本发布的时候，变动应该不会很大，到时候我会再出一片文章来深度解读一下虚线程。今天我们来带着几个问题深度研究一下虚线
Rock姜·2023-11-29 20:46

【数据库】使用ShardingSphere+Mybatis-Plus实现读写分离

书接上回：数据库调优方案中数据库主从复制，如何实现读写分离ShardingSphere实现读写分离的方式是通过配置数据源的方式，使得应用程序可以在执行读操作和写操作时分别访问不同的数据库实例。
Bruce1801·2023-11-29 15:44

spark-submit参数调优

一:spark-submit提交job的参数说明示例:spark-submit--masteryarn--classxxxx--executor-cores5--executor-memory5G--num-executor4xxx.jar解释:1.–executor-cores作用:决定了任务的并行度假设一个任务要想运行完成需要200个task,一个cpu核数同一时间只能运行一个task,目前总
是谁注册了我的2052·2023-11-29 12:07

精通Nginx（20）-配置调试方法与技巧

NGINX功能强大，模块多，对复杂需求要正确配置或正确调优，是有一定难度的。因此，如何进行配置调试就很重要，特别是对于生产环境调试。本文主要提供调试方法或技巧，对于配置调试Nginx非常又帮助。
乐享技术·2023-11-29 10:59

常见性能优化实践总结

二：数据库数据库的调优，总的来说分为以下三部分：SQL调优这是最常用、每一个技术人员都应该掌握基本的SQL调优手段（包括方法、
一只阿木木·2023-11-29 06:39

阿里P7/P8学习路线图——技术封神之路

栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定JVM参数及调优
未来无所不能·2023-11-29 05:25

关于设置Linux线程调度策略的实践

在Linux下运行应用方案，在某些场景下，为了调试和调优，可能会有调整任务的优先级的需求，它的基本流程是这样的：#include#include#include#include#include#include
papaofdoudou·2023-11-28 23:45

怎么给数据库某个字段建立一个前缀索引

说明：SQL调优中重要的一个环节是建立索引，其中有一条是字段值过长字段应该建立前缀索引，即根据字段值的前几位建立索引，像数据库中的密码字段、UUID字段。
何中应·2023-11-28 22:14

深入理解Java高级特性：反射（三）之：反射性能慢的原因及调优

1：反射性能为什么慢查找确定真正的函数入口（可能是接口方法什么的）1：判断权限比较慢（static，出入栈）。2：拆箱装箱也是个问题3：执行入口、访问权限、所属类和代码执行地址4：遍历Method方法表得到ArtMethod指针（ArtMethod结构体：包含了Java方法的所有信息，包括执行入口、访问权限、所属类和代码执行地址），然后根据ArtMethod指针来得到方法的执行入口，当我们调用某一
FishAnd_Yu·2023-11-28 22:09

Doris单机版安装和初步使用

参考官方文档https://doris.apache.org/zh-CN/docs/dev/get-starting/下载安装包下载-ApacheDorisIndexof/apache/doris/1.2
未竟·2023-11-28 21:54

stream分页+排序：Java实际开发中list.sort()集合排序详解之多条件排序、分页、空值null的最常用解决方案（JAVA8用lamda表达式和增强版Comparator进行排序）

Java实际开发中list.sort集合排序详解之多条件排序、分页、空值null的最常用解决方案前言一、单条件排序二、多条件排序三、分页处理四、空值处理❤️作者主页：温文尔雅的清欢渡❤️近期学习方向：性能调优
爱喝皮蛋瘦肉粥的小饶·2023-11-28 20:17

Stream load doris

代码如下：经测试有效packageDemo;importcom.alibaba.fastjson.JSONObject;importorg.apache.commons.net.util.Base64;importorg.apache.http.HttpHeaders;importorg.apache.http.client.methods.CloseableHttpResponse;import
weixing_2006·2023-11-28 19:52

Doris-Broker Load（二十四）

适用场景源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。基本原理用户在提交导入任务后，FE会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。基本语法LOADLABELdb
玖玖1704·2023-11-28 16:18

Doris-导入示例（二十五）

1）Doris中创建表createtablestudent_result(idint,namevarchar(50),ageint,scoredecimal(10,4))DUPLICATEKEY(id)
玖玖1704·2023-11-28 16:18

Doris-Stream Load（二十六）

Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Streamload同步执行导入并返回导入结果。
玖玖1704·2023-11-28 16:18

Doris-Routine Load（二十七）

例行导入（RoutineLoad）功能为用户提供了一种自动从指定数据源进行数据导入的功能。适用场景当前仅支持从Kafka系统进行例行导入，使用限制：（1）支持无认证的Kafka访问，以及通过SSL方式认证的Kafka集群。（2）支持的消息格式为csv,json文本格式。csv每一个message为一行，且行尾不包含换行符。（3）默认支持Kafka0.10.0.0（含）以上版本。如果要使用Kafka
玖玖1704·2023-11-28 16:58

ElasticSearch第二讲 ES配置环境参数/调优参数讲解

ES配置参数cluster.name:elasticsearch配置的集群名称，默认是elasticsearch，es服务会通过广播方式自动连接在同一网段下的es服务，通过多播方式进行通信，同一网段下可以有多个集群，通过集群名称这个属性来区分不同的集群。node.name:node-01当前配置所在机器的节点名，你不设置就默认随机指定一个name列表中名字，该name列表在es的jar包中conf
程序员路同学·2023-11-28 15:08

生成式深度学习(第二版)-译文-第三章-变分自编码器

我们将看到GAN训练、调优的方式，以及它如何
Garry1248·2023-11-28 15:25

终于拿到了阿里2023年度九大Java技术文档——面试题+文档+白皮书

2023年阿里巴巴面试参考指南（泰山版）阿里巴巴1000道Java工程师面试题（2023版）阿里巴巴2023版JDK源码笔记（2月第三版）阿里巴巴Java开发手册1.4.0阿里巴巴Java性能调优实战（
隔壁老王的代码·2023-11-28 12:06

Java中的jvm——面试题+答案（JVM的一些高级概念、调优技巧、垃圾回收算法等）——第13期

当涉及到Java虚拟机（JVM）时，面试官可能涉及更深入的问题，涵盖性能调优、垃圾回收算法、类加载机制等方面。什么是类加载机制？请解释类加载的过程。
Keep forward upup·2023-11-28 12:31

Nginx性能调优策略

以下是一些常见的Nginx性能调优策略：一、调整worker_processes和worker_connections在Nginx配置文件中，可以通过worker_processes和worker_connections
Y2000104·2023-11-28 10:34

apache doris windows下fe开发环境搭建

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.环境准备JDK1.8+,IntelljIDEA1.linux上编译好fe前端代码，主要目的是获取自动生成的代码
hf200012·2023-11-28 07:35

Apache Doris 系列： 入门篇-创建数据表

本文档我们介绍Doris怎么创建表及其他的相关操作。
hf200012·2023-11-28 07:35

Apache Doris 数据建模之 Aggregate Key 模型

了解Doris数据模型对于我们使用Doris来解决我们业务问题非常重要，这个系列我们将详细介绍Doris的三种数据模型及Doris数据分区分桶的一些策略，帮助用户更好的使用Doris。
hf200012·2023-11-28 07:35

Apache Doris Stream load 数据导入方式

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.概要Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到
hf200012·2023-11-28 07:05

Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
hf200012·2023-11-28 07:59

Doris DUPLICATE KEY数据覆写方案

1.问题背景因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。2.实现步骤创建表CREATETABLEIFNOTEXISTStest1(`day`DATENOTNULLCOMMENT"default1980-00-00",`user_type`VARCHAR(20)COMMENT"",`product`VARCHAR(20)COMMENT"",`use
wangleigiser·2023-11-28 04:50

Doris的数据模型和增删改查操作

Doris的数据模型和增删改查Doris数据模型了解Doris的朋友都知道，Doris是一个MPP的分析型数据库。可以支持大数据下的实时分析。说到数据分析，不得不提的是Doris的数据模型。
Dennis985·2023-11-28 04:20

【MySQL高级篇：07-索引及调优篇】第07章_InnoDB数据存储结构

目录1数据库的存储结构：页1.1磁盘与内存交互基本单位：页1.2页结构概述1.3页的大小1.4页的上层结构2页的内部结构2.1第1部分：FileHeader（文件头部）和FileTrailer（文件尾部）2.1.1FileHeader（文件头部）2.1.2FileTtailer（文件尾部）2.2第2部分：UserRecords（用户记录）、最大最小记录、FreeSpace（空闲空间）2.3第3部分
开五档的蒙奇·2023-11-28 03:48

Zabbix 性能优化(学习笔记十八)

1、性能调优思路.不要使用默认的模板，应该自己定制模板.数据库调优.架构优化，如果使用分布式，各服务器功能独立.Items、trigger调优.更换更好的硬件2、性能调优参数zabbix_server.confStartPollers
SkTj·2023-11-28 00:17

Day 008 2组阿德doris+《人生效率手册》读书笔记

阅读时间：17:30阅读内容：《人生效率手册》在阅读完《如何有效阅读一本书》和《洋葱阅读法》之后，我明白了为了更有效率地阅读，我们并不需要一拿到书就直接通读全书。所以在今天的阅读过程中，我只是看了这本书的标题，封面和前言。第一次听说这本书的作者张萌，还是在萌薇老师的奇遇人生手账营里。百度百科里对张萌萌姐的履历有详细的介绍，而最吸引我的是她是2018年北京奥运会的火炬手，她是85后连续创业者、时间管
阿德doris·2023-11-27 23:43

JVM内存模型及调优

本文将为大家详细介绍JVM内存模型及如何对JVM内存进行调优。
漠然&&·2023-11-27 22:16

Doris数据查询

1查询设置1.1增大内存一个查询任务，在单个BE节点上默认使用不超过2GB内存，内存不够时,查询可能会出现‘Memorylimitexceeded’。SHOWVARIABLESLIKE"%mem_limit%";exec_mem_limit的单位是byte，可以通过SET命令改变exec_mem_limit的值。如改为8GB。SETexec_mem_limit=8589934592;</
shangjg3·2023-11-27 21:56

Doris的数据模型

Doris的数据模型主要分为3类：Aggregate、Uniq、Duplicate1Aggregate模型表中的列按照是否设置了AggregationType，分为Key（维度列）和Value（指标列）
shangjg3·2023-11-27 21:54

Hive 常见的数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。那么经常有哪些情况会产生数据倾斜呢，又该如何解决，这里梳理了几种最常见的数据倾斜场景。小表与大表JOIN小表与大表Join时
大数据技术架构·2023-11-27 19:44

阿里巴巴java性能调优实战：ArrayList还是LinkedList？使用不当性能差千倍

ArrayList还是LinkedList？使用不当性能差千倍集合作为一种存储数据的容器，是我们日常开发中使用最频繁的对象类型之一。JDK为开发者提供了一系列的集合类型，这些集合类型使用不同的数据结构来实现。因此，不同的集合类型，使用场景也不同。很多同学在面试的时候，经常会被问到集合的相关问题，比较常见的有ArrayList和LinkedList的区别。相信大部分同学都能回答上：“ArrayLis
Charles__LUO·2023-11-27 19:34

资深测试老鸟整理，性能测试-常见调优详细，卷起来...

Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言常见的一些性能缺陷表现及如何进行定位分析并且调优
百里测试开发·2023-11-27 19:42

史上最全，性能测试-性能分析调优详细讲解，全网独一份...

目录：导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言性能分析前提：性能分析的前提除了需要丰富的性能测试监控（如PTS自身的客户侧监控、基础类监控-阿里云监控、应用类监控-ARMS监控等），还需要具备相关的技术知识（包括但不
百里测试开发·2023-11-27 19:10

JVM下篇：性能监控与调优篇

1.概述篇1.1.大厂面试题支付宝：支付宝三面：JVM性能调优都做了什么？小米：有做过JVM内存优化吗？
chenfl0808·2023-11-27 19:08

Nginx安全优化与性能调优

目录Nginx基本安全优化隐藏Nginx软件版本号信息更改源码隐藏Nginx软件名及版本号修改Nginx服务的默认用户修改参数优化Nginx服务性能优化Nginx服务的worker进程数1.优化NGINX进程对应的配置2.优化Nginx进程个数的策略3.查看Web服务器CPU硬件资源信息4.修改服务器Nginx配置绑定不同的Nginx进程到不同的CPU上Nginx事件处理模型优化调整Nginx单进
java领域·2023-11-27 17:42
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他