E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris性能调优
HBase集群写入出现大量毛刺排查
大家好,我是K&D,一名10年以上大数据架构&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件
性能调优
问题现象查看监控,业务请求量正常,但是server
KubeData
·
2024-01-17 02:12
大数据技术
大数据
架构
hbase
一文了解数据库vs数据仓库vs数据湖
大家好,我是K&D,一名10年以上大数据架构&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件
性能调优
以下是本文目录:什么是数据库?
KubeData
·
2024-01-17 02:11
云原生大数据
大数据技术
数据库
数据仓库
大数据
数据库架构
程序员如何构建自己的「护城河」
大家好,我是K&D,一名10年以上大数据架构&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件
性能调优
关注我,持续分享更多技术干货0.何为「护城河」前段时间
KubeData
·
2024-01-17 02:41
个人成长
职场和发展
一文搞懂Go语言单元测试
基准测试函数需要注意的点(2)基准测试代码2.组测试与子测试(1).组测试结果分析及命令:(2).子测试结果分析及命令:三、pprof调试工具1.对主函数进行传参(1)os.Args(2)flag.Args2.pprof
性能调优
总结
酷尔。
·
2024-01-17 01:30
Go语言从入门到精通
单元测试
golang
开发语言
深入理解Nginx:网络性能的极致优化
目录引言Nginx的基本架构配置文件解析静态内容的处理反向代理和负载均衡SSL/TLS与HTTP/2支持动态内容的处理高级特性和模块
性能调优
Nginx与云计算和容器化安全性结论参考资源引言介绍Nginx
白嫖一茶
·
2024-01-17 00:15
运维服务
nginx
网络
运维
10.从架构师角度理解MySQL性能优化和索引合并
MySQL
性能调优
1.查询性能优化1.1什么是慢查询1.2慢查询的配置1.3慢查询解读分析1.3.1日志模式1.3.2慢查询分析mysqldumpshow1.4优化SQL查询方法论1.4.1业务层--请求了不需要的数据
俺就是菜得很
·
2024-01-16 17:48
性能调优MySQL
mysql
性能优化
数据库
最佳实践分享:SQL
性能调优
SQL
性能调优
是一个需要不断探索和实践的过程,旨在确保数据库查询的高效运行。本文将分享一些SQL
性能调优
的最佳实践,帮助您提升数据库性能,减少查询响应时间。一、索引优化索引是提高查询性能的关键。
白日梦批发商
·
2024-01-16 13:33
sql
oracle
数据库
【JVM】
性能调优
一、前言
性能调优
,顾名思义,就是对系统或软件的性能进行优化,以提高其运行效率和响应速度。在计算机科学中,
性能调优
通常涉及到硬件、操作系统、数据库、网络等多个方面。
hope笔记
·
2024-01-16 08:57
JVM
Java
jvm
java
Doris
--基础--13.2--SQl函数--日期函数
Doris
–基础–13.2–SQl函数–日期函数1、CONVERT_TZ(DATETIMEdt,VARCHARfrom_tz,VARCHARto_tz)转换datetime值dt,从from_tz转到to_tz
勤径苦舟
·
2024-01-16 08:00
Doris
sql
数据库
mysql
MongoDB系统
性能调优
(持续更新)
cache_size指定WT存储引擎内部cache的内存用量上限。需要注意的是,仅作用于WiredTigercache,而非mongod进程的内存用量上限。MongoDB同时使用WTcache和文件系统cache,往往mongod进程的内存用量高于该值。cache_size相对于物理内存总量不要设置的太满,需要留有一定内存为操作系统所用,否则有OOM潜在风险。默认情况下,cache_used超过8
豆奶快攻
·
2024-01-16 07:30
MongoDB
数据库
运维
mongodb
数据库
Doris
学习笔记-Java自定义UDAF
项目最近需要做一些数据统计方面的东西,发现数据字段都是很长一串数字的字符串,
Doris
自带的函数无法对其进行相应的运算操作,需要扩展实现相关的操作运算。主要参考官方的文档资料完成相关的自定义扩展。
人生偌只如初见
·
2024-01-16 01:14
Doris
java
doris
udf
udaf
JVM
性能调优
工具
JVM
性能调优
工具1什么是
性能调优
性能调优
就是对计算机硬件、操作系统和应用有相当深入的了解,调节三者之间的关系,实现整个系统(包括硬件、操作系统、应用)的性能最大化,并能不断的满足现有的业务需求。
efzy
·
2024-01-15 20:10
工具
jvm
java
spring
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(上)
概述背景ApacheDoris官方地址https://
doris
.apache.org/ApacheDorisGitHub源码地址https://github.com/apache/incubator-dorisApacheDoris
IT小神
·
2024-01-15 13:45
大数据
数据库
分布式
数据库
大数据
分布式
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(中)
概述背景ApacheDoris官方地址ApacheDorisApacheDorisGitHub源码地址GitHub-apache/incubator-
doris
:ApacheDoris(Incubating
Firstlucky77
·
2024-01-15 13:42
java
mysql
linux
【MySQL】mysql集群
这些日志对于故障排除、
性能调优
、备份恢复以及复制等方面都非常重要。查看mysql中与日志相关的系统变量的配置
星河万里᭄ꦿ࿐
·
2024-01-15 07:30
MySQL
mysql
数据库
运维
Bytebase 2.13.1 - 支持 Apache
Doris
新功能支持ApacheDoris。支持在对MySQL执行DML之前备份数据。支持实例的最大连接数,用以控制每个实例的并发任务数量。支持对导出数据的压缩和加密。重大变更BytebaseAPI的更改:重命名了预定义角色。如果您在使用这些角色,请更新您的代码:工作区级别:OWNER更改为workspaceAdmin,DBA更改为workspaceDBA,DEVELOPER更改为workspaceMemb
Bytebase
·
2024-01-15 03:27
数据库
运维
DBA
开发者
数据库管理
DevOps
大数据 -
Doris
系列《三》- 数据表设计之表的基本概念
目录3.1字段类型3.2表的基本概念3.2.1Row&Column3.2.2分区与分桶3.2.2.1Partition1.Range分区2.List分区进阶:复合分区与单分区的选择3.2.3PROPERTIES3.2.3.1分片副本数3.2.3.2存储介质和热数据冷却时间3.2.4小练习:建表指定分区和分桶数3.1字段类型TINYINT1字节范围:-2^7+1~2^7-1SMALLINT2字节范围
王哪跑nn
·
2024-01-14 21:04
大数据
Doris
大数据
java
前端
hadoop
mysql数据库优化
数据库的
性能调优
和优化是指通过优化数据库结构、SQL语句的编写以及服务器硬件和操作系统等方面的配置,来提高数据库的响应速度和稳定性,以满足业务需求。结合实际需求,从以下四个方面进行讲解。
武昌库里写JAVA
·
2024-01-14 15:27
高手面试
数据库
mysql
PiflowX-DorisRead组件
DorisRead组件组件说明从
Doris
存储读取数据。计算引擎flink有界性目前DorisSource是有界流,不支持CDC方式读取。
暗影八度
·
2024-01-14 12:47
大数据
hadoop
flink
spark
PiflowX-DorisWrite组件
DorisWrite组件组件说明往
Doris
存储写入数据。
暗影八度
·
2024-01-14 12:15
大数据
spark
flink
hdfs
java jstat m ccs_学习笔记——JVM
性能调优
之 jstat
JVM
性能调优
小工具——Jstatjstatjstat(JVMstatisticsMonitoring)是用于监视虚拟机运行时状态信息的命令,它可以显示出虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据
付沛
·
2024-01-14 06:14
java
jstat
m
ccs
java
性能调优
指令_JVM
性能调优
——
性能调优
工具
一、JDK工具先来看看有哪些常用的工具可以辅助我们进行
性能调优
和问题排查,后面再通过一个具体的示例结合工具来分析调优。
莫魔墨
·
2024-01-14 06:14
java性能调优指令
JVM
性能调优
——GC优化
当Java程序性能达不到既定目标,且其他优化手段都已经穷尽时,通常需要调整垃圾回收器来进一步提高性能,称为GC优化。但GC算法复杂,影响GC性能的参数众多,且参数调整又依赖于应用各自的特点,这些因素很大程度上增加了GC优化的难度。即便如此,GC调优也不是无章可循,仍然有一些通用的思考方法。一、如何开启GC日志1、在Tomcat的安装路径下,找到bin/catalina.sh加上下面的配置,具体参数
程序员卡卡西
·
2024-01-14 06:12
JVM
JVM
性能调优
(4)——
性能调优
工具
目录一、JDK工具1、JDK工具2、利用jps找出进程3、利用jstat查看VM统计信息4、利用jmap查看对象分布情况5、利用jstack分析线程栈二、Linux命令行工具1、top命令2、vmstat命令3、pidstat命令三、可视化工具1、jvisualvm—JVM监控3、GCViewer—离线分析GC日志4、GCeasy—在线分析GC日志5、FastThread—分析线程栈6、MAT—分
java领域
·
2024-01-14 06:42
spark
big
data
大数据
面试
经验分享
深入理解JVM(六)——JVM
性能调优
实战
http://blog.csdn.net/u010425776/article/details/51232463如何在高性能服务器上进行JVM调优?为了充分利用高性能服务器的硬件资源,有两种JVM调优方案,它们都有各自的优缺点,需要根据具体的情况进行选择。1.采用64位操作系统,并为JVM分配大内存我们知道,如果JVM中堆内存太小,那么就会频繁地发生垃圾回收,而垃圾回收都会伴随不同程度的程序停顿,
crazykiller
·
2024-01-14 06:42
Jvm虚拟机
Doris
集群搭建——2.0.1.1版本
目录一、启动
Doris
二、配置并分发
doris
安装包和环境变量1.分发
doris
安装包2.解压安装包3.分发环境变量4.修改对应的配置文件(1)修改be的配置(2)修改fe的配置三、be的扩容与缩容(一
雷神乐乐
·
2024-01-14 06:31
#
Doris
运维
升级
Doris
集群——2.0.1.1到2.0.3版本
之前安装的
Doris
版本官方说不太稳定,所以我们可以对其进行升级1.关闭所有节点2.下载2.0.3版本的
Doris
安装包,将旧版本的bin和lib目录替换为对应新版本bin和lib目录,按照非master
雷神乐乐
·
2024-01-14 06:31
#
Doris
linux
服务器
后端
大数据
Elasticsearch
性能调优
之磁盘读写性能优化
优化磁盘空间的占用,减少磁盘空间的占用,更多的数据可以进入filesystemcache比如说你原来,磁盘空间占用一共是1T,内存只有512G,现在优化了磁盘空间占用之后,减少了数据量,可能数据量就只有512G了,那么就可以全部进入内存1、禁用不需要的功能聚合,搜索,评分,近似匹配聚合:docvalues搜索:倒排索引,index评分:norms近似匹配:index_options(freqs)任
Shaw_Young
·
2024-01-14 00:04
MySQL性能测试及调优中的死锁处理方法
以下从死锁检测、死锁避免、死锁解决3个方面来探讨如何对MySQL死锁问题进行
性能调优
。
测试界的世清
·
2024-01-13 18:08
自动化测试
软件测试
技术分享
mysql
数据库
工作经验谈
我的成就感来自如下三个方面:解决线上的疑难问题(
性能调优
、复杂问题排查)等等;完成一段代码的重构、一个模块的重构以及一块业务概念的重构工作的成功对业务方或客户有用在工作沟通中需要学会说不在工作中,可能会涉及到谈判
程序熊大
·
2024-01-13 16:51
JVM分析工具
JVM在运行过程中,我们可以利用各种工具对JVM进行分析,这是
性能调优
的利器。可以通过各种工具了解在系统运行过程中,在JVM底层到底发生了什么。
sunny_daily
·
2024-01-13 15:18
jvm
java
jvm
运维
性能
Web性能压力测试工具之ApacheBench(ab)详解
PS:网站性能压力测试是
性能调优
过程中必不可少的一环。只有让服务器处在高压情况下才能真正体现出各种设置所暴露的问题。
唐大帅
·
2024-01-13 14:27
服务器管理
AB性能测试
接口性能测试
ApacheBench使用方法
压力测试工具、Web性能压力测试工具ApacheBench(ab)详解
网站性能压力测试是
性能调优
过程中必不可少的一环。只有让服务器处在高压情况下才能真正体现出各种设置所暴露的问题。
NPException
·
2024-01-13 14:25
Linux
Flink CDC 实时抽取 Oracle 数据-排错&调优
对该版本进行试用并成功实现了对Oracle的实时数据捕获以及
性能调优
,现将试用过程中的一些关键细节进行分享。
Denny辉
·
2024-01-13 09:48
Flink
Oracle
CDC
flink
oracle
大数据
Spark
Doris
Connector 可以支持通过 Spark 读取
Doris
数据类型不兼容报错解决
1、版本介绍:
doris
版本:1.2.8SparkConnectorforApacheDoris版本:spark-
doris
-connector-3.3_2.12-1.3.0.jar:1.3.0-SNAPSHOTspark
Data_IT_Farmer
·
2024-01-13 07:57
Doris
实时数仓
spark-sql
spark
doris字段类型
D43 2组阿德
doris
+《这些人, 那些事》读书笔记
今天开始阅读新书,来自吴念真先生的《这些人,那些事》拿到这本书,我的第一反应是吴念真这个人是谁?他所说的“这些人”是指什么人?“那些事”又是指哪些事?问题1,吴念真,本名吴文钦,全方位创意人、电影人、广告人、剧场人。自幼在矿区长大,家境贫寒,1973年开始从事小说创作,曾经五次荣获金马奖最佳编剧,代表作品有《恋恋风尘》、《童年往事》、《风柜来的人》、《多桑》等,主持“台湾念真情”节目三年,创作舞台
阿德doris
·
2024-01-12 15:10
Linux
性能调优
技术概览
Linux
性能调优
技术概览概述这里的Linux
性能调优
主要是关于Linux系统上程序的性能跟踪,因为只有收集到足够的准确的性能数据才能找到程序和系统的性能瓶颈。
Ahxing1985
·
2024-01-12 15:12
c++
底层
linux
服务器
性能优化
c++
批量生成datax同步JSON(postgresql到
doris
)
1.问题描述使用datax同步psql数据到
doris
,表的数量过多,写datax的配置文件很麻烦。鉴于此,编写了一个datax的配置文件生成脚本,可以灵活的实现一键生成配置文件,提高生产效率。
tuoluzhe8521
·
2024-01-12 13:30
Shell脚本相关
json
postgresql
数据库
datax
Apache
Doris
入门10问
在开始之前,我们先对本文相关的名词进行解释:FE:Frontend,即
Doris
的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
蟹老板jerry
·
2024-01-12 13:30
apache
大数据
银联商务基于 Apache
Doris
的数据平台升级实践
本文导读:在长期服务广大规模商户的过程中,银联商务已沉淀了庞大、真实、优质的数据资产数据,这些数据不仅是银联商务开启新增长曲线的基础,更是进一步服务好商户的关键支撑。为更好提供数据服务,银联商务实现了从Hadoop到ApacheDoris的架构升级,使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍,满足大规模数据导入和实时极速查询的业务需求,解决了业务和数
SelectDB技术团队
·
2024-01-12 13:28
apache
数据库
大数据
数据分析
数据仓库
阿里Java性能优化实战手册:上线一小时,下载量破10W
第1章Java
性能调优
概述性能优化的一般步骤以及木桶原理与性能瓶颈第2章设计优化第3章Java程
技术琐事
·
2024-01-12 09:34
spring
boot
spring
java
后端
性能优化
【技术选型】
Doris
vs starRocks
比对结论仅从当前能看到的数据中,相比于
doris
,starRocks在性能方面具备优势,且更新频率高(降低维护成本)。
偏振万花筒
·
2024-01-12 08:41
大数据
大数据
分布式
MongoDB
性能调优
一、explain执行计划MongoDB提供了一个explain命令让我们获知系统如何处理查询请求。利用explain命令,我们可以很好地观察系统如何使用索引来加快检索,同时可以针对性优化索引。>db.t5.ensureIndex({name:1})>db.t5.ensureIndex({age:1})>db.t5.find({age:{$gt:45}},{name:1}).explain(){"
wespten
·
2024-01-12 07:24
数据库存储
块存储
文件存储
对象存储
分布式网络存储
mongodb
数据库
大数据
Doris
(五十四):SQL函数之日期函数(二)
文章目录SQL函数之日期函数(二)一、DAYOFMONTH(DATETIMEdate)二、dayofweek(DATETIMEdate)
Lansonli
·
2024-01-11 20:30
大数据OLAP技术体系
sql
数据库
Doris
大数据
Flink/
Doris
生产环境方案选型的一些思考
以Flink为主的计算组件和以
Doris
为代表的存储+计算一体的方案选择问题是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会遇到的问题。
王知无(import_bigdata)
·
2024-01-11 09:37
flink
大数据
Spark八:Spark性能优化
Spark
性能调优
Spark调优的方法,包括RDD使用、文件读取,partition学习资料:https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ一、Spark
eight_Jessen
·
2024-01-11 07:29
scala
spark
spark
性能优化
GBASE南大通用数据库 GBase 8a
性能调优
方法--Hash索引
GBase8a中建立HashIndex通常可以用来解决等值查询的定位效率,特别是对以单表精确查询为主的应用场景尤为适合,如电信业务中的并发话单查询等(特别是内存基本充足的场景)。默认创建GLOBAL的哈希索引。创建全局哈希索引,全局创建索引针对整列,数据按页存储,每个数据块占用多少个页可以在创建索引时指定。当使用GLOBAL关键字时,可以配合使用key_dc_size,这个参数表示指定创建分段Ha
GBASE数据库
·
2024-01-11 07:54
数据库
GBASE南大通用
GBASE
GBASE南大通用数据库 GBase 8a
性能调优
方法--数据排序
数据在按某查询列进行排序后,则相同数据取值会集中存放在有限的数据包中,因此在以该列进行过滤时,利用智能索引命中的数据包会很少,不仅能降低IO量而且会提高压缩比。其最大好处是可以将智能索引的过滤效果发挥到最优,从而使整体查询性能大幅提升。在分析性数据库场景中,建议数据按照查询常用条件列进行排序。南大通用数据库的GBase8a大规模应用的电信行业中,通常按照手机号码进行查询,因此可按一定的时间间隔对数
GBASE数据库
·
2024-01-11 07:54
数据库
Apache
Doris
聚合函数源码阅读与解析|源码解读系列
笔者最近由于工作需要开始调研ApacheDoris,通过阅读聚合函数代码切入ApacheDoris内核,同时也秉承着开源的精神,开发了array_agg函数并贡献给社区。笔者通过这篇文章记录下对源码的一些理解,同时也方便后面的新人更快速地上手源码开发。聚合函数,顾名思义,即对一组数据执行聚合计算并返回结果的函数,在统计分析过程中属于最常见的函数之一,最典型的聚合函数包括count、min、max、
SelectDB技术团队
·
2024-01-11 07:16
数据库
大数据
数据分析
数据仓库
Apache
Doris
Apache
Doris
入门 10 问
在开始之前,我们先对本文相关的名词进行解释:FE:Frontend,即
Doris
的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。
SelectDB技术团队
·
2024-01-11 07:16
apache
数据库
大数据
数据分析
doris
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他