E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris性能调优
Apache
Doris
单节点(可多节点)Docker集群制作教程
集群制作Author:苏奕嘉脚本研发Author:种益调研测试Author:杨春东前言ApacheDoris是当下非常火热和流行的MPP架构OLAP数据库,很多同学想自学/测试
Doris
的使用和能力,但是又苦于没有环境或者畏惧冗长的编译
张家锋
·
2024-01-01 11:14
D.3 基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】
NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、
性能调优
、模型压缩算法等专栏详细介绍:NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能
·
2023-12-31 23:22
分类
人工智能
机器学习
自然语言处理
算法
如何制定 Java
性能调优
标准?
Java
性能调优
全攻略来啦!我有一个朋友,有一次他跟我说,他们公司的系统从来没有经过
性能调优
,功能测试完成后就上线了,线上也没有出现过什么性能问题呀,那为什么很多系统都要去做
性能调优
呢?
java菜
·
2023-12-31 22:38
(转)Java
性能调优
:JMC性能分析
Java
性能调优
作为大型分布式系统提供高性能服务的必修课,其重要性不言而喻。好的分析工具能起到事半功倍的效果,利用分析利器JMC、JFR,可以实现性能问题的准确定位。
_王子_
·
2023-12-31 21:57
【Apache
Doris
】自定义函数之 JAVA UDF 详解
【ApacheDoris】自定义函数之JAVAUDF详解一、背景说明二、原理简介三、环境信息3.1硬件信息3.2软件信息四、IDE准备五、JAVAUDF开发流程5.1源码准备5.1.1pom.xml5.1.2JAVA代码5.2mvn打包5.2.1clean5.2.2package5.3函数使用5.3.1upload5.3.2使用六、注意事项七、总结一、背景说明UDF主要适用于,用户需要的分析能力D
乙真仙人
·
2023-12-31 17:51
Apache
Doris
大数据
大数据
java
大数据
Doris
(四十五):物化视图选择最优
文章目录物化视图选择最优物化视图选择最优下面详细解释一下第一步最优物化视图是被如何选择出来的。这里分为两个步骤:对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算(取部分行,部分列,或部分行列的聚合)出都可以留在候选集中,过滤完成后候选集合大小>=1。从候选集合中根据聚合程度,索引等条件选出一个最优的也就是查询花费最少物化视图。这里再举一个相对复杂的例子,来体现这个过程。
Lansonli
·
2023-12-31 14:18
大数据OLAP技术体系
大数据
Doris
56.常用shell之 free - 查看内存使用情况 的用法及衍生用法
这个命令对于监控系统资源和
性能调优
非常有用。
三水青一人尤
·
2023-12-31 13:09
linux
服务器
运维
hive
sql
优化你的Java代码:
性能调优
技巧
Java是一种高级编程语言,随着云计算、大数据、人工智能等新一代计算技术的普及和发展,Java编程在企业级应用和数据处理方面的重要性越来越突出。优化Java代码是提高程序性能、加快运行速度的关键所在。本文将带您了解几种Java优化的技巧。使用基本类型insteadof包装类型Java中的基本类型(如int、float等)和包装类型(如Integer、Float等)存在差异。基本类型的数据直接存储在
naer_chongya
·
2023-12-31 12:56
java
开发语言
go操作
doris
踩坑记录
go操作
doris
踩坑记录1.
doris
无法用deletefrom删除整个表数据2.
doris
本身事务只支持insert、rollback、commitError1105(HY000):TException
清盏涂墨衣
·
2023-12-31 10:56
golang
开发语言
后端
【遇见
Doris
】Apache
Doris
(incubating) 0.12.0版本预览
Doris
线下沙龙完美收官!本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注
Doris
官方公众号,嘉宾分享回顾会陆续放出。
ApacheDoris
·
2023-12-31 03:15
运维
大数据
数据库
python
java
【遇见
Doris
】Apache
Doris
(incubating) 0.11.0新版本预览线下沙龙
此次
Doris
有幸得到中国信通院云大所、大数据技术标准推进委员会的支持,在中国信通院举行了0.11.0新版本预览线下沙龙。
ApacheDoris
·
2023-12-31 03:45
百度
大数据
python
java
编程语言
【遇见
Doris
】Apache
Doris
在京东广告平台的应用
6月29日,
Doris
有幸得到中国信通院云大所、大数据技术标准推进委员会的支持,在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。
ApacheDoris
·
2023-12-31 03:44
运维
大数据
数据库
java
python
【遇见
Doris
】Apache
Doris
Parquet文件读取的设计与实现
6月29日,
Doris
有幸得到中国信通院云大所、大数据技术标准推进委员会的支持,在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。
ApacheDoris
·
2023-12-31 03:44
数据库
python
mysql
java
大数据
Apache
Doris
在京东搜索实时OLAP中的应用实践
1、前言本文讨论了京东搜索在实时流量数据分析方面,利用ApacheFlink和ApacheDoris进行的探索和实践。流式计算在近些年的热度与日俱增,从GoogleDataflow论文的发表,到ApacheFlink计算引擎逐渐站到舞台中央,再到ApacheDruid等实时分析型数据库的广泛应用,流式计算引擎百花齐放。但不同的业务场景,面临着不同的问题,没有哪一种引擎是万能的。我们希望京东搜索业务
小晨说数据
·
2023-12-31 03:11
Doris专栏
数据库
大数据
人工智能
数据分析
java
推荐:一个不错的介绍Apache
Doris
的PPT
原来ApacheDoris居然是百度开源出来的,不错。部分节选:完整下载地址网盘:链接:https://pan.baidu.com/s/18WR70R_f72GxCjh0lykStQ提取码:umd3复制这段内容后打开百度网盘手机App,操作更方便哦--来自百度网盘超级会员v7的分享
jackyrongvip
·
2023-12-31 03:40
doris
ElasticSearch
性能调优
ElasticSearch
性能调优
“ELK”是ElasticSearch、Logstash、Kibana三门技术的简称。
风是外衣衣衣
·
2023-12-30 22:21
小知识点
es优化
elasticsearch
ElasticSearch读写底层原理及
性能调优
##一,读写底层原理Elasticsearch写人数据的过程1)客户端选择一个node发送请求过去,这个node就是coordinatingnode(协调节点)2)coordinatingnode,对document进行路由,将请求转发给对应的node(有primaryshard)3)实际的node上的primaryshard处理请求,然后将数据同步到replicanode4)coordinati
Mumunu-
·
2023-12-30 22:19
devops
elasticsearch
ELK
elasticsearch
大数据
搜索引擎
Apache
Doris
(五十六):
Doris
Join类型 - 四种Join对比
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频
Doris
支持两种物理算子,一类是HashJoin,另一类是NestLoopJoin。
IT贫道
·
2023-12-30 15:32
大数据OLAP体系技术栈
Apache
Doris
doris
Flink实时电商数仓(九)
用户注册汇总表需求分析统计各窗口的注册用户数,写入
Doris
思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入
十七✧ᐦ̤
·
2023-12-30 11:16
flink
大数据
想要学会JVM调优,先掌握JVM内存模型和JVM运行原理
1、前言今天将和你一起探讨Java虚拟机(JVM)的
性能调优
。JVM算是面试中的高频问题了,通常情况下总会有人问到:请你讲解下JVM的内存模型,JVM的
性能调优
做过?
cxzm_1024
·
2023-12-30 08:56
性能优化
Java基础
jvm
性能优化
性能测试之Mysql数据库调优
一、前言
性能调优
前提:无监控不调优,对于mysql性能的监控前几天有文章提到过,有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个:CPU、内存
测试老哥
·
2023-12-30 03:01
数据库
mysql
软件测试
自动化测试
职场和发展
性能测试
jmeter
性能测试之Mysql数据库调优
一、前言
性能调优
前提:无监控不调优,对于mysql性能的监控前几天有文章提到过,有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个:CPU、内存
软件测试果冻
·
2023-12-29 21:29
软件测试
数据库
mysql
Flink实时电商数仓之DWS层
org.apache.dorisflink-
doris
-connector-1.17com.janeluoikanalyzer测试代码如下:publicclassIkUtil{publicsta
十七✧ᐦ̤
·
2023-12-29 17:19
flink
大数据
2022-02-24-Spark-44(
性能调优
通用调优)
1.应用开发的原则原则一:坐享其成我们应该尽可能地充分利用Spark为我们提供的“性能红利”,如钨丝计划、AQE、SQLfunctions等等。AQE可以让Spark在运行时的不同阶段,结合实时的运行时状态,周期性地动态调整前面的逻辑计划,然后根据再优化的逻辑计划,重新选定最优的物理计划,从而调整运行时后续阶段的执行方式。AQE功能默认是关闭的,如果我们想要充分利用自动分区合并、自动数据倾斜处理和
冰菓_lam
·
2023-12-29 03:14
Hive和Spark生产集群搭建(spark on
doris
)
1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark-3.3.1SparkSparkSparkSparkSparkHive-3.1.3HiveHive1.2主要组件官网hive官网:https://hive.
tuoluzhe8521
·
2023-12-28 23:56
Hive相关
hive
spark
hadoop
大数据
yarn
【转】idea设置JVM运行参数
对JVM运行参数进行修改是JVM
性能调优
的重要手段,下面介绍在应用程序开发过程中JVM参数设置的几种方式。
全栈测试笔记
·
2023-12-28 23:56
测试基础(含环境搭建)
java
python
linux
jvm
tomcat
Java开发框架和中间件面试题(10)
113.如何进行JVM
性能调优
?115.GC调优策略有哪些?116.介绍下单点登
龙贝子
·
2023-12-28 19:04
面试题
java
开发语言
中间件
doris
-升级版本
一、简介
doris
可以进行平滑升级,详情可根据官网查看安装包下载地址:github,界面二、升级步骤1.原数据备份将FE-Master节点的
doris
-meta目录进行完整备份!
与数据交流的路上
·
2023-12-28 18:14
doris
数据库
doris
-修改be的存储路径
一、背景因为之前的BE的数据目录在机械盘上,性能太低,打算换到SSD盘,在不改变端口且没有多余机器的情况下,更改磁盘存储位置相对来说比较方便,因为业务尚没有正常使用,所以操作起来更方便重点:非常不推荐这种方式更改,如无必要,不要采取该方式二、具体操作1.备份数据数据量少的时候可以用mysqldump,数据量大的时候可以选择其他方式,详情见官网mysqldump-h192.168.1.1-P9030
与数据交流的路上
·
2023-12-28 18:14
doris
数据库
Flink开发利器StreamX
在目前云原生架构的普及和湖仓一体化的大背景下,我们已经确定了将
Doris
作为离线数据仓库,将TiDB(目前已经应用于生产)作为实时数据平台,同时因为
Doris
具有onMySQL的odbc能力,所以又可以对外部数据库资源进行整合
Apache StreamPark
·
2023-12-28 15:34
StreamX
Flink
flink
大数据
big
data
Apache
Doris
(五十五):
Doris
Join类型 - Colocation Join
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.ColocationJoin原理
IT贫道
·
2023-12-28 13:43
大数据OLAP体系技术栈
Apache
Doris
apache
算法
2023 云原生编程挑战赛收官:1.8 万人报名,冠军花落北京邮电大学、电子科技大学、旷识科技
大赛专家评审团认为,三大赛道的冠军团队,方案思路清晰,提出的技术优化点具有可落地性,在多个常见问题以及
性能调优
中的解决思路具有很高的借鉴意义,能深入到
阿里云云原生
·
2023-12-28 12:56
云原生
科技
Apache
Doris
详细教程(一)
1、
Doris
简介1.1、
doris
概述ApacheDoris由百度大数据部研发(之前叫百度Palo,2018年贡献到Apache社区后,更名为
Doris
),在百度内部,有超过200个产品线在使用,部署机器超过
白鸽呀
·
2023-12-28 12:09
Doris
apache
Doris
Linux系统性能的四个指标:CPU、内存、磁盘、网络
一、CPU
性能调优
工具1.vmstat命令vmstat(virtualmemorystatistics虚拟内存统计)的缩写。
运维仙人
·
2023-12-28 10:53
运维
JVM
性能调优
——HotSpot VM 调优记录
宿主机硬件:8核/16G内存/50G磁盘,系统:CentOS7.7,Docker单实例。1.JDK默认启动参数硬件:4核/8G内存/256G磁盘,系统:Windows7。查看JDK1.8默认启动参数命令:#java-XX:+PrintCommandLineFlags-version返回:-XX:InitialHeapSize=126504256//等价于-Xms1g,JVM堆初始大小(新生代+老年
一叶知秋V
·
2023-12-28 08:22
JVM
java
jmap
dump
mat
内存分析
数据存储与数据库
性能调优
:原理与实践
1.背景介绍随着数据的增长和复杂性,数据库
性能调优
成为了一个重要的话题。数据库
性能调优
可以帮助我们更有效地存储和查询数据,从而提高系统的性能和可用性。
一枚可爱的程序女孩
·
2023-12-28 05:14
React入门实战
Java入门实战
Python
Java
React
Oracle统计信息的魔力
Oracle统计信息的概述二、统计信息主要包括以下内容三、收集统计信息的方法使用dbms_stats程序包手动收集收集的是系统统计信息四、案例一、Oracle统计信息的概述Oracle统计信息是数据库
性能调优
的关键组成部分
无情白
·
2023-12-28 04:48
Oracle
OCP
oracle
数据库
Hive 执行计划 &
性能调优
一、执行计划explain,查看基本信息explaindependency,查看依赖信息explainauthorization,查看权限信息1.explain用法--explain+执行语句例如:explainselects2.s_id,avg(s2.s_score)asavg_scorefromedu.studentsjoinedu.scores2ons.s_id=s2.s_idwheres.
巷子里的猫X
·
2023-12-27 18:51
数据分析
hive
java
mysql
【Hive】
性能调优
- Map JOIN
Hive版本:hive-3.1.3map-sideJOIN和MapJOIN的区别map-sideJOIN就是预聚合,在map阶段先聚合一下,这样数据到了reduce有可能就不倾斜了MapJOIN就是缓存小表,没有shuffle,没有reduce概述如果表关联时,有一张表很小,那么可以在大表通过mapper时将小表完全加载到内存中,Hive可以在map端完成关联过程,这就是所谓的map-sideJO
青云游子
·
2023-12-27 18:21
Hive
hive
大数据
hadoop
Flink实时电商数仓之
Doris
框架(七)
Doris
框架大规模并行处理的分析型数据库产品。使用场景:一般先将原始数据经过清洗过滤转换后,再导入
doris
中使用。
十七✧ᐦ̤
·
2023-12-27 16:47
flink
大数据
doris
doris
基本操作,08-实战,索引
简述目前的
Doris
支持两类索引内建的智能索引,包括前缀索引和ZoneMap索引。用户创建的二级索引,包括BloomFilter索引和Bitmap倒排索引。
车前猛跑
·
2023-12-27 05:17
数据开发
数据库
doris
数据开发
doris
数据模型,06-Aggregate(聚合模型)
聚合模型的特点将表中的列分为Key和Value。Key是数据的维度列,比如时间,地区等等。key相同时会发生聚合。Value是数据的指标列,比如点击量,花费等等。每个指标列还会有自己的聚合函数,如:sum,min,max,bitmap_union等。数据会根据维度列进行分组,并对指标列进行聚合。在3中机制下会发生聚合:导入数据(insert,load等)BE内部Compaction时查询数据预聚合
车前猛跑
·
2023-12-27 05:47
数据开发
数据库
doris
doris
数据模型,07-Duplicate模型
概念DuplicateKey模型,导入数据时不会产生聚合,源数据不失真。被指定为DuplicateKey的字段用来指示底层数据按照该字段排序。如:对于日志分析,不在意多几条,少几条数据,只关心排序,这时候DuplicateKey模型就有用武之地了。createtableifnotexiststest_db.example_log(`log_time`datetimenotnullcomment"日
车前猛跑
·
2023-12-27 05:47
数据开发
服务器
doris
数据开发
doris
基本操作,03-导入数据-Broker Load
因为
Doris
表里的数据是有序的,所以Brokerload在导入数据的时是要利用
doris
集群资源对数据进行排序,相对于Sparkload来完成海量历史数据迁移,对
Doris
的集群资源占用要比较大,这种方式是在用户没有
车前猛跑
·
2023-12-27 05:46
数据开发
doris
数据开发
D35 2组阿德
doris
+《写作这回事》读书笔记
书名:《写作这回事——创作生涯回忆录》时间:7月8日~7月14日作者简介:StephenKing美国当代恐怖小说大师,畅销书作家,代表作有《魔女嘉莉》《肖申克的救赎》等,2003获得国家书奖终身成就奖书籍简介:在车祸恢复期间,完成的一部经验谈和回忆录形式的小说,从如何长成一名作家、工具箱、论写作、论生活这几个角度为我们阐释了关于写作的奥秘我最喜欢的部分:作者的文字特别与众不同,没有教条式的理论指导
阿德doris
·
2023-12-26 20:49
码歌老薛大话Java
性能调优
,Java调优概述(一)
老薛读书会1第一本书大话java
性能调优
书籍简单介绍,今天和大家读的是大话java
性能调优
这本书,IBM技术专家周明耀先生编纂。
坑王老薛
·
2023-12-26 19:56
Linux
性能调优
| 01 平均负载的理解和分析
01uptime命令通常我们发现系统变慢时,我们都会执行top或者uptime命令,来查看当前系统的负载情况,比如像下面,我执行了uptime,系统返回的了结果。[root@lincoding~]#uptime08:31:49up27min,1user,loadaverage:0.07,0.04,0.00前几列的信息,相信大家都很熟悉,它们分别是当前时间、系统运行时间和正在登陆的用户个数,最后一个
小林coding
·
2023-12-26 19:15
使用Java进行
性能调优
的实践指南
为了确保Java应用程序的高效运行,
性能调优
成为了一项重要的任务。本文将为您提供一份使用Java进行
性能调优
的实践指南,帮助您优化应用程序的性能。
api77
·
2023-12-26 12:52
电商api
java
开发语言
人工智能
大数据
服务器
Pulsar 详解 - 索引目录
)Pulsar详解3—工作原理&客户端API(示例:Go语言)Pulsar详解4—Pulsar的高级特性(示例:Go语言)Pulsar详解5—Pulsar的管理和监控Pulsar详解6—Pulsar的
性能调优
风不归Alkaid
·
2023-12-26 02:29
Pulsar
后端
golang
开发语言
京东一面:20多种异步方式,你知道几个?含协程
圈内一大波顶级高手、架构师、发烧友已经实现技术自由;另外一大波卷王,正在狠狠卷,奔向技术自由29篇原创内容公众号异步,作为
性能调优
核心方式之一,经常被用于各种高并发场景。
竹林幽深
·
2023-12-25 22:28
java
面试
elasticsearch
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他