E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
weblogic调优
Hive 在工作中的
调优
总结
总结了一下在以往工作中,对于HiveSQL
调优
的一些实际应用,是日常积累的一些优化技巧,如有出入,欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作,partitioned
fx67ll
·
2023-12-27 18:50
大数据开发文档
hive
大数据
hadoop
大数据之hive_hive的企业级
调优
简单
调优
:1.测试数据可以本地模式运行2.select字段时禁止使用*还可以加上where进行行列过滤3.selectfromajoinb时避免直接join,因为会产生笛卡尔积,建议加上on进行过滤,减少数据量
普罗米修斯之火
·
2023-12-27 18:50
hive
大数据
Hive之企业级
调优
实战
1:Fetch抓取Fetch抓取是指,==Hive中对某些情况的查询可以不必使用MapReduce计算例如:select*fromscore;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minim
不要迷恋发哥
·
2023-12-27 18:50
Hive
大数据
hive
数据仓库
【Hive_05】企业
调优
1(资源配置、explain、join优化)
1、计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划(重点)2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明(1)map-side聚合相关的参数3.2优化案例4、join优化4.1Join算法概述(1)CommonJoin(2)MapJoin(3)BucketMapJoin(4)SortMergeBucket
温欣2030
·
2023-12-27 18:49
#
【Hive】
【大数据】
hive
hadoop
数据仓库
Hive学习——企业级
调优
目录一、计算资源
调优
(一)Yarn资源配置——集群1.Yarn配置说明(1)yarn.nodemanager.resource.memory-mb(2)yarn.nodemanager.resource.cpu-vcores
雷神乐乐
·
2023-12-27 18:49
#
Hive
学习
大数据
java
hive
【hive】hive的
调优
经验
一、hive自己进行优化对union这样的命令进行了优化二、数据本地化率hdfs数据本地化率对hive性能产生影响在数据大小一定的情况下,500个128M的文件和2个30G的文件跑hive任务,性能是有差异的,两者最大的区别在于,后者在读取文件时,需要跨网络传输,而前者为本地读写。数据本地化率问题。三、数据格式hive提供text,sequenceFile,RCFile,ORC,Parquest等
kiraraLou
·
2023-12-27 18:49
hive
hive
hadoop
big
data
论文阅读——TÜLU
TÜLU:通过整合资源实现更好的教学
调优
模型加指令的多样性可以有效地提高指令调整的性能。所以创建了两个混合数据集,
じんじん
·
2023-12-27 17:07
论文
人工智能
ChatGLM2-6B微调实践-QLora方案
ChatGLM2-6B微调实践-QLora方案环境部署Lora微调项目部署准备数据集修改训练脚本adapter推理模型合并与量化合并后的模型推理参数
调优
微调过程中遇到的问题参考:环境部署申请阿里云GPU
我在北国不背锅
·
2023-12-27 15:25
大模型
linux
chatglm
企业级实战项目:基于 pycaret 自动化预测公司是否破产
本文系数据挖掘实战系列文章,我跟大家分享一个数据挖掘实战,与以往的数据实战不同的是,用自动机器学习方法完成模型构建与
调优
部分工作,深入理解由此带来的便利与效果。
Python数据挖掘
·
2023-12-27 12:40
机器学习
数据分析及可视化
数据挖掘
数据分析
算法
python
调优
-mybatis saveBatch
一条一条插入:批量插入:批量插入-优化:在url配置#rewriteBatchedStatements=trueurl:jdbc:mysql://localhost:3306/xi_ning?characterEncoding=utf-8&serverTimezone=UTC&rewriteBatchedStatements=truerewriteBatchedStatements=true是一个
猫三棂
·
2023-12-27 06:40
Java
mybatis
JVM面试题
3.直接内存4.说一下类加载的执行过程5.JVM
调优
参数有哪些6.JVM
调优
的工具7.java内存泄漏的排查思路8.cpu飙高排查方案和思路1.什么是虚拟机栈每个线程运行时需要的内存,称为虚拟机栈2.方法内的局部变量是线程安全吗
ITfeib
·
2023-12-27 06:12
面试总结
jvm
java
面试
Weblogic
CVE-2023-21839(metasploit版)
Step1:用docker搭建环境Step2:docker查看映射端口Step3:访问特定端口,然后靶标应用。Step4:用metasploit进行攻击:首先,打开metasploit,然后查询需要攻击的板块,利用板块。进入到板块以后,我们需要查看配置信息,并且对端口,host,ssl,版本,payload等进行更改。然后修改完成以后,进行攻击。得到shell以后,验证成功。
22的卡卡
·
2023-12-27 01:44
漏洞复现及利用
网络安全
JVM
调优
之经验
在生产系统中,高吞吐和低延迟一直都是JVM
调优
的最终目标,但这两者恰恰又是相悖的,鱼和熊掌不可兼得,所以在
调优
之前要清楚舍谁而取谁。
alterem
·
2023-12-26 23:21
码歌老薛大话Java性能
调优
,Java
调优
概述(一)
老薛读书会1第一本书大话java性能
调优
书籍简单介绍,今天和大家读的是大话java性能
调优
这本书,IBM技术专家周明耀先生编纂。
坑王老薛
·
2023-12-26 19:56
Linux性能
调优
| 01 平均负载的理解和分析
01uptime命令通常我们发现系统变慢时,我们都会执行top或者uptime命令,来查看当前系统的负载情况,比如像下面,我执行了uptime,系统返回的了结果。[root@lincoding~]#uptime08:31:49up27min,1user,loadaverage:0.07,0.04,0.00前几列的信息,相信大家都很熟悉,它们分别是当前时间、系统运行时间和正在登陆的用户个数,最后一个
小林coding
·
2023-12-26 19:15
EMQ百万级MQTT消息服务(优化和压测)
只有你自己试了才知道,本节就带着大家一起有
调优
系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目附上:喵了个咪的博客:w-blog.cnEMQ官方地址:http://emqtt.com/EMQ中文文档
文振熙
·
2023-12-26 13:14
使用Java进行性能
调优
的实践指南
为了确保Java应用程序的高效运行,性能
调优
成为了一项重要的任务。本文将为您提供一份使用Java进行性能
调优
的实践指南,帮助您优化应用程序的性能。
api77
·
2023-12-26 12:52
电商api
java
开发语言
人工智能
大数据
服务器
红日靶场-2
目录前言外网渗透外网渗透打点1、arp探测2、nmap探测3、nikto探测4、gobuster目录探测
WebLogic
10.3.6.01、版本信息2、
Weblogic
Scan扫描3、漏洞利用4、哥斯拉连接内网渗透
真的学不了一点。。。
·
2023-12-26 10:42
红日靶场打靶练习
网络安全
JVM
调优
的参数在哪里可以进行设置(不是指临时的)
WAR包部署在Tomcat中时,可以通过设置JVM
调优
参数来提升性能。以下是一些常用的JVM
调优
参数:-Xms:设置JVM的初始堆大小,例如-Xms512m表示初始堆大小为512MB。
Flying_Fish_roe
·
2023-12-26 09:29
jvm
大数据从业者必知必会的Hive SQL
调优
技巧 | 京东云技术团队
本文针对HiveSQL的性能优化进行深入研究,提出了一系列可行的
调优
方案,并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧,能够显著提升HiveSQL的执行效率和响应速度。
京东云技术团队
·
2023-12-26 06:33
大数据
hive
sql
08-JVM
调优
实战及常量池详解
文章目录阿里巴巴Arthas详解Arthas使用场景Arthas使用GC日志详解打印GC日志方法如何分析GC日志CMSG1JVM参数汇总查看命令Class常量池与运行时常量池字面量符号引用字符串常量池字符串常量池的设计思想三种字符串操作(Jdk1.7及以上版本)字符串常量池位置字符串常量池设计原理String常量池问题的几个例子示例1:示例2:示例3:示例4:示例5:示例6:关于String是不可
月球程序猿
·
2023-12-26 04:15
性能调优
JVM
jvm
Jenkins的特殊操作定时自动执行任务以及测试报告
调优
java-Dhudson.model.DirectoryBrowserSupport.CSP=-jarJenkins.war测试报告不美丽执行上面的代码重启jenkins就好了
MaoLingHao
·
2023-12-26 03:29
jenkins
运维
Pulsar 详解 - 索引目录
Pulsar详解3—工作原理&客户端API(示例:Go语言)Pulsar详解4—Pulsar的高级特性(示例:Go语言)Pulsar详解5—Pulsar的管理和监控Pulsar详解6—Pulsar的性能
调优
风不归Alkaid
·
2023-12-26 02:29
Pulsar
后端
golang
开发语言
jdk官网及说明
/8-MR3OracleJDK官方地址:https://www.oracle.com/technetwork/java/javase/downloads/index.htmlJVM-XXOptions
调优
参数
三侠剑
·
2023-12-26 00:33
JDK基础
Java 后端开发学习路线
图片版思维导图在底部编程基础Java语言语言基础基础语法面向对象接口容器异常泛型反射注解I/O图形化(如Swing)JVM类加载机制字节码执行机制JVM内存模型GC垃圾回收JVM性能监控与故障定位JVM
调优
并发
三尺青锋丶
·
2023-12-26 00:39
Rocksdb参数
调优
指南
本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置
调优
RocksDB。RocksDB非常灵活,这有好也有坏。你可以真多很多工作场景和存储技术进行
调优
。
xiannvlei
·
2023-12-25 23:57
数据库
京东一面:20多种异步方式,你知道几个?含协程
圈内一大波顶级高手、架构师、发烧友已经实现技术自由;另外一大波卷王,正在狠狠卷,奔向技术自由29篇原创内容公众号异步,作为性能
调优
核心方式之一,经常被用于各种高并发场景。
竹林幽深
·
2023-12-25 22:28
java
面试
elasticsearch
Java性能
调优
一个用Java写的GUI程序,作用是分析日志,它会将一定数量的格式相同的文本日志文件读入内存分析处理,然后将结果合并输出。文件数量几十个,文件大小几KB,日志记录几千条左右,此工具可以流畅处理,轻松满足需求。然而,因为记录日志的方案调整,记录日志类型范围从warn、error级别扩大到了连info、debug级别的日志也要记录,从而导致了日志量激增,固定时间范围内产生的日志文件增加到了几百个,单个
Java高级架构狮
·
2023-12-25 20:25
2023年12月份openGauss训练营培训课程课件
与其他开源数据库相比,openGauss具有以下特点:高性能——两路鲲鹏性能150万tpmC高可靠——故障切换时间RTO<10s高安全——端到端全方位安全防护易运维——基于AI的智能参数
调优
课时1:openGauss
福娃筱欢
·
2023-12-25 17:49
opengauss
JBoss安装并部署war包
一、简介JBOSS是一个免费的开放源代码的Web应用服务器,技术先进、性能稳定,而且免费,将Tomcat内核作为其Servlet容器引擎,并加以审核和
调优
。
飞奔的屎壳郎
·
2023-12-25 11:47
达梦数据库
服务器
tomcat
java
Jboss
DM8
weblogic
WebLogic
是美国Oracle公司出品的一个applicationserver,确切的说是一个基于JAVAEE架构的中间件,
WebLogic
是用于开发、集成、部署和管理大型分布式Web应用、网络应用和数据库应用的
小黑泡泡
·
2023-12-25 07:13
Java实现异步的原因、场景、实现异步的方式
文章目录实现异步的原因:异步和同步的区别异步使用的场景实现异步的方式:实现异步的20种实现方式异步,作为性能
调优
核心方式之一,经常被用于各种高并发场景。
思静语
·
2023-12-25 02:13
Java性能优化
并发
java
mysql的性能
调优
,explain的用法,explain各字段的解释
EXPLAIN一条语句的各字段解析如下id首先我们要知道explain的每一条记录都对应着访问单表的方式,即使说一条查询语句可能用了两个表,那也要拆成两条记录,只不过二者id相同,因为一个SELECT对应一个id。并且出现在前面的s1代表mysql选择它作为驱动表,而后面的s2代表mysql选择其作为被驱动表:假设是一个SELECT的查询结果作为临时表给另一个SELECT,那就是两个id了:但我们
結城
·
2023-12-25 00:33
mysql
mysql
数据库
系统故障诊断
在极客时间上,学习过《linux性能
调优
》算是对Linux下的系统诊断,做了一个全面的描述,可是
明翼
·
2023-12-24 22:39
Flink优化——资源优化(一)
)并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Keyby之前的算子Keyby之后的算子(KeyGroup最小值为128)Sink端并行度的配置RocksDB大状态
调优
设置本地
Stray_Lambs
·
2023-12-24 22:54
Flink
flink
大数据
【性能优化】MySql数据库查询优化方案
阅读本文你的收获了解系统运行效率提升的整体解决思路和方向学会MySQl中进行数据库查询优化的步骤学会看慢查询、执行计划、进行性能分析、
调优
一、问题:如果你的系统运行很慢,你有什么解决方案?
采石之人
·
2023-12-24 21:22
.NET后端
mysql
后端
性能优化
Android App选择最优的服务器地址
简介对于很多app来说,如果有文件上传、多媒体播放之类的功能,性能
调优
的重点之一一定是上传或者播放的速度。其中,可以尝试的一个做法是Server端分布式部署,在app启动时选择当前最为合适的服务器。
zyguo
·
2023-12-24 19:30
hive tez出现java堆内存溢出进行
调优
运行hive任务的时候出现了错误,日志如下:ERROR:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.Vertexfailed,vertexName=Map1,vertexId=vertex_1608805116045_1296_1_04,diagnostics=[Taskfailed
旺旺_865f
·
2023-12-24 17:36
linux
调优
之swap设置
通过free-h查询到内存还剩余很多,却使用swap分区;原因分析:1.swap设置开启的阀值过大,造成内存达到可使用swap的值2.docker设置了内存限制,但没限制swap的值(待求证)根虚拟机machine.slice和系统system.slices、user.slices等使用了swap空间。1.swap设置大小安装系统时,选择swap分区;swap不是越大越好,越大的时候说明内存不够用
IT杂人
·
2023-12-24 13:37
服务器
linux
调优优化
docker
linux
【
调优
】Linux优化Swap设置
【
调优
】Linux优化Swap设置1通过free-h查询到free-h内存还剩余很多,却使用swap分区;原因分析:1.swap设置开启的阀值过大,造成内存达到可使用swap的值2.docker设置了内存限制
我是Superman丶
·
2023-12-24 13:36
运维服务
linux
运维
服务器
控制map个数与性能
调优
参数
本文转自:涤生手记本系列几章系统地介绍了开发中Hive常见的用户配置属性(有时称为参数,变量或选项),并说明了哪些版本引入了哪些属性,常见有哪些属性的使用,哪些属性可以进行Hive
调优
,以及如何使用的问题
xuanxing123
·
2023-12-24 13:13
案例系列:泰坦尼克号_预测幸存者_TensorFlow决策森林
文章目录1.导入依赖库2.加载数据集3.准备数据集4.将Pandas数据集转换为TensorFlow数据集5.使用默认参数训练模型6.使用改进的默认参数训练模型7.进行预测8.使用超参数
调优
训练模型9.
愤斗的橘子
·
2023-12-24 11:37
tensorflow
人工智能
python
JDK与
weblogic
14静默安装
一、JDK安装1.创建安装路径#一般放在这个路径下,可以自定义mkdir/usr/local/java2.解压tar包到安装路径下tar-zxvfjak....tar-C/usr/local/java3.配置JDK环境变量vi/etc/profile在/etc/profile文件下添加jdk的环境变量进入编辑模式后,将下列内容添加到文件中JAVA_HOME=/usr/local/java/jdk1
hello小强
·
2023-12-24 09:47
javaWeb笔记
java
servlet
jvm
hive企业级
调优
策略之CBO,谓词下推等优化
测试所用到的数据参考:原文链接:https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。计算资源的调整主要包括Yarn和MR。CBO优化优化说明CBO是指CostbasedOptimizer,即基于计算成本的优化。在Hive中,计算成本模型考虑到了:数据的行数、CPU、本地IO、HDFSIO、网络IO
Appreciate(欣赏)
·
2023-12-24 07:26
hive
hive
hadoop
数据仓库
技本功|Hive优化之监控(三)
Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能
调优
在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive
调优
是必不可少的技能。
云掣YUNCHE
·
2023-12-24 03:15
技术文档
数据库
运维
hive
大数据
mysql
技本功|Hive优化之Spark执行引擎参数
调优
(二)
Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能
调优
在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive
调优
是必不可少的一项技能。
云掣YUNCHE
·
2023-12-24 03:44
技术文档
spark
hive
软件测试报告-专业第三方检测机构-CNAS专业资质
用于各类软件和硬件系统相结合的综合性集成项目的第三方验收测试,如政府、事业单位、企业、学校等项目验收)4、系统测试报告(用于软件和系统集成项目,开发方发起并组织的项目验收)5、性能测试报告(适用于项目性能验证、性能
调优
新支点小星
·
2023-12-24 03:13
单元测试
压力测试
集成测试
安全性测试
可用性测试
性能优化
网络安全
Oracle
WebLogic
Server
WebLogic
WLS组件远程命令执行漏洞 CVE-2017-10271
Oracle
WebLogic
Server
WebLogic
WLS组件远程命令执行漏洞CVE-2017-10271已亲自复现漏洞名称漏洞描述影响版本漏洞复现环境搭建漏洞利用修复建议漏洞名称漏洞描述在Oracle
WebLogic
Server10.3.6.0.0
Bolgzhang
·
2023-12-24 03:02
weblogic漏洞合集已复现
网络安全
weblogic
12c/14c安装教程RHEL7.6部署
报表数据库fysedu32192.168.0.32
weblogic
12cbbdomaiin70002统计数据库fysedu32192.168.0.32
weblogic
14ctjdomaiin70003我在
小新手上路
·
2023-12-23 23:35
weblogic中间件
数据库
笔记
oracle
Weblogic
Server工具WLST的使用
1.
Weblogic
脚本工具WLST介绍可以用命令行来操作
Weblogic
scriptingtools2.
Weblogic
WLST三种工作模式2.1wlst.shtips:
weblogic
的T3协议与HTTP
小新手上路
·
2023-12-23 23:35
weblogic中间件
oracle
数据库
笔记
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他