E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark调优
Azkaban各种类型的Job编写
command:Linuxshell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务
spark
__元昊__
·
2024-03-28 21:00
Linux通过Tuned实现动态
调优
系统性能
Linux通过Tuned实现动态
调优
系统性能Tuned简介对于普通用户来说,优化Linux应用环境可能是相当具有挑战性的。
星河_赵梓宇
·
2024-03-28 12:14
linux
运维
服务器
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如
Spark
、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【Hadoop】使用Scala与
Spark
连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,Apache
Spark
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
java后端工程师八股文合集
1、SQL
调优
的基本步骤如下:确认性能瓶颈:首先要确定数据库中哪些查询是慢的,哪些查询最需要优化。可以通过监控数据库的CPU、磁盘I/O、网络I/O、缓存等指标来确定性能瓶颈。
吹林
·
2024-03-25 02:46
spring
cloud
eureka
java
java-ee
spring
boot
Spark
面试整理-
Spark
是什么?
Apache
Spark
是一个开源的分布式计算系统,它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的,并于2010年开源。
不务正业的猿
·
2024-03-24 13:02
面试
Spark
spark
大数据
分布式
【RH134问答题】第十章 控制启动过程
系列文章第一章提高命令行生产效率第二章计划将来的任务第三章
调优
系统性能第四章使用ACL控制对文件的访问第五章管理SELinux安全性第六章管理基本存储第七章管理逻辑卷第八章实施高级存储功能第九章访问网络附加存储目录系列文章请简要说明
不怕娜
·
2024-03-20 07:17
服务器
数据库
网络
大数据开发(Hive面试真题-卷二)
5、Hive如果不用参数
调优
,在map和reduce端应该做什么?6、Hive的三种自定义函数是什么?实现步骤与流程?它们之间的区别?作用是什么?7、Hive分区和分桶的区别?8、Hive的执行流程?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
Linux——系统优化
https://blog.csdn.net/li_wen01/article/details/82699167系统
调优
概述系统的运行状况:CPU->MEM->DISK*->NETWORK->应用程序
调优
系统性能优化的
@小官人^
·
2024-03-19 14:25
tomcat
调优
一、tomcat线程数可以参照https://blog.csdn.net/luoyang_java/article/details/85790435Tomcat配置文件server.xml中:Connector的主要功能,是接收连接请求,创建Request和Response对象用于和请求端交换数据;然后分配线程让Engine(也就是Servlet容器)来处理这个请求,并把产生的Request和Re
Liu.Yongqian
·
2024-03-19 02:39
Jmeter性能测试
tomcat
java
服务器
Spark
Q&A
A:从
Spark
2.1开始,你可以通过启用
spark
.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。
耐心的农夫2020
·
2024-03-19 00:12
JVM,GC算法,垃圾回收器,类加载器,进行线上JVM性能
调优
。
JVM(JavaVirtualMachine,Java虚拟机)是Java程序的运行环境,它在操作系统上提供了一个抽象层,使得Java程序可以独立于硬件平台运行。JVM有自己的指令集和内存管理机制,它负责将Java字节码转换为机器码并执行。垃圾回收(GarbageCollection,GC)是JVM的一个重要特性,它负责自动回收不再使用的内存。GC的目标是尽可能地回收垃圾对象,以释放内存空间,并确保
刘小董
·
2024-03-18 04:10
学习心得
JAVA
JVM
jvm
linux安装单机版
spark
3.5.0
一、
spark
介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark
主要用于大数据的计算二、
spark
下载
spark
3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
MySQL索引优化分析
1、SQL性能下降的原因数据太多:考虑分库分表关联了太多的表:SQL优化没有充分利用到索引:建立索引服务器
调优
及各个参数设置:调整my.cnf2、索引简介除了数据本身之外,数据库还维护着一个满足特定查找算法的数据结构
JBryan
·
2024-03-14 09:42
Spark
的数据结构——RDD
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
bluedraam_pp
·
2024-03-14 08:32
Spark
spark
数据结构
大数据
JVM
调优
之jstack找出最耗cpu的线程并定位代码
jstack可以定位到线程堆栈,根据堆栈信息我们可以定位到具体代码,所以它在JVM性能
调优
中使用得非常多。
机灵鬼鬼
·
2024-03-13 11:27
大数据开发(
Spark
面试真题-卷一)
大数据开发(
Spark
面试真题)1、什么是
Spark
Streaming?简要描述其工作原理。2、什么是
Spark
内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
基于HBase和
Spark
构建企业级数据处理平台
摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和
Spark
体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。
weixin_34071713
·
2024-03-12 22:44
大数据
数据库
爬虫
lightGBM专题4:py
spark
平台下lightgbm模型保存
之前的文章(py
spark
lightGBM1和py
spark
lightGBM2)介绍了py
spark
下lightGBM算法的实现,本文将重点介绍下如何保存训练好的模型,直接上代码:frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.ml.featureimportStringIndexer
I_belong_to_jesus
·
2024-03-12 12:30
大数据
大数据开发(
Spark
面试真题-卷六)
大数据开发(
Spark
面试真题)1、
Spark
HashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发(Hadoop面试真题-卷二)
6、
Spark
为什么比MapReduce更快?7、详细描述一
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
浅谈Tomcat
调优
步骤和例子
Tomcat
调优
分析Tomcat是JavaWeb应用程序中广泛使用的Web服务器和Servlet容器。为了获得更好的性能和稳定性,可以进行Tomcat
调优
。
xiongyi01
·
2024-03-09 14:12
tomcat
java
jvm
大数据开发(Hadoop面试真题-卷九)
3、
Spark
mapjoin的实现原理?4、
Spark
的stage如何划分?在源码中是怎么判断属于ShuffleMapStage或ResultStage的?5、
Spark
reduceByKe
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Spark
Streaming(二):DStream数据源
1、输入DStream和Receiver输入(Receiver)DStream代表了来自数据源的输入数据流,在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。除了文件数据流之外,所有的输入DStream都会绑定一个Receiver对象,该对象是一个关键的组件,用来从数据源接收数
雪飘千里
·
2024-03-09 01:28
Spark
常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入
spark
的web页面,查看一下你的任务,找到每个分区日志的stderr
midNightParis
·
2024-03-08 03:25
spark
spark
Redis优化与应用
Redis性能
调优
-Redis的性能
调优
是一个比较复杂的过程,需要从多个方面进行优化,如内存使用、命令使用等。-案例:减少不必要的持久化操作。默认情况下,Redis会执行RDB和AOF两种持久化方式。
V火居道士V
·
2024-03-06 22:19
Redis
redis
数据库
缓存
lua
Spark
Shop开源可商用,匹配小程序H5和PC端带分销功能!
Spark
Shop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统;包含小程序商城、H5商城、公众号商城、PC商城、App,支持页面diy、秒杀、优惠券
行动之上
·
2024-03-05 15:09
源码免费下载
小程序
【Hadoop】在
spark
读取clickhouse中数据
clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.
spark
.sql.SaveModeimportorg.apache.
spark
.sql.
Spark
SessiondefgetCKJdbcProperties
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
Spark
-sql Adaptive Execution动态调整分区数量,调整输出文件数
有时间为了解决小文件问题,我们把
spark
.sql.shuffle.partitions这个参数调整的很小,但是随着时间的推移,数据量越来越大,当初设置的参数就不合适了,那有没有一个可以自我伸缩的参数呢
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hive join中出现的数据暴增(数据重复)
我们来看一下案例:
spark
-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive四种常见的join
1.左连接leftjoin
spark
-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
第5章:性能优化《Nginx实战:从入门到精通》
Nginx性能
调优
基础优化Nginx性能的第一步是理解和配置它的工作模式和工作参数,以适应你的具体需求和服务器环境。工作进程和连接数worker_processes:这个指令告诉Nginx启动多
运维家
·
2024-03-02 05:47
性能优化
nginx
运维
万字带你走过数据库的这激荡的三年
关于AndyPavlo:卡内基梅隆大学计算机科学系数据库学副教授,数据库
调优
公司OtterTune的CEO兼联合创始人。为了聚焦于数据库技术趋势演变,本文未对原文“寒暄式”开头和注释性语句作翻译。
·
2024-03-01 17:11
数据库
Spark
整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好
spark
,如果不会安装可以跳转到
Spark
安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
挑战杯 基于机器学习与大数据的糖尿病预测
数据导入处理3数据可视化分析4特征选择4.1通过相关性进行筛选4.2多重共线性4.3RFE(递归特征消除法)4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价5.3模型参数
调优
laafeer
·
2024-02-29 07:45
python
浅谈web性能测试
性能测试,简而言之就是模仿用户对一个系统进行大批量的操作,得出系统各项性能指标和性能瓶颈,并从中发现存在的问题,通过多方协助
调优
的过程。
.咖啡加剁椒
·
2024-02-27 08:17
软件测试
前端
功能测试
软件测试
自动化测试
程序人生
职场和发展
在
Spark
数据导入中的一些实践细节
best-practices-import-data-
spark
-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化,逐渐体现出了性能上的瓶颈:单机不足以支持更大的图谱
NebulaGraph
·
2024-02-27 07:53
Spark
开发_简单DataFrame判空赋值逻辑
valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.
spark
.sql.DataFrame
Matrix70
·
2024-02-26 22:06
Spark开发_工作
spark
大数据
分布式
Spark
SQL编程指南
Spark
SQL编程指南
Spark
SQL是用于结构化数据处理的一个模块。同
Spark
RDD不同地方在于
Spark
SQL的API可以给
Spark
计算引擎提供更多地信息,例如:数据结构、计算算子等。
<>=
·
2024-02-26 05:46
spark
ThreadPool 模式设计与流程演示
线程池的使用能够有效提升线程的可管理性,依据系统承受能力,调整线程池中工作线程的数量,对线程进行统一的分配、
调优
和监控。该方式能够提高任务响应速度,当任务到达时,无需等待线程创建即可立即执行。由于时序
KaiwuDB 数据库
·
2024-02-20 22:14
数据库
Linux
调优
指南
更多相关知识可以阅读:https://www.yuque.com/treblez/qksu6c/yxl59pkvczqot9ushttps://www.yuque.com/treblez/qksu6c/nqe8ip59cwegl6rk本文不会讲解基础知识。CPU设置调度器这几个调度类的优先级如下:Deadline>Realtime>Fair如果你的某些任务对延迟容忍度很低,比如说在嵌入式系统中就有
SakamataZ
·
2024-02-20 20:14
linux
驱动开发
运维
Hive 基于MapReduce引擎 map和reduce数的参数控制原理与
调优
经验
1.概述主要对基于MR的map数和reduce数测试与
调优
2.数据准备(1)表信息本次测试的表和sql都是使用的TPC-DS,表文件存储格式为text表名是否压缩总数占用空间文件数date_dim否730499.8M1item
abcdggggggg
·
2024-02-20 20:03
大数据
Hive
大数据
hadoop
hive
mapreduce
map
第3.2章:Doris-2.0数据导入——Compaction机制
概述1.2Compaction概述1.3Rowset数据版本1.4Compaction优点1.5Compaction问题1.5.1Compaction速度低1.5.2写放大问题1.6Compaction
调优
爱吃辣条byte
·
2024-02-20 20:30
#
Doris
sql
数据库
(17)Hive ——MR任务的map与reduce个数由什么决定?
对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致Hadoop集群资源雪崩)hive中小文件产生的原因及解决方案见文章:(14)Hive
调优
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
相机图像质量研究(13)常见问题总结:光学结构对成像的影响--鬼影
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-20 19:22
ISP
计算机视觉
数码相机
人工智能
Python中Thop库的基本介绍和参数说明
通过这个库,开发者可以更好地理解和评估模型的复杂度,这对于模型优化和性能
调优
是非常有帮助的
肆十二
·
2024-02-20 18:30
Python常用的库
python
开发语言
thop
相机图像质量研究(39)常见问题总结:编解码对成像的影响--运动模糊
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-20 18:24
ISP
计算机视觉
数码相机
人工智能
相机图像质量研究(36)常见问题总结:编解码对成像的影响--块效应
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-20 18:53
ISP
计算机视觉
数码相机
人工智能
相机图像质量研究(38)常见问题总结:编解码对成像的影响--呼吸效应
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-20 18:53
ISP
计算机视觉
数码相机
人工智能
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他