E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark调优
【C#学习路线——超详细介绍】
C#学习路线——超详细介绍1.介绍2.C#基础3.进阶技术4..NET框架核心5.前端和桌面应用开发6.Web后端开发7.游戏开发8.软件开发实践9.性能
调优
和最佳实践10.实战经验11.持续学习1.介绍
程序员不想敲代码啊
·
2024-02-08 16:57
C#
c#
学习
solr
Spark
经典案例之非结构数据处理
需求:根据tomcat日志计算url访问了情况,具体的url如下,要求:区别统计GET和POSTURL访问量结果为:访问方式、URL、访问量测试数据集:在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03
张明洋_4b13
·
2024-02-08 15:57
深入理解
Spark
的前世今生
文章来源:https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一:大数据的概述1.1
Spark
是什么?
闲云野鹤~~~
·
2024-02-08 14:01
Spark
【
Spark
重点难点】你以为的Shuffle和真正的Shuffle
我们的【
Spark
重点难点】系列继续更新。以往的系列:我们在学习
Spark
的时候,到底在学习什么?
王知无(import_bigdata)
·
2024-02-08 14:00
大数据
spark
java
python
数据库
深入理解
Spark
BlockManager:定义、原理与实践
深入理解
Spark
BlockManager:定义、原理与实践1.定义
Spark
是一个开源的大数据处理框架,其主要特点是高性能、易用性以及可扩展性。
涤生大数据
·
2024-02-08 14:57
spark
大数据
分布式
spark
spark
.shuffle.service.enabled
操作场景
Spark
系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。
不搬砖的程序员不是好程序员
·
2024-02-08 13:59
spark
spark
spark
好的文章链接
https://blog.51cto.com/u_16099325/6763760`java
spark
官方文档
spark
javaapi手册http://www.17bigdata.com/book/
spark
Trank-Lw
·
2024-02-08 13:18
spark
大数据
分布式
oracle优化常用经典参考
分类:Oracle2-
调优
步骤:1设计
调优
2应用
调优
程序员代码3内存4连接5操作系统2-已有产品的
调优
1定位问题2查看操作系统和oracle统计3考虑通用系统错误4假定问题5通过参数修改去
调优
3
调优
方法
温大洲
·
2024-02-08 12:43
Oracle优化常用经典参考
2-
调优
步骤:1设计
调优
2应用
调优
程序员代码3内存4连接5操作系统2-已有产品的
调优
1定位问题2查看操作系统和oracle统计3考虑通用系统错误4假定问题5通过参数修改去
调优
3
调优
方法1检查日志和tracefile2
wang_yq123
·
2024-02-08 12:42
Oracle
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2
Spark
SQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark
:基于莱文斯坦(Levenshtein)距离计算字符串相似度
以下程序代码基于
spark
,使用scala语言,测试时间:2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest
·
2024-02-08 11:25
大数据
算法
编程语言/Scala
大数据/spark
Levenshtein
字符串相似
莱文斯坦距离
spark
scala
MML
Spark
+
Spark
:py
spark
+lightGBM应用实践
MML
Spark
,即MicrosoftMachineLearningforApache
Spark
,是微软开源的一个针对Apache
Spark
的深度学习和数据可视化的库。
bensonrachel
·
2024-02-08 10:38
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
Flink大状态和Checkpoint
调优
文章迁移,待整理2.状态和Checkpoint
调优
2.1大状态
调优
我们生产大多数会使用fsState,memState程序挂了状态就丢了,应该没人会在生产使用,但是涉及到一些大状态,fsState效率很低
orange大数据技术探索者
·
2024-02-08 09:18
#
flink迁移
flink
大数据
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
相机图像质量研究(10)常见问题总结:光学结构对成像的影响--光圈
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-08 09:36
ISP
计算机视觉
数码相机
人工智能
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
hadoop
调优
-hdfs配置优化
配置文件hdfs-site.xml生产环境建议优化:dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue其它优化:dfs.hosts/export/hadoop/etc/hadoop/allowed_hostsdfs.hosts.exclude/export/hado
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
next项目页面性能
调优
next项目页面性能
调优
一般来说性能优化可以分为加载时、运行时两部分的优化。
sasaraku.
·
2024-02-08 07:22
前端
js
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
FlinkSql通用
调优
策略
历史文章迁移,稍后整理使用DataGenerator提前进行压测,了解数据的处理瓶颈、性能测试和消费能力开启minibatch:"table.exec.mini-batch.enabled","true"开启Local+Global两阶段聚合:"table.exec.mini-batch.enabled","true"解决数据倾斜问题:流式倾斜,开启minibatch窗口类有界操作,传统的两阶段聚
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
flink调优
实时调优
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
性能测试瓶颈分析与系统
调优
(4)jmetrer+influxdb+grafana性能测试
3.3性能测试领域概念细分基准测试:理论推断负载测试:实际性能数据(小规模)基准测试和负载测试目的:探索程序的负载能力压力测试:取负载测试结果中最高的负载能力-压取超过预期负载的测试没看程序的性能反应耐久性测试(疲劳测试)测试时长,取决于业务场景尖峰测试:模拟突然出现的高并发负载压力,耐久,尖峰测试目的,是为了探索程序在负载情况下的反应3.4jmeter性能测试技巧csv文件驱动:jmeter读取
当代键仙
·
2024-02-08 05:14
grafana
java
压力测试
jmeter
GitHub获120k+star的阿里内网“疯传”葵花宝典JVM虚拟机
调优
指南
jvm性能
调优
都做了什么?
写代码的珏秒秒
·
2024-02-08 05:32
Java
编程
程序员
jvm
java
算法
JVM Java虚拟机入门指南
JVMJVM的执行流程JVM的组成部分类加载运行时数据区本地方法接口执行引擎垃圾回收什么样的对象是垃圾呢内存溢出和内存泄漏定位垃圾的方法对象的finalization机制垃圾回收算法分代回收垃圾回收器JVM
调优
参数
屈家全
·
2024-02-08 05:01
Java笔记
jvm
openGauss学习笔记-214 openGauss 性能
调优
-确定性能
调优
范围
文章目录openGauss学习笔记-214openGauss性能
调优
-确定性能
调优
范围214.1性能因素214.2
调优
范围确定openGauss学习笔记-214openGauss性能
调优
-确定性能
调优
范围数据库性能
调优
通常发生在用户对业务的执行效率不满意
superman超哥
·
2024-02-08 05:53
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
开源软件
java性能
调优
权威指南_《Java性能权威指南》笔记----Java性能
调优
工具
OS1、CPU用户态时间(us):cpu执行应用代码所占时间的百分比。内核态时间(sy):cpu执行内核代码所占时间的百分比,系统态时间与应用相关。空闲时间(id):cpu空闲时间百分比。空闲可能的原因:1、应用被同步原语阻塞、等待锁释放2、应用等待某些东西,例如:查询数据库并等待返回结果3、应用的确无所事事运行队列(r):所有正在运行和就绪状态(一旦有可用cpu就可以运行)的线程数。该数据最好小
这样哈
·
2024-02-08 05:53
java性能调优权威指南
openGauss学习笔记-215 openGauss性能
调优
-确定性能
调优
范围-性能日志
文章目录openGauss学习笔记-215openGauss性能
调优
-确定性能
调优
范围-性能日志215.1性能日志概述215.2性能日志收集的配置参数openGauss学习笔记-215openGauss
superman超哥
·
2024-02-08 05:21
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
LoadRunner性能测试课程介绍
③集脚本编写、场景设计、监控、分析、
调优
于一体的性能课程。④以实战结合理论的模式,在实战中学习性能技巧。
一颗小金子
·
2024-02-08 01:59
几个MySQL系统
调优
工具
几个MySQL系统
调优
工具可以使用下面几个工具来做基准测试:sysbench:一个模块化,跨平台以及多线程的性能测试工具。
拾光师
·
2024-02-08 01:18
MySQL
程序人生
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
用docker 配置scala
spark
环境
要使用Docker配置Scala和
Spark
环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver
·
2024-02-08 01:14
python
数据挖掘
docker
docker
scala
spark
容器
Spark
Standalone 集群配置
集群管理类型
Spark
支持三种集群管理类型:Standalone-
Spark
附带的一个简单的集群管理器,可以轻松地设置集群。
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
梯度提升树系列3——利用GBDT进行回归分析
目录写在开头1.回归问题的基本概念1.1回归分析的定义和目的1.2GBDT在回归中的特点2房价预测模型案例研究2.1数据准备和预处理2.2模型构建和评估方法2.3具体代码3模型
调优
和评估3.1参数
调优
的详细策略
theskylife
·
2024-02-07 23:58
数据挖掘
回归
数据挖掘
人工智能
RDD vs DataFrame vs Dataset
RDD是
Spark
最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算,这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生
·
2024-02-07 22:20
JVM垃圾回收机制及JVM
调优
垃圾回收算法标记复制算法:将内存分为两块,将存活的对象标记,按顺序复制到另一块空的内存然后清除没被标记的内存。空间利用率小,内存空间连续。标记清除算法:将存活的对象标记,删除未被标记的对象(也可以反过来)。对象多的话,效率低,内存空间不连续。标记整理算法:将存活的对象标记,将标记的对象向一端移动,然后将端的末端位置之后的对象全部删除。垃圾收集器1、serial收集器:单线程收集器,收集过程中会ST
阿柄666
·
2024-02-07 20:03
JVM调优
垃圾回收
jvm
java
算法
JVM相关-JVM模型、垃圾回收、JVM
调优
一、JVM模型JVM内部体型划分JVM的内部体系结构分为三部分,分别是:类加载器(ClassLoader)子系统、运行时数据区(内存)和执行引擎1、类加载器概念每个JVM都有一个类加载器子系统(classloadersubsystem),JVM的类加载器包括:用户自定义类加载器、应用类加载器、拓展类加载器、启动类加载器启动类加载器(BootstrapClassLoader)非java语言实现作用:
热心邻居老王
·
2024-02-07 20:32
JavaSE
Java
jvm
java
JVM
调优
-
调优
原则与思路
一、实施过程中的原则在
调优
之前,我们需要记住下面的原则:1、在应用上线之前,先考虑将机器的JVM参数设置到最优(最适合)。2、多数导致GC问题的Java应用,都不是因为我们参数设置错误,而是代码问题。
SIMON QIU
·
2024-02-07 20:32
JAVA
JVM
java
jvm
相机图像质量研究(9)常见问题总结:光学结构对成像的影响--工厂镜头组装
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:30
ISP
计算机视觉
数码相机
人工智能
相机图像质量研究(5)常见问题总结:光学结构对成像的影响--景深
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
相机图像质量研究(7)常见问题总结:光学结构对成像的影响--镜片固化
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
相机图像质量研究(8)常见问题总结:光学结构对成像的影响--工厂调焦
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-07 20:00
ISP
计算机视觉
数码相机
人工智能
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他