E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark调优
spark
从入门到放弃二十八:
Spark
Sql (1)Data Set
文章地址:http://www.haha174.top/article/details/257834项目源码:https://github.com/haha174/
spark
.git1.简介
Spark
Sql
意浅离殇
·
2024-02-09 03:17
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
UWA
·
2024-02-09 03:24
厚积薄发
Unity优化
阴影
unity
spark
原理总体介绍
拿到系统后,部署系统是第一件事,那么系统部署成功以后,各个节点都启动了哪些服务?部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程,负责管理全部的Worker节点。Worker节点上常驻Worker守护进程,负责与Master节点通信并管理executors。Driv
tracy_668
·
2024-02-09 03:48
java线程池源码解析
线程池可以对线程进行统一分配,
调优
和监控。
ajajaj
·
2024-02-09 03:37
openGauss学习笔记-216 openGauss性能
调优
-确定性能
调优
范围-硬件瓶颈点分析-CPU
文章目录openGauss学习笔记-216openGauss性能
调优
-确定性能
调优
范围-硬件瓶颈点分析-CPU216.1CPU216.2查看CPU状况216.3性能参数分析openGauss学习笔记-216openGauss
superman超哥
·
2024-02-09 00:21
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
PDF如何页面插入
操作软件:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor1.运行旋风PDF编辑器,打开你想要编辑的文件。
六号_db7a
·
2024-02-09 00:18
DM数据库全面
调优
指南之Linux操作系统
:Linux(Unix)下DM8的安装与卸载(一)_羽书飞影的博客-CSDN博客上一篇文章提及DM8数据库安装前操作系统层面基础调整,这篇文章详细讨论一下DM数据库在Linux操作系统平台部署如何全面
调优
羽书飞影
·
2024-02-08 23:48
达梦数据库
数据库
linux
database
Flink状态编程
Spark
Streaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问,增大处理时间状态一致性问题,可能会造成数据的不一致
万事万物
·
2024-02-08 22:41
Oracle 面试题 | 18.精选Oracle高频面试题
Oracle中的优化和索引
调优
技巧有哪些?请解
ai_todo
·
2024-02-08 19:54
Oracle
oracle
数据库
eclipse
java
Hadoop深度运维:Apache集群原地升级Ambari-HDP
作者介绍冯武,目前在瓜子从事大数据集群运维管理,主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护
调优
工作。
Summer_1981
·
2024-02-08 18:42
我的生活因你而改变—浅析经典老电影《卡萨布兰卡》
文/秦文编辑/席婕寒笔者无意当中听到曲
调优
美,感情真挚的《卡萨布兰卡》这首歌时,心里泛起无限的伤感和追忆。尽管这首歌不是电影《卡萨布兰卡》的主题曲,但还是让笔者重温了这部经典电影。
知名作家编剧王梅
·
2024-02-08 18:51
7.0 MapReduce编程实例教程
MapReduce主要是依靠开发者通过
Spark
来实现功能的,开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程,我们将手工编写一个字数统计程序。
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
【C#学习路线——超详细介绍】
C#学习路线——超详细介绍1.介绍2.C#基础3.进阶技术4..NET框架核心5.前端和桌面应用开发6.Web后端开发7.游戏开发8.软件开发实践9.性能
调优
和最佳实践10.实战经验11.持续学习1.介绍
程序员不想敲代码啊
·
2024-02-08 16:57
C#
c#
学习
solr
Spark
经典案例之非结构数据处理
需求:根据tomcat日志计算url访问了情况,具体的url如下,要求:区别统计GET和POSTURL访问量结果为:访问方式、URL、访问量测试数据集:在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03
张明洋_4b13
·
2024-02-08 15:57
深入理解
Spark
的前世今生
文章来源:https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一:大数据的概述1.1
Spark
是什么?
闲云野鹤~~~
·
2024-02-08 14:01
Spark
【
Spark
重点难点】你以为的Shuffle和真正的Shuffle
我们的【
Spark
重点难点】系列继续更新。以往的系列:我们在学习
Spark
的时候,到底在学习什么?
王知无(import_bigdata)
·
2024-02-08 14:00
大数据
spark
java
python
数据库
深入理解
Spark
BlockManager:定义、原理与实践
深入理解
Spark
BlockManager:定义、原理与实践1.定义
Spark
是一个开源的大数据处理框架,其主要特点是高性能、易用性以及可扩展性。
涤生大数据
·
2024-02-08 14:57
spark
大数据
分布式
spark
spark
.shuffle.service.enabled
操作场景
Spark
系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。
不搬砖的程序员不是好程序员
·
2024-02-08 13:59
spark
spark
spark
好的文章链接
https://blog.51cto.com/u_16099325/6763760`java
spark
官方文档
spark
javaapi手册http://www.17bigdata.com/book/
spark
Trank-Lw
·
2024-02-08 13:18
spark
大数据
分布式
oracle优化常用经典参考
分类:Oracle2-
调优
步骤:1设计
调优
2应用
调优
程序员代码3内存4连接5操作系统2-已有产品的
调优
1定位问题2查看操作系统和oracle统计3考虑通用系统错误4假定问题5通过参数修改去
调优
3
调优
方法
温大洲
·
2024-02-08 12:43
Oracle优化常用经典参考
2-
调优
步骤:1设计
调优
2应用
调优
程序员代码3内存4连接5操作系统2-已有产品的
调优
1定位问题2查看操作系统和oracle统计3考虑通用系统错误4假定问题5通过参数修改去
调优
3
调优
方法1检查日志和tracefile2
wang_yq123
·
2024-02-08 12:42
Oracle
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2
Spark
SQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark
:基于莱文斯坦(Levenshtein)距离计算字符串相似度
以下程序代码基于
spark
,使用scala语言,测试时间:2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest
·
2024-02-08 11:25
大数据
算法
编程语言/Scala
大数据/spark
Levenshtein
字符串相似
莱文斯坦距离
spark
scala
MML
Spark
+
Spark
:py
spark
+lightGBM应用实践
MML
Spark
,即MicrosoftMachineLearningforApache
Spark
,是微软开源的一个针对Apache
Spark
的深度学习和数据可视化的库。
bensonrachel
·
2024-02-08 10:38
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
Flink大状态和Checkpoint
调优
文章迁移,待整理2.状态和Checkpoint
调优
2.1大状态
调优
我们生产大多数会使用fsState,memState程序挂了状态就丢了,应该没人会在生产使用,但是涉及到一些大状态,fsState效率很低
orange大数据技术探索者
·
2024-02-08 09:18
#
flink迁移
flink
大数据
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
相机图像质量研究(10)常见问题总结:光学结构对成像的影响--光圈
系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台
调优
介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结:光学结构对成像的影响--焦距相机图像质量研究
上天肖
·
2024-02-08 09:36
ISP
计算机视觉
数码相机
人工智能
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
hadoop
调优
-hdfs配置优化
配置文件hdfs-site.xml生产环境建议优化:dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue其它优化:dfs.hosts/export/hadoop/etc/hadoop/allowed_hostsdfs.hosts.exclude/export/hado
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
next项目页面性能
调优
next项目页面性能
调优
一般来说性能优化可以分为加载时、运行时两部分的优化。
sasaraku.
·
2024-02-08 07:22
前端
js
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
FlinkSql通用
调优
策略
历史文章迁移,稍后整理使用DataGenerator提前进行压测,了解数据的处理瓶颈、性能测试和消费能力开启minibatch:"table.exec.mini-batch.enabled","true"开启Local+Global两阶段聚合:"table.exec.mini-batch.enabled","true"解决数据倾斜问题:流式倾斜,开启minibatch窗口类有界操作,传统的两阶段聚
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
flink调优
实时调优
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
性能测试瓶颈分析与系统
调优
(4)jmetrer+influxdb+grafana性能测试
3.3性能测试领域概念细分基准测试:理论推断负载测试:实际性能数据(小规模)基准测试和负载测试目的:探索程序的负载能力压力测试:取负载测试结果中最高的负载能力-压取超过预期负载的测试没看程序的性能反应耐久性测试(疲劳测试)测试时长,取决于业务场景尖峰测试:模拟突然出现的高并发负载压力,耐久,尖峰测试目的,是为了探索程序在负载情况下的反应3.4jmeter性能测试技巧csv文件驱动:jmeter读取
当代键仙
·
2024-02-08 05:14
grafana
java
压力测试
jmeter
GitHub获120k+star的阿里内网“疯传”葵花宝典JVM虚拟机
调优
指南
jvm性能
调优
都做了什么?
写代码的珏秒秒
·
2024-02-08 05:32
Java
编程
程序员
jvm
java
算法
JVM Java虚拟机入门指南
JVMJVM的执行流程JVM的组成部分类加载运行时数据区本地方法接口执行引擎垃圾回收什么样的对象是垃圾呢内存溢出和内存泄漏定位垃圾的方法对象的finalization机制垃圾回收算法分代回收垃圾回收器JVM
调优
参数
屈家全
·
2024-02-08 05:01
Java笔记
jvm
openGauss学习笔记-214 openGauss 性能
调优
-确定性能
调优
范围
文章目录openGauss学习笔记-214openGauss性能
调优
-确定性能
调优
范围214.1性能因素214.2
调优
范围确定openGauss学习笔记-214openGauss性能
调优
-确定性能
调优
范围数据库性能
调优
通常发生在用户对业务的执行效率不满意
superman超哥
·
2024-02-08 05:53
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
开源软件
java性能
调优
权威指南_《Java性能权威指南》笔记----Java性能
调优
工具
OS1、CPU用户态时间(us):cpu执行应用代码所占时间的百分比。内核态时间(sy):cpu执行内核代码所占时间的百分比,系统态时间与应用相关。空闲时间(id):cpu空闲时间百分比。空闲可能的原因:1、应用被同步原语阻塞、等待锁释放2、应用等待某些东西,例如:查询数据库并等待返回结果3、应用的确无所事事运行队列(r):所有正在运行和就绪状态(一旦有可用cpu就可以运行)的线程数。该数据最好小
这样哈
·
2024-02-08 05:53
java性能调优权威指南
openGauss学习笔记-215 openGauss性能
调优
-确定性能
调优
范围-性能日志
文章目录openGauss学习笔记-215openGauss性能
调优
-确定性能
调优
范围-性能日志215.1性能日志概述215.2性能日志收集的配置参数openGauss学习笔记-215openGauss
superman超哥
·
2024-02-08 05:21
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
LoadRunner性能测试课程介绍
③集脚本编写、场景设计、监控、分析、
调优
于一体的性能课程。④以实战结合理论的模式,在实战中学习性能技巧。
一颗小金子
·
2024-02-08 01:59
几个MySQL系统
调优
工具
几个MySQL系统
调优
工具可以使用下面几个工具来做基准测试:sysbench:一个模块化,跨平台以及多线程的性能测试工具。
拾光师
·
2024-02-08 01:18
MySQL
程序人生
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他