E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark调优
Docker 实践之旅:项目迁移与高效部署
迁移关键服务5.2定制化打包与快速部署6项目实践收获6.1简化了部署流程6.2节约了部署成本7克服难点和经验分享7.1版本兼容性问题7.2网络配置与通信问题7.3Dockerfile编写难题7.4资源限制和性能
调优
cooldream2009
·
2024-01-02 19:10
一起学docker系列
docker
容器
dockerfile
Spark
内容分享(二十四):Apache
Spark
在爱奇艺的应用实践
目录Apache
Spark
在爱奇艺的现状
Spark
计算框架应用优化
Spark
SQL服务的落地与优化总结与展望Apache
Spark
在爱奇艺的现状Apache
Spark
是爱奇艺大数据平台主要使用的离线计算框架
之乎者也·
·
2024-01-02 18:56
Spark
内容分享
大数据(Hadoop)内容分享
spark
apache
大数据
【JVM】一文掌握JVM垃圾回收机制
JVM
调优
是一个听起来很可怕,实际上很简单的事。
Henry游戏开发
·
2024-01-02 18:48
Java
jvm
测试工具
JVM
调优
之探索CMS和G1的物理内存归还机制
前言:公司有一个资产统计系统,使用频率很低,但是要求在使用时查询速度快,因此想到做一些缓存放在内存中,在长时间没有使用,就持久化到磁盘中,并对垃圾进行回收,归还物理内存给操作系统,从而节省宝贵资源给其它业务系统。当我做好缓存时,却发现了一个棘手的问题,通过程序释放资源并通知GC回收资源后,堆内存的已用内存减少了,空闲内存增加了,可是进程占用系统内存却没有减少。查阅了很多资料,也尝试过很多次,都没有
熊峰的博客
·
2024-01-02 17:57
最新ChatGPT网站AI系统源码,附详细搭建教程/支持GPT4.0/AI绘画/GPT语言对话/DALL-E3文生图/自定义知识库
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-01-02 14:09
人工智能
软件源码
教程
人工智能
chatgpt
AI作画
语音识别
midjourney
gpt
每日一诗
流过乱石时水声喧腾,而流经松林时却没有声息与松林相映色
调优
美。水波荡漾,浮着菱角和荇菜,清澈的溪水侧映着芦苇。我的心一向闲静,就像这淡泊的溪水
迷路她
·
2024-01-02 13:42
跟着腾讯T4学架构:微服务+MySQL+Nginx+Redis+容器化+虚拟机
第1章走近Java第2章Java内存区域与内存溢出异常第3章垃圾收集器与内存分配策略第4章虚拟机性能监控与故障处理工具第5章
调优
案例分析与实战第6章类文件结构第7章虚拟机类加载机制第8章虚拟机字节码执行引擎第
写代码的珏秒秒
·
2024-01-02 13:33
架构
微服务
mysql
腾讯 CSIG 社招 2023 一年工作经验 Java转GO(一、二)面
(线程池优化,批处理优化、设计模式优化、性能测试、压力测试、GC优化)线程池怎么
调优
的?线程池如何分配线程?如果有50000数据需要批处理,你是怎么分配线程的?
鬼客
·
2024-01-02 13:56
面经
开发语言
java
go
show engine innodb status解读
它输出就是一个单独的字符串,没有行和列,内容分为很多小段,每一段对应innodb存储引擎不同部分的信息,其中有一些信息对于innodb开发者来说非常有用,但是,许多信息,如果你尝试去理解,并且应用到高性能innodb
调优
的时候
果冉多
·
2024-01-02 13:11
Spark
快速入门系列(三)深入理解RDD
这里写目录标题深入RDD案例再谈RDDRDD为什么会出现?RDD的特点什么叫做弹性分布式数据集总结:RDD的五大属性深入RDD目标深入理解RDD的内在逻辑,以及RDD的内部属性(RDD由什么组成)案例需求给定一个网站的访问记录,俗称Accesslog计算其中出现的独立IP,以及其访问的次数创建个数据文件access_log_sample.txt(数据量太大,存不到这里,先用100)行190.217
Alienware^
·
2024-01-02 13:23
#
Spark
大数据
spark
88、
Spark
Streaming之输入DStream之Kafka数据源实战(基于Direct的方式)
基于Direct的方式这种新的不基于Receiver的直接方式,是在
Spark
1.3中引入的,从而能够确保更加健壮的机制。
ZFH__ZJ
·
2024-01-02 13:25
Spark
内容分享(二十三):
Spark
on K8s 在茄子科技的实践
目录
Spark
与云原生1.传统大数据计算集群的缺陷2.公有云带来的优势3.如何充分利用公有云带来的优势?
之乎者也·
·
2024-01-02 11:30
Spark
内容分享
大数据(Hadoop)内容分享
spark
kubernetes
科技
Spark
内容分享(二十二):eBay最佳实践:
Spark
SQL优化之物化视图
MVOptimizer的实现验证部分重写部分物化视图应用场景及收益应用场景:物化视图重写普通视图应用场景:物化视图重定义表结构物化视图应用收益总结及后续计划背景Carmel是eBay内部基于Apache
Spark
之乎者也·
·
2024-01-02 11:00
Spark
内容分享
大数据(Hadoop)内容分享
spark
sql
大数据
Spark
内容分享(二十一):字节跳动
Spark
支持万卡模型推理实践
目录背景介绍字节跳动
Spark
规模
Spark
云原生方案及引擎增强Arcee介绍
Spark
onArcee
Spark
引擎优化周边生态融合万卡模型推理实践主要矛盾资源任务任务-资源匹配未来展望背景介绍随着云原生的发展
之乎者也·
·
2024-01-02 11:59
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
Spark
内容分享(二十):网易基于 Kyuubi +
Spark
内核优化以及实践
目录Apache
Spark
-AdaptiveQueryExecution/AQE1.AQE–History2.AQE–Shuffle3.AQE-SmallReducePartition4.AQE–SkewedReducePartition5
之乎者也·
·
2024-01-02 10:21
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
Spark
内容分享(十九):
Spark
调度系统
目录前言聚义厅的头三把交椅元老派空降派任务提交的代码调用貌合神离——戴格与塔斯克心有灵犀——塔斯克与拜肯德追随者众——拜老板的小弟们Postscript前言
Spark
是典型的主从型(M/S,Master
之乎者也·
·
2024-01-02 10:20
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
Spark
内容分享(十八):70个
Spark
面试题
1、Apache
Spark
有哪些常见的稳定版本,
Spark
1.6.0的数字分别代表什么意思?
之乎者也·
·
2024-01-02 10:50
Spark
内容分享
大数据(Hadoop)内容分享
Spark
大数据
Spark
- 动态注册UDF
昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki2
·
2024-01-02 09:10
大数据学习入门到实战教程,精心整理万字长文入门,老奶奶看了都说学会了
换个角度说,大数据是:1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具(hadoop、
spark
、storm、flink、tez
悦悦学Python
·
2024-01-02 08:59
Spark
中的数据加载与保存
Apache
Spark
是一个强大的分布式计算框架,用于处理大规模数据。在
Spark
中,数据加载与保存是数据处理流程的关键步骤之一。
晓之以理的喵~~
·
2024-01-02 07:15
Spark
spark
大数据
分布式
Spark
SQL中的聚合与窗口函数
Spark
SQL是Apache
Spark
的一个模块,用于处理结构化数据。在数据分析和处理中,聚合和窗口函数是非常重要的工具,它们可以对数据进行各种汇总、计算和分析。
晓之以理的喵~~
·
2024-01-02 07:15
Spark
spark
sql
大数据
【大数据面试知识点】
Spark
的DAGScheduler
Spark
数据本地化是在哪个阶段计算首选位置的?先看一下DAGScheduler的注释,可以看到DAGScheduler除了Stage和Task的划分外,还做了缓存的跟踪和首选运行位置的计算。
话数Science
·
2024-01-02 07:44
大数据
Spark
Spark精讲
spark
大数据
面试
Spark
SQL简介与基本用法
Apache
Spark
是一个强大的分布式计算框架,
Spark
SQL是其组件之一,用于处理结构化数据。
晓之以理的喵~~
·
2024-01-02 07:44
Spark
spark
sql
大数据
【大数据面试知识点】
Spark
中的累加器
Spark
累加器累加器用来把Executor端变量信息聚合到Driver端,在driver程序中定义的变量,在Executor端的每个task都会得到这个变量的一份新的副本,每个task更新这些副本的值后
话数Science
·
2024-01-02 07:44
面试
Spark
大数据
大数据
spark
面试
Spark
魔力:招聘网站数据深度分析系统
Spark
魔力:招聘网站数据深度分析系统简介数据集技术栈功能特点创新点简介在本文中,我们将介绍一款基于
Spark
的招聘网站数据分析系统,该系统使用爬取的前程无忧招聘数据。
OverlordDuke
·
2024-01-02 07:09
Spark
爬虫
数据可视化
spark
大数据
分布式
网络爬虫
Spark
中使用DataFrame进行数据转换和操作
Apache
Spark
是一个强大的分布式计算框架,其中DataFrame是一个核心概念,用于处理结构化数据。DataFrame提供了丰富的数据转换和操作功能,使数据处理变得更加容易和高效。
晓之以理的喵~~
·
2024-01-02 07:08
Spark
spark
大数据
分布式
最In干货大赏,SDCC 2017·深圳站完整版日程大放送
秉承干货实料的内容原则,邀请业内顶尖的架构师和数据技术专家,共话高可用/高并发/高性能的系统架构设计、分布式缓存服务、WebApp前端架构、消息引擎架构、弹性计算、大数据平台构建、优化提升大数据平台的各项性能、
Spark
仲培艺
·
2024-01-02 07:00
SDCC
深圳
日程
架构
大数据
最容易出错的 Hive Sql 详解
前言在进行数仓搭建和数据分析时最常用的就是sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括hive,
spark
,flink等,所以sql在大数据领域有着不可替代的作用
奔跑者-辉
·
2024-01-02 07:30
hive
hive
sql
大数据
Intellij之
Spark
Scala开发环境搭建
https://www.jianshu.com/p/200473f264bchttps://blog.csdn.net/a2011480169/article/details/52712421参考博客:1、http://wwwlouxuemingcom.blog.163.com/blog/static/20974782201321953144457/2、http://blog.csdn.net/s
数据萌新
·
2024-01-02 06:27
深入浅出内存管理:空间分配及逃逸分析
1.引言内存管理,是开发者在程序编写和
调优
的过程中不可绕开的话题,也是走向资深程序员必须要了解的计算机知识。
xin猿意码
·
2024-01-02 06:46
后端
计算机网络
用idea开发我们的
spark
项目
那么,你有必要花点时间,瞧一瞧这篇文章,正所谓,“工欲善其事,必先利其器”,它将指导你一步一步用idea开发出我们的
spark
程序,用maven编译打包我们的Scala(Scala与Java混合)代码。
NikolasNull
·
2024-01-02 00:46
Spark
项目实战-卡口流量统计
一、卡口介绍卡口摄像头正对车道安装,拍摄正面照片。功能:抓拍正面特征这种摄像头多安装在国道、省道、高速公路的路段上、或者城区和郊区交接的主要路口,用来抓拍超速、进出城区车辆等行为。它进行的是车辆正面抓拍,可以清晰地看到驾驶员及前台乘客的面容及行为。有一些则是专门摄像车的尾部,所以当车开过此类测速摄像头后不要马上提速,建议至少要跑出500米后再提速。这就是有人认为的没有超速为什么也照样被拍的原因。此
oifengo
·
2024-01-02 00:03
1024程序员节
Spark
SQL技巧-json数据操作
文章目录1、背景2from_json指定Schema3schema_of_json获取Schemapy
spark
案例1、背景有以下jason{"status":"0x0000","msg":"执⾏成功"
oifengo
·
2024-01-02 00:32
json
性能测试总结-Jmeter代码使用
时间计划,人力投入等3.测试数据准备,测试账号(预估并发量),设计测试脚本(参数化,表达式,断言,控制器)4.运行测试脚本,数据监听(响应时间,tps,活动线程),结果分析(判断性能瓶颈)5:基本性能瓶颈做
调优
落落521520
·
2024-01-01 23:54
性能优化
2023.12.31 Python 词频统计
练习:使用Python中的filter、map、reduce实现词频统计样例数据:helloworldjavapythonjavajavahadoop
spark
spark
python需求分析:1-文件中有如上的示例数据
白白的wj
·
2024-01-01 23:40
python
开发语言
学习
大数据
『互联网架构』软件架构-解密电商系统-秒杀消息队列异步下单(79)
原文链接地址:『互联网架构』软件架构-解密电商系统-秒杀消息队列异步下单(79)上几次主要说了高并发大流量项目所涉及到的技术点和技术方案,
调优
需要注意的一些参数,秒杀订单接口缓存的概念,通过redis的方式
IT人故事会
·
2024-01-01 22:38
Day 24-重启商业捕鲸,日本要“竭泽而渔”?
标题:JapantoleaveInternationalWhaleCommission,resumecommercialhuntresume重新开始,继续进行...
spark
ingswiftcondemnationfromothergovernmentsandconservationgroupscondemnation
ShirleyYi
·
2024-01-01 22:00
Spark
高并发写Redis方案
需求利用
Spark
分布式集群强悍能力,实现高QPS写入Redis能力,QPS在一定范围内支持线性扩展。注意解决RedisPool不能序列化问题。
Only you, only you!
·
2024-01-01 21:54
大数据基础知识
redis
spark
Docker容器中配置和启用Java Flight Recorder(JFR)
1.简介和背景在Java应用程序性能
调优
中,JavaFlightRecorder(JFR)是一个非常强大的工具。它能够实时收集Java应用程序的运行数据,提供有关性能问题的深入见解。
ivwdcwso
·
2024-01-01 16:42
运维
docker
java
python
Spark
大数据分析与实战笔记(第二章
Spark
基础-01)
文章目录第2章
Spark
基础章节概要2.1初识
Spark
2.1.1
Spark
概述2.1.2
Spark
的特点2.1.3
Spark
应用场景2.1.4
Spark
与Hadoop对比第2章
Spark
基础章节概要
Spark
想你依然心痛
·
2024-01-01 14:16
#
Spark大数据分析与实战
spark
详解大数据数据仓库分层架构
大数据数据仓库是基于HIVE构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/
Spark
等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过
Alukar
·
2024-01-01 14:47
大数据编程期末大作业
目录一、Hadoop基础操作二、RDD编程三、
Spark
SQL编程四、
Spark
Streaming编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作:1、在HDFS中创建目录/user
Francek Chen
·
2024-01-01 14:50
Spark编程基础
spark
大数据
分布式
Spark
内容分享(三):
Spark
- 介绍及使用 Scala、Java、Python 三种语言演示
目录一、
Spark
1.
Spark
的优点:2.
Spark
中的组件3.
Spark
和Hadoop对比4.
Spark
运行模式二、
Spark
WordCount演示1.Scala语言2.Java语言3.Python
之乎者也·
·
2024-01-01 13:19
Spark
内容分享
大数据(Hadoop)内容分享
spark
scala
java
Spark
内容分享(一):
Spark
入门指南:
Spark
是什么
目录
Spark
是什么
Spark
基本概念
Spark
执行流程
Spark
运行模式RDD详解CheckPoint在这个数据驱动的时代,信息的处理和分析变得越来越重要。
之乎者也·
·
2024-01-01 13:48
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
Spark
内容分享(二):
Spark
入门指南:基础概念
目录
Spark
-Submit
Spark
共享变量
Spark
SQL
Spark
StreamingStructuredStreaming总结
Spark
-Submit详细参数说明参数名参数说明—mastermaster
之乎者也·
·
2024-01-01 13:48
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
20200912 001_Flink-Flink简介
20200912001_Flink-Flink简介第一章Flink简介主要内容•Flink是什么•为什么要用Flink•流处理的发展和演变•Flink的主要特点•Flinkvs
Spark
Streaming1.1
强哥带你飞
·
2024-01-01 13:02
Flink
Flink
大数据
2022-03-03
Spark
读取csv 全为NULL
#读取数据talrat=
spark
.read.csv("/data/talrat0225.csv",header=True,enforceSchema=True,sep=',',encoding='gb18030
Sharon_0403
·
2024-01-01 13:45
Flink Job 执行流程
FlinkOnYarn模式基于Yarn层面的架构类似
Spark
onYarn模式,都是由Client提交App到RM上面去运行,然后RM分配第一个container去运行AM,然后由AM去负责资源的监督和管理
程序猿进阶
·
2024-01-01 12:24
Flink
flink
大数据
java
面试
后端
性能优化
spark
(六)
Spark
SQL读写本地外部数据源
https://
spark
-packages.org/里有很多third-party数据源的package,
spark
把包加载进来就可以使用了csv格式在
spark
2.0版本之后是内置的,2.0之前属于第三方数据源一
白面葫芦娃92
·
2024-01-01 11:58
Spark
各组件功能简单理解(quick start)
各个组件conf/
spark
-env.sh配置
spark
的环境变量conf/
spark
-default.conf配置
spark
应用默认的配置项和
spark
-env.sh有重合之处,可在提交应用时指定要用的配置文件
祗談風月
·
2024-01-01 10:48
上一页
37
38
39
40
41
42
43
44
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他