Spark调优

Aloudata 余俊：数据虚拟化技术如何实现敏捷高效的逻辑数据集成与链路编排

当提到数据仓库时，许多从事数据工作的人可能会想到ETL（抽取、转换、加载）和一些技术工具，如Hive、Hadoop和Spark。
Aloudata·2023-12-19 11:43

RDD编程

持久化（四）分区（五）一个综合实例二、键值对RDD（一）键值对RDD的创建（二）常用键值对转换操作（三）一个综合实例三、数据读写（一）文件数据读写（二）读写HBase数据一、RDD编程基础（一）RDD创建Spark
Francek Chen·2023-12-19 10:19

Spark编程实验二：RDD编程初级实践

目录一、目的与要求二、实验内容三、实验步骤1、pyspark交互式编程2、编写独立应用程序实现数据去重3、编写独立应用程序实现求平均值问题4、三个综合实例四、结果分析与实验体会一、目的与要求1、熟悉Spark
Francek Chen·2023-12-19 10:18

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

UbuntuVirtualMachineImagesforVirtualBoxandVMwarehttps://www.osboxes.org/ubuntu/将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark
Stitch .·2023-12-19 10:46

Spark安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-19 10:16

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首·2023-12-19 10:04

Spark简介

1.Spark基本概念Spark是一种基于内存计算的大数据并行计算框架，最早是由加州大学伯克利分校开发，现已经成为Apche顶级开源项目，其作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层
Mrsimple_4f84·2023-12-19 09:18

最新AI创作系统ChatGPT系统源码+DALL-E3文生图+支持AI绘画+GPT语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
只恨天高·2023-12-19 09:54

SpringBoot+内置Tomcat配置，参数调优，最大并发量，最大连接数

遇见一篇个人觉得讲tomcat参数配置讲得很好的文章，转载保留以备后面使用SpringBoot开发最大的好处是简化配置，内置了Tomcat,在SpringBoot2.0.x版本中内置Tomcat版本是8.5.x，SpringBoot内置Tomcat的默认设置中，Tomcat的等待队列长度默认是100，Tomcat的最小工作线程数默认分配10，Tomcat的最大线程数是200，最大连接数是10000
milo.qu·2023-12-19 08:20

Nginx性能调优

1.为什么是nginx而不是apache?2.nginx是如何做到高性能和高可扩展的？--with-http_stub_status_modele用于输出nginx基本状态信息模块--with-openssl=/usr/local/openssl-1.0.2I指定openssl--with-gzip_static_modulengx_http_gzip_static_module允许发送以“.gz
milo.qu·2023-12-19 08:19

JVM调优:参数（学习笔记）

一、jvm的运行参数标准参数-help、-version、-D参数jvm的标准参数，一般都是很稳定的，在未来的JVM版本中不会改变，可以使用java-help检索出所有的标准参数。通过以下命令查看：命令：java-help可以看到我们经常会用到的-sever，-version等参数。实战1：查看JVM版本命令：java-versionjvm版本是1.8.0_202，而且是64位，server，混合
milo.qu·2023-12-19 08:45

数据可视化---双Y轴折线图比较

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-19 07:46

Mysql高可用｜索引｜事务 | 调优

前言「作者主页」：雪碧有白泡泡「个人网站」：雪碧的个人网站文章目录前言sql语句的执行顺序关键词连接名字解释sql语句面试坑点存储引擎MYSQL存储引擎SQL优化索引索引失效索引的数据结构面试坑点锁事务四大特性事务的隔离级别MVCC读写分离面试坑点书籍推荐sql语句的执行顺序我们在拿到sql片段的时候，我们去处理sql语句，见到众多的关键字时我们该如何去处理呢？FROM：首先识别并检索FROM子句
雪碧有白泡泡·2023-12-19 06:24

Spark求TopN值、二次排序、三次排序实现

《Spark技术应用》期末考试大作业说明：1)个性化即在主机名、文件、程序、数据、和表结构等元素上添加自己姓名拼音缩写。2)提交时间：xxx3)评分规则：a)超期提交或者不交者按缺考算，来年重修。
floret. 小花·2023-12-19 06:29

2023_Spark_实验二十六：编写Shell模拟生成点击实时数据

引言：流式数据处理主要处理实时数据，由于实验教学过程中，每个同学无法拿到实时数据，因此我们开发shell脚本模拟实时数据生成，支持后续实验。实验目的：通过开发模拟实时点击流shell脚本，模拟实时点击流数据生成，支持后续实验实验方法：通过shell开发脚本运行，实时打印输出数据到控制台，模拟实时数据产生。实验步骤：1、选择集群中的一台虚拟机，最好和flume/kafka等在同一台，在该虚拟机的合适
pblh123·2023-12-19 05:29

2023_Spark_实验二十七：Linux中Crontab（定时任务）命令详解及使用教程

Crontab介绍：Linuxcrontab是用来crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语chronos(χρ?νο?)，原意是时间。通常，crontab储存的指令被守护进程激活，crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类
pblh123·2023-12-19 05:29

2023_Spark_实验二十八：Flume部署及配置

实验目的：熟悉掌握Flume部署及配置实验方法：通过在集群中部署Flume，掌握Flume配置实验步骤：一、Flume简介Flume是一种分布式的、可靠的和可用的服务，用于有效地收集、聚合和移动大量日志数据。它有一个简单灵活的基于流数据流的体系结构。它具有健壮性和容错性，具有可调可靠性机制和多种故障转移和恢复机制。它使用了一个简单的可扩展数据模型，允许在线分析应用程序。其体系结构如下：二、Flum
pblh123·2023-12-19 05:54

2023_Spark_实验二十九：Flume配置KafkaSink

实验目的：掌握Flume采集数据发送到Kafka的方法实验方法：通过配置Flume的KafkaSink采集数据到Kafka中实验步骤：一、明确日志采集方式一般Flume采集日志source有两种方式：1.Exec类型的Source可以将命令产生的输出作为源，如：a1.sources.r1.type=execa1.sources.r1.command=ping10.3.1.227//此处输入命令2.
pblh123·2023-12-19 05:54

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种开源的大数据处理引擎，它通过内存计算提高了数据处理的速度，具有高可扩展性、容错性和灵活性等特点。
Uingll·2023-12-19 04:13

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2023-12-19 04:53

tomcat漏扫修复及调优

环境Centos78Gtomcat7nessus漏扫修复12085-ApacheTomcatServlet/JSPContainerDefaultFiles删除tomcat/webapps/下example、doc、manager，（ROOT保留，内部只留下自定义的404页面）35291-SSLCertificateSignedUsingWeakHashingAlgorithm42873-SSLM
yangc91·2023-12-19 02:29

Flink系列之：大状态与 Checkpoint 调优

Flink系列之：大状态与Checkpoint调优一、概述二、监控状态和Checkpoints三、Checkpoint调优四、RocksDB调优五、增量Checkpoint六、RocksDB或JVM堆中的计时器七
最笨的羊羊·2023-12-18 23:27

mysql 进阶（一）：整体逻辑架构

1.3.1隔离级别和实现原理1.3.2隔离级别实操1.1Mysql逻辑架构  我们在学习任何知识的时候，脑子里面一定要有自己的脑图，能够构建出Mysql的工作的流程图，这不仅能够加深我们的记忆而且也有助于我们调优
Go 的学习之路·2023-12-18 23:46

python里的TypeError: unhashable type: ‘list‘解决方法

今天在写spark一个实验时，我在用map自定义key和value后，想通过相同的key实现分组，结果碰到了以下问题：我们平时map自定义key，value时会取一个值，这种情况下继续操作没有问题但是当我们的数据取两列作为
lambda33·2023-12-18 23:14

数据仓库架构-Lambda和Kappa

架构组成特点经典数仓架构关系型数据库（mysql、oracle）为主数据量小，实时性要求低离线大数据架构hive，spark为主数据量大，实时性要求低Lambdahive，spark负责存量，st
产品经理自我修养·2023-12-18 22:04

【性能优化】一、使用JMeter进行压力测试并进行简单调优

压力测试压力测试不同于功能测试，其目的是为了测试出系统在高并发，高数据量的情况下可能会出现的问题（内存泄露、并发、同步）一种典型的内存泄漏就是对象在创建之后由很多用户进行调用，导致对象被不断新建但复用率很低，导致内存不足（内存泄露的典型问题）有效的压力测试应用的关键条件：重复、并发、量级、随机变化性能指标响应时间：客户端从发起一个请求开始，到接收到服务器的响应为止，整个过程所耗费的时间TPS：系统
清河__·2023-12-18 21:01

实战——Linux调优命令2

系统查看操作系统发行版本不同的Linux发行版（例如CentOS与Debain)、以及不同版本（例如CentOS6.x与CentOS7.x）查看版本的方式不同，下面这几个命令总有一款能适用你的环境方法1：通过/etc目录下的文件查看/etc/os-realease/etc/system-realease/etc/redhat-release/etc/centos-realease/etc/issu
程序猿在京·2023-12-18 20:03

Java即时编译（JIT）原理与调优

导读编译器就是将“一种语言（通常为高级语言）”翻译为“另一种语言（通常为低级语言）”的程序,例如C++,Golang等常见的编译型语言，都是在程序运行前将代码生成为机器码，然后运行在目标机器上，不过编译的时候要针对目标机器的CPU分别进行编译。Java具有跨平台性“一次编译，到处运行”的能力，它把编译的过程进行拆解，先把.java文件编译成JVM可识别的.Class字节码，然后再由解释器逐条将字节
柠檬汁Code·2023-12-18 20:51

大话Java性能优化-PDF下载-firebook-书火网

给入门Java的小白推荐一本书《大话Java性能优化》从程序员的日常编码习惯，架构设计，再到虚拟机性能调优都进行了细致的讲解，对于刚入门Java的新手是一个非常好的工作规范fire100.top/detail
书火网_firebook·2023-12-18 19:38

JVM调优

JDK&JVMclass文件格式BinEd-binary/herxadecimaleditor展示文件的格式工具将class文件中内容展示成可读的javap-vclass文件名性能监控工具Jconosle远程连接使用jconsole远程连接java项目的时候,需要在项目启动的时候配置需要加上最基本的三个参数,打开防火墙,使用jconsole远程连接对远传给你服务器性能有影响,但影响并不大:java
风下森林·2023-12-18 17:17

面试官：JVM三种核心内容有？并从实战角度解析！

答：类加载机制+JVM调优实战+代码优化JVM知识图谱：JVM.jpg02类加载机制Java源代码经过编译器编译成字节码之后，最终都需要加载到虚拟机之后才能运行。
W998·2023-12-18 16:20

部门新来了一位前华为18A大佬，他嘲笑我竟不会Java程序性能优化

《Java程序性能优化：让你的Java程序更快、更稳定》以Java性能调优为主线，系统地阐述了与Java性能优化相关的知识与技巧。《Java程序性能优化：让你的Java程序更快、更稳定
小迁不秃头·2023-12-18 15:02

记一次jar冲突的问题

问题业务中需要在spark中链接redis作为服务缓存，spark程序中引入redis的jar包后上传spark集群运行是报java.lang.NoSuchMethodError:com.xxx.common.pool.ConnectionPool.startAsync
weixin_45626756·2023-12-18 14:42

基于hadoop下的spark安装

目录简介安装准备spark安装配置文件配置简介Spark主要⽤于⼤数据的并⾏计算，⽽Hadoop在企业主要⽤于⼤数据的存储（⽐如HDFS、Hive和HBase等），以及资源调度（Yarn）。
necessary653·2023-12-18 14:43

spark介绍及简单使用

简介Spark是由加州大学伯克利分校AMPLab（AMP实验室）开发的开源大数据处理框架。起初，HadoopMapReduce是大数据处理的主流框架，但其存在一些限制，如不适合迭代算法、高延迟等。
necessary653·2023-12-18 13:08

玩转字词句魔法：打造超强样本集的数据增强策略，句式变换揭秘同义句生成与回译在数据增强中的创新应用

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-18 11:40

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。
丨程序之道丨·2023-12-18 11:30

面试题---机器学习算法

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:05

机器学习算法---分类

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:05

Linux服务器配置免密SSH

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:35

CentOS服务器搭建Miniconda环境

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:34

面试题---推荐系统

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 11:04

Spark中广播变量和累加器

一、前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。累机器相当于统筹大变量，常用于计数，统计。
printf200·2023-12-18 10:06

过来人建议：LoadRunner新手速来了解

从而对IT系统的性能进行测试和调优引起企业的重视，进而性能测试工程师成为IT市场的”香悖悖”，并且性能测试有
测试帮日记·2023-12-18 10:58

机器学习算法---时间序列

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 08:23

机器学习算法---聚类

异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据PySpark
数据科学知识库·2023-12-18 08:23

pyspark Exception: Java gateway process exited before sending its port number（2021年10月29日版）

前奏为了实现一个spark的客户端访问服务端的python访问，折腾了好几天，现在终于解决了，查了网上的很多人写的文章，都没解决，跟着他们说的改，也没解决问题。
明天,今天,此时·2023-12-18 07:05

【Spark面试】Spark面试题&答案

目录1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）2、Spark为什么比MapReduce块？（☆☆☆☆☆）3、简单说一下hadoop和spark的shuffle相同和差异？
话数Science·2023-12-18 06:52

沈小平|中欧高等护理专业联合调优研究的探索与实践

图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自
杨颖的笔记·2023-12-18 04:36

2019-01-04

那次君行遇见，事作十年，十年迷茫，更多的是问解君，他是低调优雅的人家，少了太多的胆识，惊风雨，怕浪花，却又期盼浪花，颇具叶公情怀。谁能陪谁，谁敢陪谁，且看谁谁谁了。
深有嘉鱼·2023-12-18 03:32
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他