spark调优

计算机毕业设计Python+Spark知识图谱微博舆情预警系统 微博舆情分析 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 大数据毕业设计 机器学习

开发框架前端：vue.jselement-ui后端：springbootmybatis中间件：sparkhadoophiveflink数据库：mysql关系型数据库neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大神·2023-12-15 12:19

Oracle开发和应用——基本SQL语句2（SELECT）

6.3.4.select语句select语句，可以说是关系库中最主要、最常用、最复杂的SQL语句，SQL调优也主要集中于select相关语句。
lhdz_bj·2023-12-15 12:20

SQL Server查询计划（Query Plan）——图形查询计划

6.4.查询计划与Oracle等其他关系库类似，SQLServer中，查询计划是进行SQL调优的基础，没有拿到SQL语句的查询计划之前，任何人都没办法对其性能方面进行准确的分析和判断，也没办法对相关性能问题进行精准的定位
lhdz_bj·2023-12-15 12:20

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala、spark
偏振万花筒·2023-12-15 12:39

浅谈ClickHouse性能监控与调优

ClickHouse性能监控与调优ClickHouse是一个高性能的列式数据库管理系统，适用于实时分析和大数据处理。
~奔跑的简默~·2023-12-15 12:58

JVM-GC调优-字节码篇-01

笔记来源：JVM注意：实在想学习可以看一下，让自己更加了解JVM，看起来可能会枯燥。JVM-概述1、你的问题1.1你被JVM伤害过吗？你是否也遇到过这些问题？运行着的线上系统突然卡死，系统无法访问，甚至直接OOM！想解决线上JVMGC问题，但却无从下手。新项目上线，对各种JVM参数设置一脸茫然，直接默认吧，然后就JJ了每次面试之前都要重新背一遍JVM的一些原理概念性的东西，然而面试官却经常问你在实
渣渣龙_拽得很·2023-12-15 11:40

SQL进阶理论篇（一）：数据库的调优

文章目录简介数据库调优的目标可供选择的维度参考文献简介本节主要分为以下三方面内容：数据库调优的目标是什么？如果要进行调优，都有哪些维度可以选择？如何思考和分析数据库调优?
经年藏殊·2023-12-15 09:32

高效压缩位图RoaringBitmap的原理与应用

目录位图法简述RoaringBitmap的思路Container原理ArrayContainerBitmapContainerRunContainer时空分析Container的创建与转换RBM的应用LuceneSparkGreenplumRedisTheEnd
zxfBdd·2023-12-15 08:23

RoaringBitMap在ClickHouse和Spark之间的实践-解决数据仓库预计算多维分析问题

前面在Spark多维分析去重计数场景优化案例中说了一下Spark计算在多维分析场景中的弊端，多维度分析会导致数据量指数级膨胀，搭配上去重计算字段越多，膨胀倍数也是线性增长，通过BitMap这个案例也更加让我们明白了
小满锅lock·2023-12-15 08:23

SparkSQL & ClickHouse RoaringBitmap64格式支持

ClickHouse新版使用roaring64map(https://github.com/RoaringBitmap/CRoaring/blob/af9fafb72edcfb88f7adc781eaea4e7e95f68d01/cpp/roaring64map.hh)来支持64位Int计算，采用了和之前不同的序列化和反序列化方式(https://github.com/ClickHouse/Cli
fz1989·2023-12-15 08:47

Tomcat部署与调优

目录前瞻什么是tomcat？什么是servlet？什么是JSP?Tomcat功能组件结构Container结构分析Tomcat请求过程Tomcat服务部署1.关闭防火墙，将安装Tomcat所需软件包传到/opt目录下2.安装JDK3.设置JDK环境变量4.安装启动Tomcat5.添加到systemd服务中6.检测是否成功开启tomcat7.优化tomcat启动速度Tomcat虚拟主机配置实验场景实
GnaW1nT·2023-12-15 08:00

（Linux内核源码分析）Linux 内核无线子系统

Linux内核源码分析（内存调优/文件系统/进程管理/设备驱动/网络协议栈）1.全局概览在开始探索Linux无线具体细节之前，让我们先来把握一下Linux无线子系统整体结构。
攻城狮百里·2023-12-15 08:59

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 07:31

【Spark精讲】Spark存储原理

目录类比HDFS的存储架构Spark的存储架构存储级别RDD的持久化机制RDD缓存的过程Block淘汰和落盘类比HDFS的存储架构  HDFS集群有两类节点以管理节点-工作节点模式运行，即一个NameNode
话数Science·2023-12-15 07:29

【Spark精讲】RDD特性之数据本地化

目录首选运行位置数据的本地化级别谁来负责数据本地化数据本地化执行流程调优代码中的设置方法首选运行位置上图红框为RDD的特性五：每个RDD的每个分区都有一组首选运行位置，用于标识RDD的这个分区数据最好能够在哪台主机上运行
话数Science·2023-12-15 07:58

【Spark精讲】Spark任务运行流程

目录Spark任务执行流程编辑Client模式Cluster模式Yarn任务运行流程YARN-CLIENT模式YARN-CLUSTER模式编辑故障排查YARN-CLIENT模式导致的网卡流量激增问题YARN-CLUSTER
话数Science·2023-12-15 07:58

【Spark精讲】Spark作业执行原理

目录基本流程主要组件Driver端Executor端Job提交执行流程Task提交Task执行基本流程用户编写的Spark应用程序最开始都要初始化SparkContext。
话数Science·2023-12-15 07:58

【硬刚大数据】我们在学习Spark的时候，到底在学习什么？

很多小伙伴在群里或者私信留言问我关于Spark的学习路径问题。Spark发展至今，应该说已经
王知无(import_bigdata)·2023-12-15 07:27

Spark安装

本文搭建环境为：Mac+ParallelDesktop+CentOS7+JDK7+Hadoop2.6+Scala2.10.4+IDEA14.0.5——————————————————————————————————————————————————一、CentOS安装■安装完成后记得保存快照。■环境准备CentOS7下载：http://mirrors.163.com/centos/7/isos/x8
weixin_30755393·2023-12-15 07:27

新手入门：Spark 部署实战入门

Spark简介整体认识ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。
weixin_34256074·2023-12-15 07:27

Spark Paimon 中为什么我指定的分区没有下推

目前使用的版本信息如下:Spark3.5.0Paimon0.6.0paimon的建表语句如下：CREATETABLE`table_demo`(`user_id`stringCOMMENT'fromdeserializer
鸿乃江边鸟·2023-12-15 07:51

关于新手入门：Spark 部署实战入门

Spark简介整体认识ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。
IT资讯科技·2023-12-15 07:18

Spark on Yarn 安装配置实验（3.1.1）

子任务二：SparkonYarn安装配置本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：1、从宿主机/opt目录下将文件spark-3.1.1-bin-hadoop3.2
芝士小熊饼干·2023-12-15 07:44

【Spark精讲】Spark Shuffle详解

目录Shuffle概述Shuffle执行流程总体流程中间文件ShuffledRDD生成Stage划分Task划分Map端写入(ShuffleWrite)Reduce端读取(ShuffleRead)SparkShuffle
话数Science·2023-12-15 07:14

Spark 单机搭建实战指南

摘要：本文将详细介绍如何在单台机器上搭建Spark分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手Spark开发。
wcuuchina·2023-12-15 07:13

AI训练师常用的ChatGPT通用提示词模板

模型调优：如何优化模型的性能？模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-15 06:49

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 06:42

每日一读 11.27

spark2：SparkSession思考与总结1http:/
Vicor·2023-12-15 06:12

分布式解决方案与实战

分布式多线程性能调优使用多线程优化接口//下单业务publicObjectorder(longuserId){longstart=System.currentTimeMillis();//方法的开始时间戳
渔阳节度使·2023-12-15 06:07

Scala教程

1.1.4Scala语言特点1.2Scala环境搭建1.3IDEA中Scala插件安装1.4HelloWorld案例1.4.1创建IDEA项目工程第一章Scala入门1.1概述1.1.1为什么学习ScalaSpark
Tanzhiyong97·2023-12-15 05:34

探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展

；边缘计算；大模型显存占用；5G;深度学习；A100；H100；A800；H800；L40s；Intel；英伟达；算力近年来，AIGC的技术取得了长足的进步，其中最为重要的技术之一是基于源代码的CPU调优
高性能服务器·2023-12-15 04:30

Hive增强的聚合、多维数据集、分组和汇总

大家注意防寒保暖进入正题，本文主要对照Hive介绍Hive、Spark、Presto查询
对许·2023-12-15 04:17

2023五岳杯量子计算挑战赛数学建模思路+代码+模型+论文

目录计算力网络（CPN）是一种新型的信息基础设施，完整论文代码见文末问题描述2.1问题12.2问题22.3问题3问题1的解答过程：问题3的解答过程：决策优化应用场景：人工智能模型超参数调优背景信息：研究方法
C灿灿数模·2023-12-15 03:52

Spark读写Hive

Spark读写Hive文章目录Spark读写Hive（一）配置本地域名映射（二）创建Hive表（三）IDEA中编写Spark代码读取Hive数据（四）IDEA中编写Spark代码写入数据到Hive（一）
叶子上的考拉·2023-12-15 02:25

PyTorch 模型训练性能大揭秘：从基础到高级技巧一网打尽！

《PyTorch模型训练性能调优宝典》是解决PyTorch训练性能和效率问题的首选宝典。适用对象包括：AI/ML平台工程师、数据平台工程师、后端软件工程师、MLOps工
Python算法实战·2023-12-15 02:58

浅谈web性能测试

性能测试，简而言之就是模仿用户对一个系统进行大批量的操作，得出系统各项性能指标和性能瓶颈，并从中发现存在的问题，通过多方协助调优的过程。
测试界柠檬·2023-12-15 00:17

spark 内核源码剖析五：Master主备切换机制原理

Spark高可用HA，是可以配置两个Master的，一个AcitveMaster，一个StandByMaster，当ActiveMaster节点挂掉的时候，可以将StandByMaster切换为ActiveMaster
雪飘千里·2023-12-14 23:08

Spark spark-submit提交Job流程 解读

Spark-spark-submit提交Job流程解读spark-submitspark-classload-spark-env.shorg.apache.spark.launcher.MainSparkSubmitCommandBuilderclass
姜上清风·2023-12-14 22:38

Spark config配置项 一览

Sparkconfig配置项一览env配置序列化配置Rpc.Nettyyarnlib中的jar和用户自己的高版本jar处理加载先后顺序（spark程序jar与sparklibjar冲突，加载顺序）广播内存划分
姜上清风·2023-12-14 22:07

Spark-BlockManager、BlockManagerSlaveEndpoint、DiskStore、MemoryStore、BlockInfoManager、BlockInfo 源码解析

Spark-BlockManager、DiskStore、MemoryStore、BlockInfoManager、BlockInfo源码解析classBlockInfo&ObjectBlockInfoclassBlockInfoManagerclassMemoryStore
姜上清风·2023-12-14 22:07

Spark-SparkSession.Builder 源码解析

Spark-SparkSession.Builder源码解析classBuilderSparkSessionExtensionsclassBuilder这个类主要用来builderSparkSession
姜上清风·2023-12-14 22:36

修改jvm对象的属性值(私有)

修改jvm对象的属性值(私有)这个想法的来源一个sparkjob在启动之后，就会确定executor的数量。
姜上清风·2023-12-14 22:59

Gateway全局异常处理及请求响应监控

前言我们在上一篇文章基于压测进行Feign调优完成的服务间调用的性能调优，此时我们也关注到一个问题，如果我们统一从网关调用服务，但是网关因为某些原因报错或者没有找到服务怎么办呢？
shark-chili·2023-12-14 21:07

JVM 命令行监控及诊断工具

（字节跳动）JVM诊断调优工具用过哪些？(京东)怎么获取Java程序使用的内存？堆使用的百分比？（国美）几种常用的内存调试工具你知道哪些？（搜狐）JVM诊断调优工具用过哪些？
Please Sit Down·2023-12-14 20:40

spark 参数配置及内存模型

1spark提交主要参数1.1num-executors此数量代表spark的executors数量，所有的task在executor中运行。
peidezhi·2023-12-14 20:38

Ceph Cookbook 中文版

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展
SkTj·2023-12-14 20:41

Java性能调优实战》笔记（二）JVM优化、设计模式优化

文章目录一、JVM优化1.1即时编译器JIT  类编译加载执行过程：  初始化完成后，类在调用执行过程中，执行引擎会把字节码转为机器码，然后在操作系统中才能执行。在字节码转换为机器码的过程中，虚拟机中还存在着一道编译，那就是即时编译。  最初，虚拟机中的字节码是由解释器（Interpreter）完成编译的，当虚拟机发现某个方法或代码块的运行特别频繁的时候，就会把这些代码认定为“热点代码”。  为了
马小瑄·2023-12-14 20:52

【Java面试——JVM和调优】

JVM虚拟机和调优相关。5.1类加载机制类加载的生命周期？其中类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。
奥耶可乐冰·2023-12-14 20:25

Pyspark中的滞后移位函数

在PySpark中，没有您预期的shift函数，并且您在使用lag时的方向是正确的。但是这里有一个小技巧，当你必须在lag_1的基础上进行lag_2等等。
小赵要加油·2023-12-14 19:24

汽车火花塞行业分析：全球市场需求量约为26.3亿个

火花塞(sparkplug)，俗称火咀，它的作用是把高压导线(火嘴线)送来的脉冲高压电放电，击穿火花塞两电极间空气，产生电火花以此引燃气缸内的混合气体。
QY调研所·2023-12-14 19:20
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他