Spark性能调优

读取hdfs上snappy压缩文件并发送kafka的两种方式速度测试

snappy压缩的文件，要把这份文件中的数据读出来并发送给kafka解决思路平时我90%的时间都是在消费kafka，现在要写入kafka，我承认我第一反应是懵逼的；不过这并难不倒天资聪慧的我，我首先想到的就是用spark
今天上上签·2025-03-26 04:40

Tomcat相关的面试题

以下是150道Tomcat相关的面试题，涵盖了Tomcat的基础概念、配置管理、部署运行、性能调优、安全机制、日志管理、集群与负载均衡、与其他技术的结合等方面，希望对你有所帮助。
努力的搬砖人.·2025-03-26 01:20

linux进程 线程详解

理解进程及其管理是系统编程、性能调优和系统管理的基础。以下是对Linux进程的详细介绍，包括进程的基本概念、生命周期、管理以及常用的命令和工具。
Lntano__y·2025-03-25 21:16

【Python系列】高效Parquet数据处理策略：合并与分析实践

Parquet作为一种高效的列存储格式，被广泛应用于大数据处理框架中，如ApacheSpark、ApacheHive等。
小团团0·2025-03-24 12:41

鸿蒙相机开发实战：从设备适配到性能调优 —— 我的 ArkTS 录像功能落地手记（API 15）

引言：为什么我要写这份开发指南？作为一名老技术，最近特别喜欢研究鸿蒙相机功能，而且目前已经更新到API15了，那么咱们更要好好研究一下。而且从手持云台到车载记录仪，每个项目都面临独特挑战：车载场景的高温稳定性、可穿戴设备的低功耗限制、多设备分辨率适配的玄学……这些痛点促使我重新梳理HarmonyOS相机开发的技术脉络——这正是本文的起源。比如之前在一款运动相机项目中，我们最初直接复用Android
李游Leo·2025-03-24 02:00

Java架构师成长之路

1.性能调优深入理解MySQL底层原理、索引逻辑，数据结构与算法。
hweiyu00·2025-03-24 00:50

spark explain如何使用

在Spark中，explain是分析SQL或DataFrame执行计划的核心工具，通过不同模式可展示查询优化和执行的详细信息，默认情况下，这个语句只提供关于物理计划的信息。
fzip·2025-03-24 00:14

【Spark】查询优化中分区（Partitioning）和分桶（Bucketing）是什么关系？什么时候应当分区，什么时候应当分桶？

在学习Spark的过程中，分区和分桶乍一看很像，都能为了计算加速，但是仔细一想，一查还是有些差异的，甚至说差异很大。那么具体有什么差异点，有什么相同点。我做出了如下的整理，供大家参考，欢迎指正。
petrel2015·2025-03-23 23:37

pyspark学习rdd处理数据方法——学习记录

python黑马程序员"""文件，按JSON字符串存储1.城市按销售额排名2.全部城市有哪些商品类别在售卖3.上海市有哪些商品类别在售卖"""frompysparkimportSparkConf,SparkContextimportosimportjsonos.environ
亭午·2025-03-23 20:12

数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)

ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(spark-schema
2301_79098963·2025-03-23 17:45

鸿蒙相机开发实战：从设备适配到性能调优 —— 我的 ArkTS 录像功能落地手记（API 15）

引言：为什么我要写这份开发指南？作为一名老技术，最近特别喜欢研究鸿蒙相机功能，而且目前已经更新到API15了，那么咱们更要好好研究一下。而且从手持云台到车载记录仪，每个项目都面临独特挑战：车载场景的高温稳定性、可穿戴设备的低功耗限制、多设备分辨率适配的玄学……这些痛点促使我重新梳理HarmonyOS相机开发的技术脉络——这正是本文的起源。比如之前在一款运动相机项目中，我们最初直接复用Android
·2025-03-23 15:15

Apache大数据旭哥优选大数据选题

售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark
Apache大数据旭·2025-03-23 13:12

Azure Delta Lake、Databricks和Event Hubs实现实时欺诈检测

AzureEventHubs/Kafka摄入实时数据，通过DeltaLake实现Exactly-Once语义，实时欺诈检测（流数据写入DeltaLake，批处理模型实时更新），以及具体实现的详细步骤和关键PySpark
weixin_30777913·2025-03-23 03:12

探索数据安全新境界：Apache Spark SQL Ranger Security插件深度揭秘

探索数据安全新境界：ApacheSparkSQLRangerSecurity插件深度揭秘项目地址:https://gitcode.com/gh_mirrors/sp/spark-ranger随着大数据的爆炸性增长
乌昱有Melanie·2025-03-22 23:44

Flink相关面试题

以下是150道ApacheFlink面试题及其详细回答，涵盖了Flink的基础知识、核心架构、API使用、性能调优等多个方面，每道题目都尽量详细且简单易懂：Flink基础概念类1.什么是ApacheFlink
努力的搬砖人.·2025-03-22 18:15

基于Azure云平台构建实时数据仓库

设计Azure云架构方案实现AzureDeltaLake和AzureDatabricks，结合电商网站的流数据，构建实时数据仓库，支持T+0报表（如电商订单分析），具以及具体实现的详细步骤和关键PySpark
weixin_30777913·2025-03-22 18:15

SpringBoot JVM性能调优

作者：禅与计算机程序设计艺术1.简介SpringBoot是当前最流行的基于Java的Web框架，它为开发人员提供了很多便利，包括快速配置，强大的自动化特性等。但是，它的默认设置往往会给应用程序带来不小的性能开销。本文将讨论SpringBoot的默认设置，并着重探讨如何优化SpringBoot在JVM上的性能。2.JVM默认设置介绍在SpringBoot中，可以用application.proper
AI天才研究院·2025-03-22 00:28

优化Apache Spark性能之JVM参数配置指南

ApacheSpark运行在JVM之上，JVM的垃圾回收（GC）、内存管理以及堆外内存使用情况，会直接对Spark任务的执行效率产生影响。
weixin_30777913·2025-03-21 13:58

GraphCube、Spark和深度学习技术赋能快消行业关键运营环节

GraphCube图多维数据集技术、Spark大数据分析处理技术和深度学习技术的结合，为这些环节提供了智能化、动态化和实时化的解决方案，显著提升业务运营效率和企业利润。一、技术
weixin_30777913·2025-03-21 13:28

【Kafka高级】Kafka性能优化与调优实践

本文将从生产者性能优化、消费者性能优化以及集群性能调优三个方面展开，结合实际代码示例和配置参数，帮助读者更好地理解和应用Kafka性能优化策略。
全栈追梦人·2025-03-21 12:50

【新品发售】NVIDIA 发布全球最小个人 AI 超级计算机 DGX Spark

GTC2025大会上，NVIDIA正式推出了搭载NVIDIAGraceBlackwell平台的个人AI超级计算机——DGXSpark。赞奇可接受预订，直接私信后台即刻预订！
·2025-03-21 12:09

Kafka Connect Node.js Connector 指南

KafkaConnectNode.jsConnector指南kafka-connectequivalenttokafka-connect:wrench:fornodejs:sparkles::turtle
丁操余·2025-03-21 12:39

JAVA学习-练习试用Java实现“对大数据集中的网络日志进行解析和异常行为筛查”

问题：编写一个Spark程序，对大数据集中的网络日志进行解析和异常行为筛查。解答思路：下面是一个简单的Spark程序示例，用于解析网络日志并筛查异常行为。
守护者170·2025-03-21 07:30

JAVA学习-练习试用Java实现“实现一个Spark应用，对大数据集中的文本数据进行情感分析和关键词筛选”

问题：实现一个Spark应用，对大数据集中的文本数据进行情感分析和关键词筛选。
守护者170·2025-03-21 07:30

Hive与Spark的UDF：数据处理利器的对比与实践

文章目录Hive与Spark的UDF：数据处理利器的对比与实践一、UDF概述二、HiveUDF解析实现原理代码示例业务应用三、SparkUDF剖析-JDBC方式使用SparkThriftServer设置通过
窝窝和牛牛·2025-03-20 23:22

尚硅谷电商数仓6.0，hive on spark,spark启动不了

在datagrip执行分区插入语句时报错[42000][40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession
新时代赚钱战士·2025-03-20 20:57

ubuntu高并发内核参数调优 - （压测客户端调优）

压测的服务器也是需要进行性能调优的，以下列出调优前后的参数对比，更直观的分析和感受参数对程序的影响压测前内核参数自检#!
sj1163739403·2025-03-20 14:40

数据中台（二）数据中台相关技术栈

1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto
Yuan_CSDF·2025-03-20 05:25

一文搞懂大数据神器Spark，真的太牛了！

Spark是什么在如今这个大数据时代，数据量呈爆炸式增长，传统的数据处理方式已经难以满足需求。就拿电商平台来说，每天产生的交易数据、用户浏览数据、评论数据等，数量巨大且种类繁多。
qq_23519469·2025-03-20 04:19

Flink读取kafka数据并写入HDFS

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021
王知无(import_bigdata)·2025-03-19 22:59

元戎启行最新战略RoadAGI：所有移动智能体都将被AI驱动

会上，公司CEO周光发表了技术主题演讲，展示了公司的最新战略布局RoadAGI，并发布道路通用人工智能平台——AISpark（以下简称”Spark平台”）。
·2025-03-19 16:16

SparkSQL编程-RDD、DataFrame、DataSet

三者之间的关系在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？
早拾碗吧·2025-03-19 14:24

How Spark Read Sftp Files from Hadoop SFTP FileSystem

GradleDependenciesimplementation('org.apache.spark:spark-sql_2.13:3.5.3'){excludegroup:"org.apache.logging.log4j
IT•轩辕·2025-03-19 13:18

pyspark 遇到**Py4JJavaError** Traceback (most recent call last) ~\AppData\

1401292359.pyin---->1feat_df.show(5,vertical=True)D:\Anaconda3\envs\recall-service-cp4\lib\site-packages\pyspark
2pi·2025-03-19 12:44

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

MapReduceSparkStormFlink解析：Hadoop的核心组件是HDFS（分布式文件系统）和MapReduce（分布式计算框架）。
苍曦·2025-03-19 12:43

ES中_cat/nodes返回结果参数的解释以及性能调优指南

文章目录1、Elasticsearch`_cat/nodes?v`字段详解2、常用字段说明3、`node.role`字段详解4、示例输出5、其他可选参数6、总结1、Elasticsearch_cat/nodes?v字段详解在Elasticsearch中，_cat/nodesAPI用于查看集群中所有节点的信息。通过添加?v参数，可以返回带有表头的详细输出，便于理解每个字段的含义。以下是_cat/no
Elastic开源社区·2025-03-19 08:31

Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启
陈沐·2025-03-18 23:17

Spark 解析_spark.sparkContext.getConf().getAll()

spark.sparkContext.getConf().getAll()是ApacheSpark中的一段代码，用于获取当前Spark应用程序的所有配置项及其值。
闯闯桑·2025-03-18 21:03

Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案

PySpark虽能处理PB级数据，但在开发效率和局部计算灵活性上存在不足。
Eqwaak00·2025-03-18 19:52

自定义Spark启动的metastore_db和derby.log生成路径

1.进入安装spark目录的conf目录下2.复制spark-defaults.conf.template文件为spark-defaults.conf3.在spark-defaults.conf文件的末尾添加一行
节昊文·2025-03-18 15:53

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一个开源的集群计算框架，最初由加州大学伯克利分校的AMPLab开发，用于大规模数据处理和分析。
佛渡红尘·2025-03-18 13:31

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路说起大数据技术，Hadoop和Spark可以说是这个领域的两座里程碑。
Echo_Wish·2025-03-18 12:57

Hive 与 SparkSQL 的语法差异及性能对比

在大数据处理领域，Hive和SparkSQL都是极为重要的工具，它们为大规模数据的存储、查询和分析提供了高效的解决方案。
自然术算·2025-03-18 09:22

Spark任务读取hive表数据导入es

使用elasticsearch-hadoop将hive表数据导入es，超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建sparkconf
小小小小小小小小小小码农·2025-03-17 18:25

Spark sql 中row的用法

在ApacheSpark中，Row是一个表示一行数据的类。它是SparkSQL中DataFrame或Dataset的基本数据单元。
闯闯桑·2025-03-17 18:53

Spark Sql 简单校验的实现

在网上参考了很多资料，都是要依赖Sparksession，这个需要spark环境，非常不友好，jdk版本也不好控制。
小小小小小小小小小小码农·2025-03-17 17:50

PySpark安装及WordCount实现（基于Ubuntu）

在Ubuntu上安装PySpark并实现WordCount，需要以下步骤：安装PySpark：安装Java：PySpark需要Java运行环境。
uui1885478445·2025-03-17 12:11

Feign性能调优

Feign性能调优测试demo地址:https://gitee.com/bjrts/spring-cloud-study-demo/tree/feign/父项目pom4.0.0com.baojiarenfeignpom1.0
௸྄ིོུ倾心ღ᭄ᝰꫛꫀꪝ·2025-03-17 07:40

数据库查询优化：提升性能的关键实践

查询优化是性能调优的重要组成部分，通过对SQL查询的分析与改进，减少查询执行时间和资源消耗，从而提升整体系统效率。categories:前端开发tags:查询优化数据
·2025-03-17 02:16

大数据手册(Spark)--Spark安装配置

若安装包下载缓慢，可复制链接到迅雷下载，亲测极速～准备工作Spark的安装过程较为简单，在已安装好Hadoop的前提下，经过简单配置即可使用。
WilenWu·2025-03-16 20:09
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他