内存计算

Hadoop、Spark、Flink 三大大数据处理框架的能力与应用场景

技术能力与应用场景对比产品能力特点应用场景Hadoop-基于MapReduce的批处理框架-HDFS分布式存储-容错性强、适合离线分析-作业调度使用YARN-日志离线分析-数据仓库存储-T+1报表分析-海量数据处理Spark-基于内存计算
·2025-07-02 13:45

1、C语言——结构体的内存大小计算

为了解决这一难题，本文给出一些较为常见的解法来帮助对结构体内存计算有困难的同学或爱好者，欢迎各位大佬进行批评指正。
postfull·2025-06-27 13:05

基于Hadoop大数据分析应用场景与实战

Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
跨过山河大海·2025-06-26 12:38

Spark底层原理详细解析

Spark简介ApacheSpark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群
JavaShark·2025-06-25 02:39

Spark性能优化深度剖析：十大实战策略与案例解析

核心优化原理资源调优实战技巧并行度优化指南广播变量高效应用数据倾斜终极解决方案Shuffle过程优化秘籍内存管理进阶技巧算子优化黄金法则真实案例深度解析全链路调优方案1.Spark核心优化原理Spark基于内存计算的特性使其比
·2025-06-08 12:10

高性能图片优化方案

图片占用内存介绍1.2网络图片加载流程1.3三方库加载图片逻辑1.4BitmapFactory1.5图片大小VS内存1.6Bitmap能直接存储吗1.7Bitmap创建流程1.8图片框架如何设计02.图片内存计算方式
·2025-06-05 01:23

Spark入门秘籍

1.1内存计算：速度的飞跃1.2多语言支持：开发者的福音1.3丰富组件：一站式大数据处理平台二、Spark能做什么？
£菜鸟也有梦·2025-05-22 11:35

Spark 集群搭建：Standalone 模式详解

在大数据处理领域，Spark凭借其高效的内存计算能力广受青睐。搭建一个稳定、高效的Spark集群是充分发挥其性能的关键。本文将详细讲解如何搭建SparkStandalone集群。
麻芝汤圆·2025-05-22 03:34

从实列中学习linux shell10 ： 如何根据服务器的内存，cpu 以及 ssd硬盘 来确定mysql 的最大并发数

/bin/bash#计算MySQL最大连接数推荐值#公式说明：取CPU计算值与内存计算值的较小值，SSD优化系数提升30%#配置参数（可根据需要调整）CONN_PER_CORE_HDD=100#HDD磁盘每核心基础连接数
一刀到底211·2025-05-21 05:11

计算机内存系统深度剖析：从物理结构到应用优化

典型时序参数3.内存层级优化3.1缓存行填充3.2预取策略对比4.内存管理策略4.1页面置换算法4.2NUMA架构管理5.性能问题诊断5.1内存带宽测试5.2常见瓶颈分析6.未来发展趋势6.1新型内存技术6.2内存计算架构实践建议与工具计算机内存系统深
闲人编程·2025-05-19 15:01

【Spark】-- DAG 和宽窄依赖的核心

与宽窄依赖的性能优化1.减少Shuffle操作2.合理划分Stage3.使用缓存机制四、实际案例分析：同行车判断五、总结SparkDAG和宽窄依赖的核心ApacheSpark是当前主流的大数据处理框架之一，其高效的内存计算和灵活的编程模型使其在大数据处理领域占据
oo寻梦in记·2025-05-18 04:00

MongoDB源码分析WiredTiger存储引擎内存计算逻辑

WiredTiger存储引擎WiredTiger存储引擎是mongodb默认存储引擎。WiredTiger内存使用默认存储引擎WiredTiger内存缓存大小为以下两者中的较大者：（RAM大小-1GB）的50%，或256MB.例如，在总RAM为4GB的系统上，WiredTiger缓存使用1.5GBRAM(0.5*(4GB-1GB)=1.5GB)。相反，在总RAM为1.25GB的系统上，WiredT
cookqq·2025-05-17 11:29

Spark基本介绍

一、Spark与MapReduce对比区别Spark中新的数据结构RDD（弹性分布式数据集），使得大数据分析能够基于内存计算，会
xiaoc1008·2025-05-16 16:52

TDengine 做为 Spark 数据源

简介ApacheSpark是开源大数据处理引擎，它基于内存计算，可用于批、流处理、机器学习、图计算等多种场景，支持MapReduce计算模型及丰富计算操作符、函数等，在大超大规模数据上具有强大的分布式处理计算能力
TDengine （老段）·2025-05-14 07:14

spark基本介绍

Spark是基于内存计算的分布式大数据处理框架，由加州大学伯克利分校AMPLab开发，现已成为Apache顶级项目。
祈533·2025-05-13 23:49

Spark和Hadoop之间的联系

Spark以其内存计算的特性而闻名，能够在内存中对数据进行快速处理，相较于传统基于磁盘的计算框架，大大提高了数据处理的速度。
古拉拉明亮之神·2025-05-08 19:48

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
Ajekseg·2025-05-06 14:52

spark和Hadoop之间的对比和联系

以下是它们的对比和联系：1.核心组件对比特性HadoopSpark诞生时间2006年（Apache）2014年（Apache）核心组件HDFS（存储）+MapReduce（计算）SparkCore（内存计算
财神爷的心尖宠55·2025-04-28 12:50

【面试宝典】100道Spark高频题库整理(附答案背诵版)

Spark的主要特点包括：快速性：Spark使用了内存计算技术，相较于Hadoop的MapReduce，它能更快地处理大规模数据集。这是因为MapReduce在数据处理过程中频繁地将中间结果
想念@思恋·2025-04-26 04:47

spark和hadoop的区别与联系

Spark：采用内存计算，将数据存储在内存中，减少了磁盘读写开销，中间结果在内存中直接传递和处理，大大提高了计算速度。
啊喜拔牙·2025-04-25 21:57

hadoop与spark的区别和联系

Spark：核心是弹性分布式数据集（RDD），基于内存计算。其架构涵盖了DriverProgram（驱动程序）、ClusterManager（集群管理器）和Executor（执行
紫韫·2025-04-25 21:55

spark和Hadoop之间的对比和联系

####性能比较性能方面，Spark显著优于Hadoop的主要原因在于其内存计算特性。具体来说，Spark将中间数据存储在内存中，减少了频繁的磁盘I/O操作，从而大幅提升了计算速度。相
yyywoaini～·2025-04-24 09:18

探秘Apache Arrow Rust：构建高效内存计算的未来

探秘ApacheArrowRust：构建高效内存计算的未来去发现同类优质开源项目:https://gitcode.com/在数据处理与分析的广阔天地里，ApacheArrowRust犹如一颗璀璨的新星，
金畏战Goddard·2025-04-23 00:47

SAP-ABAP：SAP HANA内存计算关系型数据库核心特性和技术详解

SAPHANA（High-PerformanceAnalyticAppliance）是SAP公司推出的一款内存计算（In-MemoryComputing）关系型数据库，于2010年首次发布。
爱喝水的鱼丶·2025-04-16 08:16

Spark

几大功能组件中文文档：https://spark.apachecn.org/#/github地址：https://github.com/apache/sparkSparkCoreSpark提供了多种资源调度框架，基于内存计算
upupfeng·2025-04-08 11:14

Spark

Spark简介Spark的特点运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过SparkShell进行交互式编程通用性
薇晶晶·2025-04-01 13:16

SparkMLlib未来发展趋势：展望未来

它基于Spark的分布式内存计算框架,可以高效地处理大规模数据集,并且具有良好的扩展性和容错性。
AI天才研究院·2025-04-01 11:36

SQL Server 2022终极指南：数据库技术的未来与革命

关键技术雷达技术创新维度创新领域突破点行业影响内存计算Hekaton引擎性能提升40%-60%智能查询
领码科技·2025-04-01 01:27

一文搞懂大数据神器Spark，真的太牛了！

Spark是一个开源的、基于内存计算的
qq_23519469·2025-03-20 04:19

浅论数据库聚合：合理使用LambdaQueryWrapper和XML

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、数据库聚合替代内存计算（关键优化）二、批量处理优化四、区域特殊处理解耦五、防御性编程增强前言技术认知点：使用XML编写SQL
是一个Bug·2025-03-09 09:23

Spark是什么？可以用来做什么？

一、Spark的核心特点速度快：基于内存计算（In-MemoryProcessing），比基于磁盘的MapReduce快10~100倍。支持高效的DAG（有向无
Bugkillers·2025-03-05 10:37

强者联盟——Python语言结合Spark框架

得益于在数据科学中强大的表现，Python语言的粉丝遍布天下，如今又遇上强大的分布式内存计算框架Spark，两个领域的强者走到一起，自然能碰出更加强大的火花（Spark可以翻译为火花），因此本文主要讲述了
博文视点·2025-03-03 12:15

Spark核心之06：知识点梳理

spark知识点梳理spark_〇一1、spark是什么spark是针对于大规模数据处理的统一分析引擎，它是基于内存计算框架，计算速度非常之快，但是它仅仅只是涉及到计算，并没有涉及到数据的存储，后期需要使用
小技工丨·2025-03-03 07:03

spark为什么比mapreduce快？

首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言
京东云开发者·2025-03-01 19:46

spark为什么比mapreduce快？

首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言
·2025-02-19 11:55

spark为什么比mapreduce快？

首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言
·2025-02-19 11:22

内存服务器主要是指什么？

内存服务器也可以被称为内存计算服务器或者是内存驱动服务器，主要是一种采用了大容量内存作为主要存储介质的服务器，内存服务器的主要特点就是，可以在内存中存储和处理数据信息，不需要再依赖于磁盘，能够为企业提供更快的数据访问速度
wanhengidc·2025-02-18 15:46

联合体union详解

前言本章我们来了解C语言中的联合体，它的基本基本使用，内存计算，大小端判断应用与结构体struct的区别等知识点。
我想当高手·2025-02-05 04:28

《Spark大数据分析与内存计算》——第三章

第三章作业及答案快捷查找：Ctrl+F在搜索框中输入题目一.单选题（共17题）1.(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫;2.(单选题)什么负责即席查询的应用A.MLlibB.SparkStreamingC.GraphXD.Spar
阿万古·2025-01-26 05:07

分布式离线计算—Spark—基础介绍

结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架
测试开发abbey·2024-09-13 11:11

Windows系统下的Spark环境配置

Spark提供了多个核心组件，包括：SparkCore：提供内存计算的能力
eeee~~·2024-09-05 11:19

深入理解指针（一）

1.内存和地址1.1内存计算机上CPU在处理数据的时候，需要的数据是在内存中读取的，处理后的数据也会放回到内存中，那这些内存空间是如何高效管理的呢？
小白帅的一笔·2024-08-29 02:24

Spark面试整理-Spark是什么？

下面是Spark的一些关键特点：速度：Spark使用了先进的DAG（有向无环图）执行引擎，可以支持循环数据流和内存计算。这使得Spark在数据处理方面
不务正业的猿·2024-03-24 13:02

基于HBase和Spark构建企业级数据处理平台

专注于大数据分布式计算和数据库领域，具有6年分布式开发经验，先后研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据
weixin_34071713·2024-03-12 22:44

spark为什么比mapreduce快？

首先澄清几个误区：1：两者都是基于内存计算的，任何计算框架都肯定是基于内存的，所以网上说的spark是基于内存计算所以快，显然是错误的2;DAG计算模型减少的是磁盘I/O次数（相比于mapreduce计算模型而言
·2024-02-20 16:30

如何学习SAP HANA

转载-从HANA本质来讲大家都知道，就是一个数据库，和Oracle，SQLServer没啥本质的区别，内存计算、列式存储也不是啥新玩意，所以学习HANA和学习一个新的数据库从这个角度看也非常类似，当然HANA
Ami2333a·2024-02-11 13:51

探索未来：集成存储器计算(IMC)与深度神经网络(DNN)的机遇与挑战

开篇部分：人工智能、深度神经网络与内存计算的交汇在当今数字化时代，人工智能（AI）已经成为科技领域的一股强大力量，而深度神经网络（DNN）则是AI的核心引擎之一。
繁依Fanyi·2024-02-10 11:47

RDD vs DataFrame vs Dataset

RDD允许开发者使用容错的形式在集群中使用内存计算，这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生·2024-02-07 22:20

PySpark（三）RDD持久化、共享变量、Spark内核制度，Spark Shuffle

目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器Spark内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算Spark是怎么做内存计算的?
独憩·2024-02-06 03:43

深度神经网络中的BNN和DNN：基于存内计算的原理、实现与能量效率

前言前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：https://www.captainbed.cn/zChatGPT体验地址文章目录前言引言内存计算体系结构深度神经网络
雪碧有白泡泡·2024-02-05 19:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他