Reduce

大数据技术全景解析：HDFS、HBase、MapReduce 与 Chukwa

大数据技术全景解析：HDFS、HBase、MapReduce与Chukwa在当今这个信息爆炸的时代，大数据已经成为企业竞争力的重要组成部分。
coding随想·2025-05-27 08:04

Hive实战讲解-1

分布式文件系统）之上，提供了类SQL的查询语言HiveQL，允许用户以类似操作关系型数据库的方式处理和分析大规模数据集，将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，从而让不熟悉MapReduce
数字化与智能化·2025-05-26 11:04

使用MapReduce统计TopN数据

部分实验数据：一、实验目的学习和掌握利用MapReduce进行数据分析，加深对所学知识点的理解，熟悉MapReduce的数据处理流程。
PhoneMeWhenNecessary·2025-05-26 09:20

AI驱动网络范式革新：Smart Switch与智能路由的协同进化

毫秒级震荡挑战路由响应极限现代AI计算集群通过AllReduce、参数服务器等分
星融元asterfusion·2025-05-26 07:09

Spark基础学习笔记：搭建spark on yarn 集群

一、SparkOnYARN架构SparkOnYARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark
Connie_2022·2025-05-25 14:44

【SparkStreaming】面试题

SparkStreaming提供了高级别的抽象，如DStream（DiscretizedStream），它代表了连续的数据流，并且可以通过应用在其上的高阶操作来进行处理，类似于对静态数据集的操作（如map、reduce
言之。·2025-05-25 05:47

【React Hooks原理 - useSyncExternalStore】

概述在React项目中说到状态管理，我们第一时间想到的就是使用useState、useReducer这种Hooks来进行状态管理。
宇豪学习录·2025-05-25 00:15

深入理解 Hadoop 核心组件 Yarn：架构、配置与实战

MapReduce（分布式计算框架）：基于“分而治之”思想，将复杂计算任务拆解为Map和Reduce阶段，实现大规模数据的并行处理。
线条1·2025-05-23 11:36

Spark和Hadoop的区别与联系

MapReduce：分布式计算框架，将任务拆解为Map（映射）和Reduce（归约）两个阶段，适合离线批量处理。特点：1.强调数据“存算一体”，计算依赖HDFS存储的数据。
Freedom℡·2025-05-23 03:36

spark-shuffle 类型及其对比

1.HashShuffle原理：将数据按照分区键进行哈希计算，将相同哈希值的数据发送到同一个Reducer中。特点：实现简单，适用于数据分布均匀的场景。
大数据知识搬运工·2025-05-21 18:03

很实用的android压缩图片的算法

想要的宽度*@paramheight想要的高度*@paramisAdjust是否自动调整尺寸,true图片就不会拉伸，false严格按照你的尺寸压缩*@returnBitmap*/publicBitmapreduce
s478853630·2025-05-21 13:28

【Pytorch实用教程】【分布式】torch.distributed.all_reduce用法详细介绍

torch.distributed.all_reduce是PyTorch中分布式通信的一部分，通常用于分布式训练场景下的梯度汇总。
若北辰·2025-05-21 02:53

JavaScript - JavaScript 数组之 reduce 方法与 reduceRight 方法（reduce 基本与高级用法、reduce 注意事项、reduceRight 基本用法）

reduce方法概述reduce方法是JavaScript数组的一个高阶函数，用于将数组元素通过一个累加器组合成单个值array.reduce(callback(accumulator,currentValue
我命由我12345·2025-05-21 00:06

【大数据、数据开发与数据分析面试题汇总（含答案）】

试题目录大数据、数据开发与数据分析高频面试题解析1.数据仓库分层架构设计2.维度建模与范式建模的区别3.MapReduce的Shuffle阶段详解4.Hive数据倾斜的优化方法5.Spark比MapReduce
花架ギ·2025-05-20 17:26

Spark---＞转换算子

）filter：过滤算子sort：排序算子mapPartitionsmapPartitionsWithIndexsample:取样，转换mapValueunionintersectionsubtratreduceByKeygroupByKeycombinerByKeyfoldByKeyaggregateByKe
飝鱻.·2025-05-20 09:08

决策树剪枝python实现_决策树及其python实现

Cost-ComplexityPruning)、基于错误剪枝EBP(Error-BasedPruning)、最小错误剪枝MEP(MinimumErrorPruning)都是用于分类模型，故我们用降低错误剪枝REP(ReducedErrorPruning
weixin_39692254·2025-05-19 13:51

【人工智能】Hadoop和Spark使用教程

目录一、Hadoop使用教程1.1安装Hadoop1.2启动Hadoop服务1.3使用HDFS1.4编写MapReduce程序二、Spark使用教程2.1安装Spark2.2启动Spark服务2.3使用
大雨淅淅·2025-05-19 06:29

HDFS与MapReduce

HDFS（HadoopDistributedFileSystem）和MapReduce是ApacheHadoop生态系统中的两个核心组件，它们共同支持大规模数据处理和存储。
CoderIsArt·2025-05-18 22:09

【MapReduce】一个完整MR程序案例教你如何用IDEA打包及运行

本文通过一个统计”通讯录“文件内容的MapReduce程序案例来教大家如何使用IDEA打包MR程序并在集群里执行。我们假设已经安装配置好了Hadoop。
大数据技术部落·2025-05-18 21:09

MapReduce优化

1.MapReduce优化MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
小黑03·2025-05-18 21:07

MapReduce调优方案

在map与reduce阶段有时候可能会出现各种非理想化的情景，导致数据计算和处理时会遇到一些瓶颈或问题，这里就列出来一些可参考的调优方案：Map阶段调优：自定义分区，减少数据倾斜；可以自定义一个类，继承
QYHuiiQ·2025-05-18 21:37

MapReduce基本介绍

核心思想分而治之：将大规模的数据处理任务分解成多个可以并行处理的子任务，然后将这些子任务分配到不同的计算节点上进行处理，最后将各个子任务的处理结果合并起来，得到最终的结果。工作流程Map阶段：输入数据被分割成多个小块，每个小块作为一个独立的任务由不同的Map任务处理。Map函数将输入数据转换为键值对形式，并对键值对进行处理，生成中间结果。Shuffle阶段：对Map阶段产生的中间结果进行分区、排序
姬激薄·2025-05-18 21:36

mapreduce

（一）MapReduce基本介绍MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
懒羊羊大王-O·2025-05-18 21:06

MapReduce打包运行

1.编写MapReduce程序首先需要编写MapReduce程序，通常包含Mapper、Reducer和Driver类。
姬激薄·2025-05-18 21:36

Hive组成架构和工作原理

它将SQL查询转换为MapReduce任务，使得用户可以通过熟悉的SQL语法来操作Hadoop分布式文件系统（HDFS）中的数据。
Cynthiaaaaalxy·2025-05-18 19:18

python map函数的作用_Python map()函数介绍及用法

Python函数式编程之map()Python中map()、filter()、reduce()这三个都是应用于序列的内置函数。
weixin_39656174·2025-05-18 16:59

字符串字符计数：经典循环与 Reduce 的魔法

字符串字符计数：经典循环与Reduce的魔法✨在JavaScript开发中，我们经常会遇到统计字符串中每个字符出现次数的需求。
满分观察网友z·2025-05-18 10:50

运行一个mapreduce实例

本文改编自打开因为参考文中步骤有部分运行不正确，所以自己记录下自己的步骤，并将原因整理了下。Score.java文件下载importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apac
有梦想的人运气不太差·2025-05-18 08:35

Hadoop之MapReduce命令

概述所有的Hadoop命令都通过bin/mapred脚本调用。在没有任何参数的情况下，运行mapred脚本将打印该命令描述。使用：mapred[--configconfdir]COMMAND[hadoop@hadoopcluster78bin]$mapredUsage:mapred[--configconfdir]COMMANDwhereCOMMANDisoneof:pipesrunaPipesj
iteye_14970·2025-05-18 08:32

React学习———Redux 、 React Redux和react-persist

的核心l理念单一数据源：整个应用的状态被存储在一个唯一的Store对象中，所有组件都从这个Store读取数据状态只读：唯一改变状态的方法时触发action，不能直接修改state使用纯函数来执行修改：Reducer
邝邝邝邝丹·2025-05-17 16:42

MapReduce 实现 WordCount

在大数据处理领域，MapReduce是一种极为重要的编程模型，它可以将大规模的数据处理任务分解为多个并行的子任务，从而高效地处理海量数据。
谁偷了我的炒空心菜·2025-05-17 14:20

什么是SparkONYarn模式

2.核心优势资源统一管理与Hadoop共享集群资源，避免资源孤岛（如MapReduce、H
姬激薄·2025-05-17 14:20

MapReduce Shuffle 全解析：从 Map 端到 Reduce 端的核心数据流

一、Shuffle的本质定位：MapReduce的核心枢纽Shuffle过程涵盖MapTask的后半程与ReduceTask的前半程，具体指从map方法输出到reduce方法输入之间的整个数据处理链路。
线条1·2025-05-17 06:28

Hadoop的组成，HDFS架构，YARN架构概述

Hadoop的组成Hadoop1.X时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
计算机人哪有不疯的·2025-05-17 05:50

React-Redux详解

一、‌核心概念与作用‌1‌.定义‌React-Redux是Redux的官方React绑定库，用于在React应用中实现状态集中管理，通过Store统一维护全局状态，并通过Action和Reducer实现状态的更新与同步
小前端大牛马·2025-05-17 04:41

OpenCV CUDA模块中矩阵操作------降维操作

操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述cv::cuda::reduce函数用于对GPU上的矩阵沿某个维度进行降维操作
村北头的码农·2025-05-16 18:03

Spark基本介绍

目录Spark是什么一、Spark与MapReduce对比区别二、Spark的发展三、Spark的特点四、Spark框架模块Spark是什么ApacheSpark是用于大规模数据（large-scaladata
xiaoc1008·2025-05-16 16:52

hadoop

•MapReduce◦作用：是一种分布式计算模型，用于大规模数据集的并行
薇晶晶·2025-05-16 07:12

spark中的转换算子

defmain(args:Array[String]):Unit={//学习sparkRDD中的转换算子//1.map//2.filter:过滤//3.flatMap:flat(扁平化)+map(映射)//4.reduceByKey
只因只因爆·2025-05-16 04:24

wordCount程序设计思想

MapReduce经典案例wordCount的设计思想Mapper阶段1.我们将MapTask传给我们的文本内容先转换成一行字符串2.根据空格对这一行进行分割，从而形成多个单词3.通过for循环我们将得到一系列这样形式的中间结果
山河执手·2025-05-16 01:01

JavaScript 中级进阶技巧之map函数

本文将以map函数为核心，结合filter、reduce等高阶函数，以及其他实用技巧（如解构赋值、短路运算），带你探索中级JavaScript开发者的思维方式。通过实战案例和
小贺要学前端·2025-05-15 17:30

DAMA国际认证 CDMP题库预览题 带翻译和解析

1.AbusinessdriverforthecreationofaDataQualityManagementprogramis:A、toreducerisksandcostsassociatedwithpoordataqualityB
小黄人2025·2025-05-15 11:20

Scala安装

函数编程范式更适合用于Map/Reduce和大数据模型，着眼于函数本身，函数范式逻
yyywoaini～·2025-05-15 05:40

Mapreduce运行HBase错误

运行Mapreduce程序报错我在idea上运行mapreduce程序，实现HDFS数据存储到HBASE，控制台报错如下Applicationapplication_1573201815446_0001failed2timesduetoAMContainerforappattempt
weixin_42534356·2025-05-14 23:32

Apache Hadoop--集群部署

HadoopDistributedFileSystem(HDFS™)HadoopMapReduce：分布式计算框架。解决海量数据计算问题。parallelprocessingo
狂野虎蛋·2025-05-14 19:02

27、状态管理三神器——React 19 Redux/MobX/Zustand对比

一、核心设计哲学对比1.Redux：时间晶体存储•严格单向数据流：通过action→reducer→store的强约束流程管理状态，如同魔法部的时间转换器，确保每次状态变更都可追溯。
进取星辰·2025-05-14 19:00

redis实现分布式锁思路及redission分布式锁主流程分析

/***存在并发问题*@paramproductId*@return*/privateStringreduceStock1(StringproductId){Integerstock=Integer.parseInt
yfyh2021·2025-05-14 18:23

详解 Spark 核心编程之 RDD 分区器

一、RDD分区器简介Spark分区器的父类是Partitioner抽象类分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区，进而决定了Reduce的个数只有Key-Value
文刀小桂·2025-05-14 16:14

RDD：分区器

决定Shuffle过程中Reducer的个数（实际上是子RDD的分区个数）以及Map端的一条数据记录应该分配给哪一个Reducer。这个应该是最主要的作用。决定RDD的分区数量。例如执
花和尚也有春天·2025-05-14 16:14

spark读文件忽略第一行_Spark 核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
weixin_39569894·2025-05-14 16:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他