MapRedue

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50

38 _ 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

为什么说MapRedue的本质就是分治算法呢？我们先来看，什么是分治算
cjh-Java·2023-11-17 08:11

hadoop （六）重新认识hadoop

简单地说，MapRedue就是"任务的分解与结果的汇总"。上述处理过程被高度的抽象为两个函数：mapper和reducer，mapper负责把任务分解成多个任务，reducer负责把分解
cnliu·2023-03-28 02:55

Hive Explain 详解

Hive是基于Hadoop，实现了通过SQL操作MapRedue任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL目前是使用最为广泛的结构化数据操作语言，未来大数据框架对
Data-Developer·2022-09-08 10:44

Spark 详解

配合而开发出来的,不是为了取代Hadoop,Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
Strive for the best！·2022-07-05 19:15

【分治算法】：谈一谈大规模计算框架MapReduce中的分治思想

为什么说MapRedue的本质就是分治算法呢？我们先来看，什么是分治算
南方以北·2020-09-16 01:49

力扣组队刷题打卡第一次

为什么说MapRedue的本质就是分治算法呢？主要思想分治算法的
阿水ashui·2020-08-22 13:36

LeetCode 编程练习（一）：分治算法

为什么说MapRedue的本
jtwmzb·2020-08-22 01:49

Leetcode——分治

为什么说MapRedue的本质就是分治算法呢？主要思想分治算法的
甜菇凉·2020-08-22 00:41

Hadoop的Mapreduce中Mapper的key和Map的key的区别

我们知道JAVA的Map键值对的key是不可以重复的，而Mapredue的key是不可避免会重复，所以要区分两者。。
qq597757066·2020-08-03 02:18

2019春招——Vivo大数据开发工程师面经

答：hdfs、yarn、MapRedue、Hive2.讲一讲yarn的调度过程？答：blabla。。。3.yarn的调度器有哪些？答：FIFO、多队列分开调度、CapacityScheduler、Fa
weixin_30755393·2020-08-01 03:55

mapredue日志查看方式

日志相关的一般配置项NodeManager存储容器日志文件的本地文件系统中的目录列表。yarn.nodemanager.log-dirs选择是否启用日志聚合.如果不启用聚合,NMs会把日志存储在节点本地(就像第一代所做的那样).默认值为trueyarn.log-aggregation-enableyarn.log-aggregation-enable=false1，容器日志在节点上的存储位置,默认
wangliang938·2020-07-08 11:11

hadoop常见问题总结

hadoop常见问题总结正式接触hadoop全家桶已经有一年的时间了,期间也踩了很多坑,大部分的坑踩完了之后也就过去了...现在将从接触hadoop开始还有所记录的坑总结一下,以此自省1.mapRedue
new个对象先·2020-06-29 00:15

YARN开启Label Scheduler

SparkStreaming实时长时服务与MapRedue、Spark、Hive等批处理应用共享YARN集群资源。
我要大声告诉你·2020-06-28 01:54

Nutch1.0源码分析-----抓取部分

简单的分析了nutch抓取过程，涉及到的mapredue等内容在这不做讨论，时间仓促，很多地方写得不具体，以后有时间再慢慢修改，工作需要又得马上分析nutch相关配置文件，分析整理后会发布上来。
ninjuli·2020-06-24 17:54

MapRedue详细工作流程

MapRedue详细工作流程简述（1）客户端submit之前获取待处理的数据信息，根据参数配置，形成一个任务分配的规划。
趣学程序·2019-05-23 11:00

Hadoop 系列之 Hive

Hadoop系列之HiveHive的官网：http://hive.apache.org/Hiveversions1.2onwardrequireJava1.7ornewer.上一篇提到的MapRedue
cuteximi_1995·2019-04-21 00:27

Flink应用

在这里，我们解释Flink架构的重要方面 Flink特点1）mapredue2）store3）spark适用于所有企业，不同企业有不同的业务场景，处理数据量，模型不一样 处理无界和有界数据随处部署应用Flink
薛宝·2019-01-13 00:00

hadoop

生态圈HDFS：分布式文件系统YARN：分布式资源调度系统MAPREDUCE：分布式计算框架HIVE：数据仓库工具HBASE：分布式海量数据库ZOOKEEPER：分布式协调服务基础组件MAHOUT：基于mapredue
H.U.C.小黑·2018-11-23 09:52

MapRedue开发实例

一些例子，所用版本为hadoop2.6.51、统计字数数据格式如下（单词，频数，以tab分开）：A100B97C98A981packagecom.mr.test;23importjava.io.IOException;4importorg.apache.hadoop.conf.Configuration;5importorg.apache.hadoop.fs.Path;6importorg.apa
learn21cn·2016-12-04 00:00

Hadoop经典案例Spark实现（五）——求最大最小值问题

、数据准备eightteen_a.txt 102 10 39 109 200 11 3 90 28eightteen_b.txt 5 2 30 838 10005结果预测Max10005 Min22、MapRedue
kwu_ganymede·2016-01-08 15:00

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue
zouqingyun·2015-11-07 18:40

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue
zouqingyun·2015-11-07 18:40

mapredue输入路径

  FileInputFormat.addInputPath(Job job, Path path)用于设定hadoop的输入文件路径，path可以指定具体的文件，也可以指定文件目录，当指定文件目录时，hadoop会遍历该目录下的所有文件，但遍历不是递归的，即只遍历该目录当下的文件。如果该目录下含有目录会输出异常信息，此时reduce便不会执行，job便被视为failed，但在该子目录
·2015-10-21 10:23

没有Map和Reduce的Mapreduce（LazyMapReduce）

package mapredue.wordcount; import java.io.IOException; import org.apache.hadoop.conf.Configuration
sunasheng·2013-09-22 09:00

使用Hadoop MapReduce 进行排序

在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。
jiagou·2013-01-23 11:00

使用Hadoop MapReduce 进行排序

 在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。
keda8997110·2013-01-23 11:00

使用Hadoop MapReduce 进行排序

p=1420在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。
caodaoxi·2012-12-30 17:00

使用Hadoop MapReduce 进行排序

p=1420在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。
caodaoxi·2012-12-30 17:00

[转载]使用Hadoop MapReduce 进行排序

p=1420在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。
weixin_30439031·2012-03-16 22:00

Hadoop Streaming高级编程

1.概要本文主要介绍了HadoopStreaming的一些高级编程技巧，包括，怎样在mapredue作业中定制输出输出格式？怎样向mapreduce作业中传递参数？
hewy0526·2011-12-27 18:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他