hadoopmapreduce

MapReduce 示例：减少 Hadoop MapReduce 中的侧连接

本文分享自华为云社区《MapReduce示例：减少HadoopMapReduce中的侧连接》，作者：DonglianLin。
·2021-09-24 10:03

干货丨Hadoop MapReduce 作业长时间卡死怎么办？

1.问题描述当前，我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。
·2021-07-27 19:49

大数据发展情况

开源大数据1.HadoopHDFS、HadoopMapReduce,HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。2.Hypertable是另类。
kuntoria·2021-06-22 11:01

hadoop 日志

然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结HadoopMapReduce日志存放位置，帮助初学者定位自己遇到的错误。
泽林呗·2021-06-22 00:30

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
yoku酱·2021-06-19 18:43

Cascading——针对Hadoop MapReduce的数据处理API

Cascading——针对HadoopMapReduce的数据处理APIhttp://www.infoq.com/cn/news/2008/10/cascading脚本化——CascadingAPI有针对
葡萄喃喃呓语·2021-06-13 08:35

Spark MLlib机器学习库的使用

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
陈坚_1099·2021-06-12 18:09

MapReduce既是编程模型又是计算框架

而HadoopMapReduce的出现，使得大数据计算通用编程成为可能。我们只要遵循MapReduce编程模型编写业务处理逻辑代码，就可以运行在Hadoop分布式集群上，无需
tracy_668·2021-06-07 02:49

hadoop离线day06--Hadoop MapReduce、HDFS高阶

hadoop离线day06--HadoopMapReduce、HDFS高阶今日内容大纲#1.MapReduce数据压缩自定义分组分组在reduce阶段前后key比较相同的在一组一组去调用一次reduce
Vics异地我就·2021-05-31 21:51

hadoop离线day05--Hadoop MapReduce

hadoop离线day05--HadoopMapReduce今日内容大纲#1、MR序列化机制什么叫做序列化使用场景Java中序列化机制Hadoop序列化机制Writable自定义对象类型能否在MR中使用传递
Vics异地我就·2021-05-28 21:37

Hadoop深入浅出MapReduce详解（全网最细）

文章目录前言-MR概述1.HadoopMapReduce设计思想及优缺点设计思想优点：缺点：2.HadoopMapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段
清风画扇·2021-05-28 15:23

2021年大数据Hadoop（十六）：MapReduce计算模型介绍

目录本系列历史文章前言MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思如何对付大数据处理：分而治之构建抽象模型：Map和Reduce统一构架，隐藏系统层细节本系列历史文章
Lansonli·2021-05-28 08:34

分布式计算框架MapReduce

MapReduce概述源自于Google的MapReduce论文，论文发表于2004年2月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据离线处理&
一杯敬朝阳一杯敬月光·2021-05-26 21:27

hadoop离线day04--Hadoop MapReduce

目录hadoop离线day04--HadoopMapReduce今日内容大纲初始MapReduceMapReduce思想HadoopMapReduce设计构思如何面对大数据场景构建了函数式编程模型MapReduce
Vics异地我就·2021-05-26 20:02

hadoop认识与环境部署(版本2.6.4)

Hadoop认识Hadoop包含的模块:HadoopCommon：支持其他hadoop模块的公用工具包；HDFS：高吞吐量访问的分布式文件系统；HadoopYARN：任务调度和集群资源管理的框架；HadoopMapReduce
4762d2980c91·2021-05-17 22:40

spark-2.2.0集群的安装

特点：Speed:在内存中运行程序的速度比HadoopMapReduce快100倍，或者在磁盘上快10倍。ApacheSpark拥有先进的DAG执行引擎，支持非循环数据流和内存计算。
盗梦者_56f2·2021-05-14 00:23

Hadoop概述

Apache所开发的分布式系统基础架构，是适合海量数据的分布式存储和分布式计算的平台，Hadoop目前有四个模块，Hadoopcommon、HadoopDistributedFileSystem（HDFS）、HadoopMapReduce
xiao_小鱼·2021-05-01 19:32

PySpark笔记(一)：Spark简介与安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同MapReduce
Daisy丶·2021-04-30 00:19

Spark优化----开发调优(上)

Saprk在大数据领域的地位Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点;但不同于MapReduce
利伊奥克儿·2021-04-26 16:44

20170928周五开会小结

Hadoopmapreduce：主要是看了mapreduce相关的论文以及实现了一个简单的mapreducemapreduce相关的一篇文章HDFS：对HDFS有了初步的了解，但还没有动手进行相关的实验
泽林呗·2021-04-23 10:11

Scala库：Scalding

Twitter开源软件列表http://www.infoq.com/cn/articles/twitter-open-source-listScala库：ScaldingScalding是一个Scala库，简化了HadoopMapReduce
葡萄喃喃呓语·2021-04-21 15:42

大数据知识整理

1.hadoopMapReduce工作原理https://blog.csdn.net/tanggao1314/article/details/51275812MapReduce运行原理详解http://
gannicus820·2021-04-19 16:15

五十九、Oozie的简介与安装

Oozie是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。
象在舞·2021-04-16 08:45

干货丨Hadoop MapReduce 作业长时间卡死怎么办？

1.问题描述当前，我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。
·2021-04-12 21:30

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

但是对接业界各种大数据计算框架（例如HadoopMapReduce、Spark、Flink等）都需要专门定制化开发，迭代维护非常不灵活，难以跟上开源社区
·2021-03-29 18:17

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

但是对接业界各种大数据计算框架（例如HadoopMapReduce、Spark、Flink等）都需要专门定制化开发，迭代维护非常不灵活，难以跟上开源社区
·2021-03-25 16:06

Hbase集群安装指南

HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。
阿懒土灵·2021-03-11 08:58

【大数据架构综述】计算引擎篇之Spark概述

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
LanternTeam·2021-01-17 22:11

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

DataNode1.3.MapReduce1.3.1.Client1.3.2.JobTracker1.3.3.TaskTracker1.3.4.Task1.3.5.ReduceTask执行过程1.4.HadoopMapReduce
Java_Yhua·2021-01-05 11:41

MapReduce mapTask阶段

详细：hadoopmapreduce相关类FileInputFormatMap阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。
Keepromise·2020-12-15 19:29

hadoop mapreduce相关类 FileInputFormat

hadoopmapreduce相关类FileInputFormat官方链接http://hadoop.apache.org/docs/r2.9.1/api/功能InputFormat会生成一个RecordReader
Keepromise·2020-12-12 21:33

Hadoop之MapReduce详细工作流程

HadoopMapReduce全流程分析总结InputFormat阶段Map阶段Shuffle阶段Reduce阶段OutputFormat阶段InputFormat阶段根据输入格式：InputFormat
海绵不老·2020-11-21 22:15

什么是 Spark? 为什么存在 Spark?

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
养乐多要吸管·2020-10-24 22:03

Hadoop组成

HadoopMapReduce：一个分布式的资源调度和离线并行计算框架。HadoopYarn：基于HDFS,用于作业调度和集群资源管理的框架。
代码包工头·2020-10-08 18:16

Spark大数据处理框架入门-包括生态系统、运行流程以及部署方式

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架。
我愿痴狂·2020-09-16 12:09

HBase Shell命令大全

利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。二
宝宝不哭^_^·2020-09-16 04:11

在（MRv1)中JobTracker工作方式

在HadoopMapReduce中，JobTracker具有两种不同的职责：管理集群中的计算资源，这涉及到维护活动节点列表、可用和占用的map和reduceslots列表，以及依据所选的调度策略将可用slots
weixin_33932129·2020-09-16 04:55

Hadoop MapReduce框架介绍

HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。
.神技屋子·2020-09-16 03:20

大数据学习笔记(spark)

Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中
smy12138·2020-09-16 03:48

个人Hadoop学习笔记

生态等等场景大数据重点核心思想分而治之并行计算计算向数据移动数据本地化读取Hadoop的项目中，包含了如下模块HadoopCommonHadoopDistributedFileSystem(HDFS)HadoopYARN（分布式资源管理）HadoopMapReduce1
一坨坤哥·2020-09-16 01:32

PySpark机器学习案例--分类与聚类

基于逻辑回归算法的机器学习（分类）要求：text含有“spark”的lable标记为1，否则标记为0训练数据集：#训练数据idtextlabel0"abcdespark"1.01"bd"0.02"sparkfgh"1.03"hadoopmapreduce
Hadoop_Liang·2020-09-15 13:29

深入剖析MapReduce架构及原理(一)

MapReduce来源HadoopMapReduce源于Google在2004年12月份发表的MapReduce论文。HadoopMapReduc
一尘在心·2020-09-15 06:03

Hadoop-02

HadoopMapReduce：一个分布式的离线并行计算框架。
张大坏·2020-09-15 02:20

Spark初识入门Core （一）

处理数据五：spark的Application六:spark日志清洗七：回顾一：spark简介1.1spark的来源Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce
weixin_34026276·2020-09-14 11:45

Hadoop中的HDFS学习总结

HadoopMapReduce：一个分布式的资源调度和离线并行计算框架。HadoopYarn：基于HDFS,用于作业调度和集群资源管理的框架。
胡子球手·2020-09-14 08:33

Hadoop MapReduce之作业提交（客户端)

HadoopMapReduce之jar文件上传在提交作业时，我们经常会执行下面类似命令：hadoopjarwordcount.jartest.WordCount，然后等待作业完成，查看结果。
__海盗__·2020-09-14 02:10

spark、Scala的安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
墨染烟华·2020-09-14 01:48

Hadoop 学习研究：MapReduce shuffle过程剖详解及参数配置调优

MapReduce简介在HadoopMapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。
午后的红茶meton·2020-09-13 20:08

hadoop 日志存放位置总结

然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结HadoopMapReduce日志存放位置，帮助初学者定位自己遇到的错误。
程序员成长史·2020-09-13 19:54

Haloop介绍

Haloop用户手册：http://code.google.com/p/haloop/wiki/UserManual1.介绍Haloop是一个HadoopMapReduce框架的修改版本，其目标是为了高效支持迭代
dandingyy·2020-09-13 18:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他