mapreducer

1）Hive基本概念

优点：1）操作采用SQL语法，简单容易上手2）避免了去写MapReducer，减少开发人员的学习成本3）Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合4）Hive优势在于处理大数据
bullion·2019-03-19 18:22

Spark精华问答 | Spark 会替代Hadoop 吗?

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果
csdn业界要闻·2019-03-01 10:46

Spark精华问答 | Spark 会替代Hadoop 吗?

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果
CSDN云计算·2019-03-01 10:46

Spark精华问答 | Spark的三种运行模式有何区别？

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右，是hadoop的升级版本，Hadoop作为第一代产品使用HDFS，第二代加入了Cache来保存中间计算结果
csdn业界要闻·2019-01-28 12:18

单词统计,MapReducer处理数据,写入HBase数据库(案例)

WordCountDemopackagecom.word;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;importorg.a
瓶中怪·2019-01-17 21:26

MapReduce阶段源码分析以及shuffle过程详解

MapReducer工作流程图：1.MapReduce阶段源码分析1）客户端提交源码分析解释：  -判断是否打印日志  -判断是否使用新的API，检查连接  -在检查连接时，检查输入输出路径，计算切片，
原生zzy·2019-01-13 15:51

Hadoop(MapReducer)

MapReduce进程一个完整的mapreduce程序在分布式运行时有三类实例进程：1）MrAppMaster：负责整个程序的过程调度及状态协调。2）MapTask：负责map阶段的整个数据处理流程。3）ReduceTask：负责reduce阶段的整个数据处理流程。MapReduce编程规范用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)1）Map
有个机车梦·2018-12-03 22:15

学习Hadoop权威指南之MapReducer气象数据分析

阅读更多气象数据集关于MapReduceMapReduce是一种可用于数据处理的编程模型，它本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，这里我们先看一个数据集。我们今天的目的是：在大批量的气象数据中，获取每年每月的最高气温。数据格式我们使用的数据来自于权威指南提供的美国国家气候数据中心，该数据按行为单位，每
cboss8·2018-08-09 14:00

学习Hadoop权威指南之MapReducer气象数据分析

阅读更多气象数据集关于MapReduceMapReduce是一种可用于数据处理的编程模型，它本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，这里我们先看一个数据集。我们今天的目的是：在大批量的气象数据中，获取每年每月的最高气温。数据格式我们使用的数据来自于权威指南提供的美国国家气候数据中心，该数据按行为单位，每
cboss8·2018-08-09 14:00

Hadoop实战之mapreduce的WordCount统计单词数目

一.Hadoop实战之mapreduce的WordCount统计单词数目1.前言：上一篇文章[MapReducer项目结构分析](https://blog.csdn.net/ITBigGod/article
csdnzoutao·2018-05-06 18:23

Hadoop实战之MapReducer项目结构分析

一.MapReducer项目结构分析1.前言参考本例子前：1.需要确保搭建好了hadoop集群环境。2.安装了eclipse开发hadoop的环境。
csdnzoutao·2018-05-06 17:22

day04_mapReducer的例子和shuffle的过程

上次已经知道如何写一个简单的MapReducer程序来统计文件中各个单词出现的个数了，是输出到来了同一个文件，并且结果的排序是按照key的索引的默认顺序进行排列的，今天我们还进行制定排序算法和分组输出结果文件
小小初行者·2018-03-18 14:26

day03-MapReducer基本使用 8天学会Hadoop基础

1.MapReduce统计文件的单词出现的个数Mapper:处理具体文本，发送结果Reducer:合并各个Mapper发送过来的结果Job:制定相关配置，框架Mapperpackagecn.itcast.hadoop.mr.wordcount;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.ap
小小初行者·2018-03-18 12:21

MapReducer任务在到Yarn上运行流程分析

以WordCount为例publicclassWordCount{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();if(other
搬砖程序猿·2018-02-02 00:23

Hadoop集群(五) Hive安装

再也不用担心编写Mapreducer的痛苦了。首先还是简单介绍一下Hive吧Hive是基于Hadoop的数据仓库解决方案。
hsbxxl·2017-12-24 16:44

hadoop系列三:mapreduce的使用(一)

本来mapreducer只想写一篇的，可是发现写一篇太长了，所以就进行了拆分。所有的部分都提供代码下载目
gongxiaojiucom足球资讯网·2017-07-30 13:40

hive中的join

多个表进行join的MapReducer任务的数量根据最典型的学生课程表，由于学生和课程之间是多对多的关系，所以需要一张中间表stundet_course表进行关联案例一：查询学生课程信息selectstu
qq_21050291·2017-06-14 10:00

mapreducer数据结果输出到mysql

packagecom.xxxx.wujiang.mysql;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;importjava.io.UnsupportedEncodingException;importjava.sql.PreparedStatement;importjava.sql.Resu
a2615381·2016-12-02 14:17

hive 使用TEZ的安装配置

Tez是从MapReduce计算框架演化而来的通用DAG计算框架，可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎，它天生融入Hadoop2.0中的资源管理平台YARN，且由Hadoop2.0
gao634209276·2016-08-27 00:57

hadoop本地调试模式，测试 mapreducer

这次使用的是 win下开发MR代码，可以进行debug模式进行调试，当没有问题的时候，可以修改一下源文件名，然后上传到linux运行基本数据dept文件内容：10,ACCOUNTING,NEWYORK20,RESEARCH,DALLAS30,SALES,CHICAGO40,OPERATIONS,BOSTON emp文件内容：7369,SMITH,CLERK,7902,17-12月-80,800,,
a2615381·2016-04-05 15:00

MapReducer之Mapper中的Split切片原理(即影响MapTask数目的原因)

今天看到有朋友问到了MapTask的相关问题,我觉得有必要发个博客结合源码整个解析一下.一、首先，我们看到Map运行的时候不同文件启动了不同数量的map任务，但是JOB中又没有设置map数量的配置，其实map运行时MRAppMaster请求RM资源运行的MapTask是由map前的文件切片所决定的（虽然split默认等于blocksize但是决不等同于blocksize）二、原理：分发到各个节点的
ProgrammerJiang·2016-03-18 00:00

apache开源项目 -- tez

Tez是从MapReduce计算框架演化而来的通用DAG计算框架，可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎，它天生融入Hadoop2.0中的资源管理平台YARN，且由Hadoop2.0
慧可·2016-01-06 13:00

【重拾】MapReducer[第一篇]

   昨天听朋友说了一个题目，具体的题目忘了！有数据是这样的：        要得到结果试着样的：1    2 2    2 3    3 4    1 5    1    对左侧数据的统计，对右侧数据的去重；当左侧相同时，右侧也相同，之记录一次；当左侧相同，右侧不同，左侧数据次数累加；当左侧不相同，右侧也不相同时候，左侧数据累加统计。    了解过大意以后发现这个就是对数据的去重统
碧�h丶Super·2015-12-06 20:01

[置顶] MapReduce编程实践习题集

持续更新中.................一：概念篇     1：MapReducer中的多次归约处理     2：Mapeduce编程八大步骤二：编程篇     1：MapReduce编程实例之wordcount
Gamer_gyt·2015-11-24 16:00

关于小改CF协同过滤至MapReducer上的一些心得

至上次重写ID3 MR版之后，手贱继续尝试CF。之前耳闻CF这两年内非常火，论内某大神也给了单机版（90%代码来自于其）。所以想试试能否改到MR上。整体来说，CF本身的机制以相似性为核心，与迭代调用几乎无关联。所以在MR上的表现，未必能完全发挥MR作用。基本上是线性路子，一走到底。原先网上也有不少CF的介绍，不过以文文图图居多，对CF的时序性逻辑表达较少，讲的比较隐晦，现在通过代码剖析重新将其展现
·2015-11-13 22:45

Python运行MapReducer程序时所遇异常

landen@Master:~/UntarFile/hadoop-1.0.4$ bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -mapper home/landen/UntarFile/hadoop-1.0.4/PythonMR/wordMapper.py -reducer /home/landen/UntarFile/ha
·2015-11-13 09:08

MapReducer Counter计数器的使用,Combiner ,Partitioner,Sort,Grop的使用,

一:Counter计数器的使用 　　hadoop计数器:可以让开发人员以全局的视角来审查程序的运行情况以及各项指标，及时做出错误诊断并进行相应处理。 　　内置计数器（MapReduce相关、文件系统相关和作业调度相关） 　　也可以通过http://master:50030/jobdetails.jsp查看 /** * 度量,在运行job任务的时候产生了那些j输出.通过计数器可以
·2015-11-11 06:41

mapreduce作业单元测试

用官方提供的MRunit包进行对MapReducer作业进行测试 http://mrunit.apache.org/ 先要下载对应的测试包，分为1.0和2.0的hadoop版本   来自
·2015-10-30 16:04

MapReducer中的多次归约处理

我们知道，MapReduce是分为Mapper任务和Reducer任务，Mapper任务的输出，通过网络传输到Reducer任务端，作为输入。在Reducer任务中，通常做的事情是对数据进行归约处理。既然数据来源是Mapper任务的输出，那么是否可以在Mapper端对数据进行归约处理，业务逻辑与Reducer端做的完全相同。处理后的数据再传送到Reducer端，再做一次归约。这样的好处是减少了网络
Gamer_gyt·2015-07-28 09:00

吴超-----MapReducer中的多次归约处理

文章来源：http://www.superwu.cn/2013/08/16/488/我们知道，MapReduce是分为Mapper任务和Reducer任务，Mapper任务的输出，通过网络传输到Reducer任务端，作为输入。在Reducer任务中，通常做的事情是对数据进行归约处理。既然数据来源是Mapper任务的输出，那么是否可以在Mapper端对数据进行归约处理，业务逻辑与Reducer端做的
buster2014·2015-05-09 16:00

1112工作总结

 本想已经把mapreducer编好了，可却没成想今天确实怂了一路。
rainbow_小春·2014-11-12 17:00

基于mapreducer的图算法

作者现就职阿里巴巴集团1688技术部引言周末看到一篇不错的文章“GraphTwiddlinginaMapReduceworld”，介绍MapReduce下一些图算法的实现。文章语言质朴，介绍很多实用图优化技巧。文章2009年发表，至今已经被引用183次，足以证明这篇文章价值。目前这篇文章网上已经有人对这篇文章做了介绍，但仅介绍了其中最简单的两个算法，对其中的所做优化，并没有做分析。为了加深对文章算
dannypolyu·2014-08-18 23:29

Spark - 大数据Big Data处理框架

 Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-08-04 10:00

Spark - 大数据Big Data处理框架

 Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-08-04 10:00

Spark - 大数据Big Data处理框架

 Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-08-04 10:00

Spark - 大数据Big Data处理框架

Spark - 大数据Big Data处理框架 (2014-01-26 20:38:54)转载▼ 标签： 大数据行业信息 it Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer
scholltop·2014-08-03 08:00

Spark - 大数据Big Data处理框架

Spark - 大数据Big Data处理框架 (2014-01-26 20:38:54)转载▼ 标签： 大数据行业信息 it Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer
scholltop·2014-08-03 08:00

Spark - 大数据Big Data处理框架

阅读更多Spark-大数据BigData处理框架(2014-01-2620:38:54)转载▼标签：大数据行业信息itSpark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer
scholltop·2014-08-03 08:00

Spark - 大数据Big Data处理框架

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-07-08 11:00

Spark - 大数据Big Data处理框架

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-07-08 11:00

Spark - 大数据Big Data处理框架

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
wbj0110·2014-07-08 11:00

hadoop之Pig(一)--简介

MapReducer的一个主要的缺点就是开发的周期太长了。
MNTMs·2014-05-31 02:00

Spark - 大数据Big Data处理框架

Spark是一个针对超大数据集合的低延迟的集群分布式计算系统，比MapReducer快40倍左右。
lantian0802·2014-03-25 13:00

hadoop mapreduce执行流程

Hadoop的mapreducer的执行过程如下：这100台机器上面的map都是并发、独立
chenyi8888·2012-09-17 16:00

mapreduce作业单元测试

用官方提供的MRunit包进行对MapReducer作业进行测试 http://mrunit.apache.org/ 先要下载对应的测试包，分为1.0和2.0的hadoop版本   来自
piaoling·2012-09-06 14:00

mapreduce作业单元测试

阅读更多用官方提供的MRunit包进行对MapReducer作业进行测试http://mrunit.apache.org/先要下载对应的测试包，分为1.0和2.0的hadoop版本来自：https://
piaoling·2012-09-06 14:00

HBase 之TableOutputFormat

  MapReducer的输出导入到HBase有多种方式可以实现，TableOutputFormat就是其中一种.1.hbase建表 hbase(main):132:0* create 't1
yyj0531·2011-08-29 16:33

HBase 之TableOutputFormat

MapReducer的输出导入到HBase有多种方式可以实现，TableOutputFormat就是其中一种.1.hbase建表hbase(main):132:0* create 't1','f1' 0
yyj0531·2011-08-29 16:33

mapreduce过程分析

这里还要注意的是关于combiner,设置combiner函数后整个mapreducer过程中其实有三处地方会调用到。
aronlulu·2011-04-18 16:43

mapreduce过程分析

这里还要注意的是关于combiner,设置combiner函数后整个mapreducer过程中其实有三处地方会调用到。
aronlulu·2011-04-18 16:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他