mapreduc

Hadoop的jobhistoryserver配置

的配置信息在$HADOOP_HOME/etc/hadoop/mapred-site.xml中进行配置.我们在该文件下加入如下信息:mapreduce.jobhistory.addressmaster:10020MapReduc
过河卒子Rover·2017-01-19 15:44

使用SAS实现HADOOP Map/Reduce程序-wordcount

使用SAS实现HADOOPMAPReduce程序文章灵感来自如下文章，该文描述来如何用python实现mapreduc程序http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python
anyjack·2016-11-07 13:41

利用MapReduce对HBase数据进行统计分析

2、应用场景假设有一张HBase表article,它有一列是数据来源source，现在需要统计不同来源的文章数量(数据行数)，对于这样的简单统计需求，可以利用MapReduc
GoFastX·2016-10-27 16:18

Hadoop上编写mr计算

Reduce的数据流是这样的：Input==>Map==>MapOutput==>sortandshuffle==>Reduce==>FinalOutput使用Java编写HadoopMapReduce代码MapReduc
风行者之倾覆天下·2016-09-25 13:08

spark详解

，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduc
princemrgao·2016-09-01 11:54

hadoop spark 笔记

RDD提供数据共享的抽象，相比其他大数据处理框架，如MapReduc
闻DD·2016-08-02 15:26

MapReduce: 一种简化的大规模集群数据处理法

风里来雨里去原文：MapReduce:SimplifiedDataProcessingonLargeClusters 作者：JeffreyDeanandSanjayGhemawat转载请保留以上信息摘要MapReduc
dear_zx·2016-07-09 09:00

MapReduce: 一种简化的大规模集群数据处理法

风里来雨里去原文：MapReduce:SimplifiedDataProcessingonLargeClusters 作者：JeffreyDeanandSanjayGhemawat转载请保留以上信息摘要MapReduc
Zph1234·2016-07-08 11:00

基于mysql的hive安装配置(apache-hive-2.0.1-bin.tar.gz)

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduc
nengyu·2016-06-09 15:00

Spark 集群与数据集RDD

中集群单机模式：使用spark内置的任务调度框架基于Mesos:Mesos是一个流行的开源集群计算框架基于Yarn:hadoop2，一个与hadoop关联的集群计算和资源调度框架区别：解析hadoop新一代mapreduc
myy1012010626·2016-05-06 16:00

Hadoop之自定义输入数据（一）

MyFileInputFormat类：importjava.io.IOException; importorg.apache.hadoop.io.Text; importorg.apache.hadoop.mapreduc
young_so_nice·2016-04-30 00:00

TEZ计算引擎部署

jobhistoryserver只能储存Mapreduc
Yulong_·2016-04-25 02:00

Spark Standalone完全分布模式

MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-24 20:31

Spark Standalone完全分布模式

MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-24 20:31

Spark本地模式与Spark Standalone伪分布模式

MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-23 21:53

Spark本地模式与Spark Standalone伪分布模式

MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-23 21:53

MapReduce程序开发中的Partitioner

                                             作者：数据分析玩家 在MapReduce程序的执行过程中，也就是在Mapper阶段执行的第四步：将会对输出的键值对进行分区，在编写MapReduc
a2011480169·2016-04-04 20:00

Storm On YARN

（2）YARN：YARN是Hadoop2.0中新引入的资源管理系统，可看做Hadoop操作系统中的资源管理组件，所有应用程序和框架，比如MapReduc
GarfieldEr007·2016-03-25 12:00

【hadoop】14、hadoop2.5的mapreduce的 配置

yarn.resourcemanager.hostname hadoop1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduc
phlsheji·2016-03-06 18:00

MapReduce V1：Job提交流程之JobClient端分析

下图是《Hadoop权威指南》一书给出的MapReduc
baolibin528·2016-02-19 14:00

大数据IMF传奇 java开发hadoop wodcount和hdfs文件 ！

hadoop-eclipse-plugin-2.6.0.jar加入eclipse的插件区G:\IMFBigDataSpark2016\eclipse(java)\plugins2、切换"Map/Reduce"工作目录，eclipse出现mapreduc
duan_zhihua·2016-02-09 19:00

Hadoop集群之Hive安装配置

其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduc
blue_jjw·2016-01-07 21:39

Hadoop集群之Hive安装配置

其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduc
blue_jjw·2016-01-07 21:00

ma-大数据HDFS

2、如果存储了数据的设备发生了故障，MapReduc
chengjianxiaoxue·2015-11-16 17:00

hadoop - what is difference between Pig and Hive? - Stack Overflow

are two projects that layer on top of Hadoop, and provide a higher-level language for using Hadoop's MapReduc
·2015-11-13 22:51

分布式文件系统--GFS

《MapReduce: Simplified Data Processing on Large Clusters 》：http://research.google.com/archive/mapreduc
·2015-11-11 04:27

Hadoop-Map/Reduce实现实现倒排索引

测试数据奉上： file1：MapReduc
·2015-11-11 00:44

MapReduce API 基本概念

为了能够读取或者存储 Java 对象， MapReduc
·2015-11-01 11:35

hadoop使用第三方jar包

所以，我们自然而然想到，正确配置好对应的classpath，MapReduc
anhuiliyu·2015-10-28 14:57

hadoop入门介绍

就如同java程序员可以 不考虑内存泄露一样， MapReduc
·2015-10-27 15:24

基于计算机资源分析hadoop的默认counter

  cpu  如何衡量mapreduc
·2015-10-21 12:38

Hadoop中mapred包和mapreduce包的区别

Configured implements Tool {          public static class MapClass extends MapReduc
·2015-10-21 12:02

使用Python实现Hadoop MapReduce程序

在这个实例中，我将会向大家介绍如何使用Python 为 Hadoop编写一个简单的MapReduc
u013719780·2015-09-11 22:00

如何分布式运行mapreduce程序

如何分布式运行mapreduce程序一、首先要知道此前提   若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行
Zero零_度·2015-09-06 15:00

hadoop yarn 内存相关配置

)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务,将无需考虑资源调度.YARN会管理集群中所有机器的可用计算资源.基于这些资源YARN会调度应用(比如MapReduc
zhangxiong0301·2015-06-11 09:00

Hadoop源代码分析（包mapreduce.lib.input）

类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l      检查MapReduc
超人学院·2015-05-22 11:00

Hadoop源代码分析（包mapreduce.lib.input）

类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l      检查MapReduc
超人学院66·2015-05-22 10:22

Hadoop源代码分析（包mapreduce.lib.input）

类图如下： 类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：l      检查MapReduc
超人学院66·2015-05-22 10:22

Google Bigtable介绍

相当多的google应用使用了BigTable，比如GoogleEarth和GoogleAnalytics，因此它和GFS、MapReduc
lmh12506·2015-03-23 19:00

【转】hbase导出工具Export介绍

上语法为：bin/hbaseorg.apache.hadoop.hbase.mapreduce.Export[[[]]]下面拿表sunwg01做测试hbaseorg.apache.hadoop.hbase.mapreduc
damacheng·2015-01-04 16:00

Yarn架构基本概况(一)

中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapReduc
Android路上的人·2014-12-15 13:17

Yarn架构基本概况(一)

中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapReduc
Androidlushangderen·2014-12-15 13:00

Hadoop应用案例视频教程6折 低达4.5折

按照活动可享受低至4.5折），客户购买课程后联系修改价格咨询QQ:1840215592基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduc
mianhua521·2014-12-12 13:03

Alex 的 Hadoop 菜鸟教程: 第10课 Hive 安装和使用教程

因为Hive的实现原理是把sql语句转化为多个MapReduc
nsrainbow·2014-12-08 18:00

Apache Hive入门1

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduc
white__cat·2014-10-06 14:00

基于MySQL元数据的Hive的安装和简单测试

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduc
blueheart20·2014-08-09 23:00

hadoop 笔记

NameNodeTaskTracker对应于DataNodeDataNode和NameNode是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduc
l_y_p1990·2014-07-04 17:45

Hadoop之MapReduce程序开发流程

因此，MapReduc
wangloveall·2014-06-05 05:00

MapReduce编程实战之“I/O”

本篇通过对MapReduce模型的分析，加深对MapReduce模型的了解；并介绍MapReduc编程模型的常用输入格式和输出格式，在这些常用格式之外，我们可以扩展自己的输入格式，比如：如果我们需要把Mongo
wenyusuran·2014-05-15 10:00

大数据Lambda架构

计算视图数据是一个连续的操作，因此，当新数据到达时，使用MapReduc
GreatElite·2014-05-10 19:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他