hadoopmapreduce

Hadoop运行流程分析

1.概述HadoopMapReduce基于“分而治之”的思想，将计算任务抽象成map和reduce两个计算过程，计算流程如下：map过程包括：1).从磁盘读入数据2).运行map任务3).写结果到磁盘reduce
luo_yifan·2013-08-13 11:00

Hadoop MapReduce&Eclipse plugin插件安装

HadoopMapReduce&Eclipseplugin插件安装首先将插件拷贝到eclipse的plugin目录配置hadoop的安装路径选出MapReduce视图设置Map/Reducemaster
一头猪的命运·2013-08-06 17:00

Cascading——针对Hadoop MapReduce的数据处理API

http://www.hadooper.cn/dct/page/65670Cascading——针对HadoopMapReduce的数据处理API        CascadingAPI的核心概念是管道和流
caolaosanahnu·2013-08-01 18:00

Hadoop新Mapreduce框架Yarn<转>

HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考 Hadoop
yongjian_luo·2013-07-25 10:00

使用MRUnit，Mockito和PowerMock进行Hadoop MapReduce作业的单元测试

引言HadoopMapReduce作业有着独一无二的代码架构，这种代码架构拥有特定的模板和结构。这样的架构会给测试驱动开发和单元测试带来一些麻烦。
Michael Spicuzza·2013-07-16 00:00

Hadoop 生态系统

狭义的Hadoop核心只包括HadoopCommon、HadoopHDFS和HadoopMapReduce三个子项目，但和Hadoop核心密切相关的，还包括Avro、ZooKeeper、Hive、Pig
a_alter·2013-07-05 10:00

Hadoop Streaming框架使用

HadoopStreaming框架使用（一）Streaming简介 Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用，方便已有程序向Hadoop平台移植。
overstack·2013-06-27 14:00

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
huoyunshen88·2013-06-25 13:00

用Hadoop AVRO进行大量小文件的处理

2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF
zuochanxiaoheshang·2013-06-18 19:00

用Hadoop AVRO进行大量小文件的处理

2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF
zuochanxiaoheshang·2013-06-18 11:00

HBase MapReduce实例分析 - 新城主力唱好 - 博客园

很好理解本文前提是你对HadoopMapReduce有一定的了解，如果你是初次接触HadoopMapReduce编程，可以参考 "第一个MapReduce应用" 这篇文章来建立基本概念。 
·2013-06-09 00:00

Hadoop深入学习：MapReduce

       本节我们主要来学习HadoopMapReduce分布式计算框架，它主要分为两部分：编程模型和运行时环境。       
flyingdutchman·2013-05-25 23:00

Hadoop MapReduceV2(Yarn) 框架简介

HadoopMapReduceV2(Yarn)框架简介原HadoopMapReduce框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop
乐路·2013-05-17 14:22

hadoop集群监控工具ambari安装

Ambari向HadoopMapReduce、HDFS、HBase、Pig,Hive、HCatalog以及Zookeeper提供服务。
paulwong·2013-05-03 13:00

hbase 数据模型详解

阅读更多HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务
ganliang13·2013-04-27 11:00

hbase 数据模型详解

阅读更多HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务
ganliang13·2013-04-27 11:00

Hive决定reducer个数的标准

HadoopMapReduce程序中，reducer个数的设定极大影响执行效率，这使得Hive怎样决定reducer个数成为一个关键问题。
iteye_1344·2013-04-21 22:26

Mapreduce

【二】整合Cassandra与HadoopMapReduce看到这个标题，大家一定会问了。这个整合如何定义？
飞火流云·2013-04-18 22:42

Mapreduce

【二】整合Cassandra与HadoopMapReduce看到这个标题，大家一定会问了。这个整合如何定义？
cloudeagle_bupt·2013-04-18 22:00

hbase扫盲贴

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
leoleocmm·2013-04-17 17:00

hadoop mapreduce 解决 top K问题

hadoopmapreduce解决topK问题网上搜索到的那个topK问题的解法，我觉得有些地方都没有讲明白。
月貘苏·2013-04-01 11:44

hadoop mapreduce 解决 top K问题

hadoopmapreduce解决topK问题网上搜索到的那个topK问题的解法，我觉得有些地方都没有讲明白。
Athenaer·2013-04-01 11:00

hadoop 源码分析(五)hadoop 任务调度TaskScheduler

阅读更多hadoopmapreduce之所有能够实现job的运行,以及将job分配到不同datanode上的map和reducetask是由TaskSchduler完成的.TaskSchedulermapreduce
黎明lm·2013-04-01 11:00

hadoop 源码分析(五)hadoop 任务调度TaskScheduler

hadoopmapreduce 之所有能够实现job的运行,以及将job分配到不同datanode上的map和reducetask是由TaskSchduler完成的.TaskSchedulermapreduce
黎明lm·2013-04-01 11:00

hive 执行时reduce 任务个数 设置

HadoopMapReduce程序中，reducer个数的设定极大影响执行效率，这使得Hive怎样决定reducer个数成为一个关键问题。
原创学无止尽·2013-03-28 15:49

hadoop自动化安装、管理及监控工具Ambari安装

Ambari向HadoopMapReduce、HDFS、HBase、Pig,Hive、HCatalog以及Zookeeper提供服务。
hf200012·2013-03-25 18:00

使用Python实现Hadoop MapReduce程序

转自：使用Python实现HadoopMapReduce程序英文原文：WritinganHadoopMapReducePrograminPython根据上面两篇文章，下面是我在自己的ubuntu上的运行过程
zhaoyl03·2013-03-10 21:00

hbase shell 基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
xrzs·2013-03-07 20:00

hadoop集群监控工具ambari安装

Ambari向HadoopMapReduce、HDFS、HBase、Pig,Hive、HCatalog以及Zookeeper提供服务。最近准备装ambari，在网上找了
·2013-03-06 17:00

【原创】hadoop集群监控工具ambari安装

Ambari向HadoopMapReduce、HDFS、HBase、Pig,Hive、HCatalog以及Zookeeper提供服务。
·2013-03-06 11:00

hbase基本概念和hbase shell常用命令用法

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
xq0804200134·2013-02-26 14:00

hadoop streaming的单词统计C++版

   Hadoop的Streaming框架允许任何程序语言实现的可执行程序或者脚本在HadoopMapReduce中使用，方便已有程序向Hadoop平台移植。
nuoline·2013-02-25 18:00

Hadoop Streaming机制

而Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用，特别是脚本语言，一下介绍一下hadoop的流机制
nuoline·2013-02-25 18:00

Hadoop Rumen介绍

HadoopRumen是为HadoopMapReduce设计的日志解析和分析工具，它能够将JobHistory日志解析成有意义的数据并格式化存储。R
Dong·2013-02-23 01:00

Hadoop Streaming

HadoopMapReduce和HDFS采用Java实现，默认提供Java编程接口，另外提供了C++编程接口和Streaming框架。
xiaolang85·2013-01-19 18:00

hadoop mapreduce 过程详解

hadoopmapreduce过程详解 1：最简单的过程：map-reduce2：定制了partitioner以将map的结果送往指定reducer的过程：map-partition-reduce3：增加了在本地先进性一次
·2013-01-05 22:00

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
huayu0815·2012-12-18 22:00

谷歌技术之MapReduce简介

Hadoop实际上就是谷歌三宝的开源实现，HadoopMapReduce对应GoogleMapReduce，HBase对应BigTable，HDFS对应GFS。
chenglinhust·2012-12-14 09:00

Facebook使用Corona提升Hadoop的可伸缩性

Facebook已经开源了Corona，这是一款内部开发的用以改善HadoopMapReduce调度的软件。Corona将集群管理和作业跟踪这两个关键任务分开。
·2012-11-21 11:00

Facebook使用Corona提升Hadoop的可伸缩性

Facebook已经开源了Corona，这是一款内部开发的用以改善HadoopMapReduce调度的软件。Corona将集群管理和作业跟踪这两个关键任务分开。
Roopesh Shenoy·2012-11-21 00:00

hbase shell基础和常用命令详解

面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》,HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce
atco·2012-11-12 10:00

10gen发布MongoDB与Hadoop连接器

连接器的核心功能主要是提供将MongoDB所存储的数据读入HadoopMapReduce，同时将MapReduce处理过的数据返还到M...10gen近
xiaotom5·2012-11-03 00:00

【Hbase】hbase基本概念和hbase shell常用命令用法

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来
cooliufang·2012-10-26 09:00

Hadoop学习01_Single Node Setup

目的本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行HadoopMapReduce和HadoopDistributedFileSystem(HDFS)运算。
烽焱10仴·2012-10-20 20:00

[置顶] Hadoop 实战之Streaming（二）

Streaming简介 Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用，方便已有程序向Hadoop平台移植。
xiaotom5·2012-10-20 08:00

对大数据进行“钻取”

Drill并不会试图取代已有的大数据批处理框架（BigDatabatchprocessingframework），如HadoopMapReduce或流处理框架（streamprocessingf
Boris Lublinsky·2012-10-08 00:00

Java 开发 2.0: 用 Hadoop MapReduce 进行大数据分析

Java开发2.0:用HadoopMapReduce进行大数据分析成堆的数据如何变成信息金矿AndrewGlover,作家和开发人员,Beacon50简介： ApacheHadoop是目前分析分布式数据的首选工具
tswisdom·2012-09-17 09:00

HBase MapReduce实例分析

很好理解本文前提是你对HadoopMapReduce有一定的了解，如果你是初次接触HadoopMapReduce编程，可以参考http://qa.taobao.com/?
cuilanbo·2012-09-14 16:00

hadoop中使用lzo压缩格式支持笔记

通常hadoop中的mapreduce作业都会产生大量都中间文件 ，当要处理当原始数据 非常大，并且在一定大map处理逻辑的情况下，这些中间文件会非常的大，hadoopmapreduce的中间文件是通过
macyang·2012-09-03 22:00

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
·2012-09-02 22:29
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他