map-reduce

Hadoop — 分布式计算框架 Map-Reduce（初识 ）

#分布式计算框架->Map-Reduce #MapperMap-reduce的思想就是“分而治之”Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行 “简单的任务” 有几个含义:1数据或计算规模相对于原任务要大大缩小
PeersLee·2015-11-05 12:00

Hadoop学习总结之五：Hadoop的运行痕迹

Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop学习总结之四：Map-Reduce的过程解析
·2015-11-02 18:21

百度Hadoop分布式系统揭秘：4000节点集群

底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调
·2015-11-02 15:05

使用Actor模型对词频统计程序进行多线程优化

但是它却有很大的优化余地，甚至可以分布式到多台机器中（Map-Reduce模型）。但是，在单机中搞这么复杂反而会增加运行时间和内存。 我们希望将它改造成多线程。
·2015-11-01 13:21

Hadoop 新 MapReduce 框架 Yarn 详解

简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；
·2015-11-01 13:09

hadoop中最简单最简单的map-reduce

大多数的第一个map-reduce程序都是WordCount，但对于初学者来说，想要弄懂WordCount的流程不是一件简单的事，这里我就把WordCount拆分一下，只map不reduce。
zhangqi_gsts·2015-11-01 12:00

Hadoop学习总结之三：Map-Reduce入门

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第
·2015-11-01 12:08

Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。
·2015-11-01 12:08

MapReduce源码分析总结

转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读
·2015-11-01 12:35

使用Actor模型对词频统计程序进行多线程优化-Anran

但是它却有很大的优化余地，甚至可以分布式到多台机器中（Map-Reduce模型）。但是，在单机中搞这么复杂反而会增加运行时间和内存。 我们希望将它改造成多线程。
·2015-11-01 11:31

Hadoop学习总结：Map-Reduce的过程解析

一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。
·2015-11-01 08:16

Hadoop学习总结：Map-Reduce入门

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第
·2015-11-01 08:16

ElaticSearch网站

so.searchtech.pro/articles/2013/06/16/1371392427213.html   What I believe to be the best combination is: map-reduce
·2015-10-31 10:37

深入浅出学Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
·2015-10-31 10:29

Hadoop 学习总结之三：Map-Reduce入门

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25
·2015-10-30 12:37

每天收获一点点------Hadoop概述

一、Hadoop来历 　　Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce
·2015-10-30 11:58

Gora官方文档之二：Gora对Map-Reduce的支持

参考官方文档：http://gora.apache.org/current/tutorial.html 项目代码见：https://code.csdn.net/jediael_lu/mygorademo 另环境准备见： http://blog.csdn.net/jediael_lu/article/details/43272521 当着数据已通过之前的示例存储在hbase中，数据如下：
·2015-10-28 09:17

Hadoop学习总结：Hadoop的运行痕迹

Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop学习总结之四：Map-Reduce的过程解析
·2015-10-27 15:27

hadoop环境安装及简单Map-Reduce示例

  说明：这篇博客来自我的csdn博客，http://blog.csdn.net/lxxgreat/article/details/7753511   一.参考书：《hadoop权威指南--第二版（中文）》 二.hadoop环境安装 1.安装sun-jdk1.6版本 1）目前我只在一台服务器（CentOS5.5）上搭建hadoop环境，因此先卸载已安装的java1
·2015-10-27 15:18

mongodb（map-reduce）

下例中给出mongoose的一个mapreduce例子，参考mongoose官网。 基本概念： Map函数 接受一个键值对（key-value pair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。 Reduce函数 接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）
·2015-10-27 14:48

Hbase 学习（十一）使用hive往hbase当中导入数据

　　 　　我们可以有很多方式可以把数据导入到hbase当中，比如说用map-reduce，使用TableOutputFormat这个类，但是这种方式不是最优的方式。 　　
·2015-10-27 12:13

oozie 运行demo

oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties –run
·2015-10-27 12:11

Hadoop 新 MapReduce 框架 Yarn 详解

简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；
·2015-10-27 11:07

详解Spring Data JPA

SpringData 项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
offbye·2015-10-23 16:00

python 实现Hadoop的partitioner和二次排序

我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Partition->Reduce->Output。
·2015-10-23 08:04

Hadoop源码分析

map-reduce如何确定map和reduce任务的个数的？根据输入文件的大小？ map执行完之后的临时文件是写在本地还是
·2015-10-21 12:56

单机安装Hadoop环境

目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。
·2015-10-21 10:57

hadoop eclipse mapreduce开发环境配置

（转）map-reduce eclipse开发环境配置配置过程很简单，把hadoop目录下的contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar
·2015-10-21 10:39

Hadoop家族的各个成员

2、Map-Reduce数据保存后，我们怎样处理这些数据呢，如
微笑 呵呵 笑·2015-10-02 07:00

Hunk/Hadoop: 性能最佳实践

运行Map-Reduce任务[Hunk]Hunk运行在Hadoop之上，但是这并不意味着一定做到有效的使用。
Jonathan Allen·2015-09-28 00:00

Hunk/Hadoop: 性能最佳实践

运行Map-Reduce任务[Hunk]Hunk运行在Hadoop之上，但是这并不意味着一定做到有效的使用。
Jonathan Allen·2015-09-28 00:00

Hunk/Hadoop: 性能最佳实践

\\运行Map-Reduce任务[Hunk]\\Hunk运行在Hadoop之上，但是这并不意味着一定做到有效的使用。
昵称4·2015-09-27 19:00

NUMA

如果每个core的工作性质都是share-nothing（类似于map-reduce的node节点的作业属性），那么也许就不会有NUMA。由于所有CPUCore都是通过共享一个
m635674608·2015-09-15 00:00

深入浅出学Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData包含多个子
offbye·2015-09-01 11:00

Hadoop准备篇之（一）：Page Rank算法初探

为什么会将PageRank放在hadoop学习笔记里，是因为hadoop课程第一周就重点提到了Google当年三大论文（GFS,Map-Reduce和BigTable）以及hadoop思想的来源，并提到了
zzc1684·2015-08-21 09:00

Google抛弃MapReduce使用Cloud Dataflow

CloudDataflow比原生的Map-Reduce强在哪儿？  
oywl2008·2015-08-17 02:00

hadoop1存在的问题及hadoop2的优势对比

Hadoop1.0 从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
i_bobby·2015-08-03 18:00

demo程序WordCount

最近在学习云计算，研究Haddop框架，费了一整天时间将Hadoop在Linux下完全运行起来，看到官方的map-reduce的demo程序WordCount，仔细研究了一下，算做入门了。 
moonpure·2015-07-21 11:00

Map-Reduce下使用Streaming实现 WordCount

一、环境说明：jdkversion：1.6Hadoopversion：1.1.2模式：伪分布模式Linux环境：Centos6.4HDFS文件目录结构：//home/user/user/root二、实现流程1.启动hadoop并查看相应进程是否启动①start-all.sh——启动hadoop终端输出以下信息：startingnamenode,loggingto/usr/local/hadoop/
u013575812·2015-07-19 23:00

Hadoop/Spark相关面试问题总结

Hadoop/Spark相关面试问题总结面试回来之后把其中比较重要的问题记了下来写了个总结：（答案在后面）1、简答说一下hadoop的map-reduce编程模型2、hadoop的TextInputFormat
qq1010885678·2015-07-16 20:00

开源大数据查询分析引擎现状

引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。
ShiZhixin·2015-07-14 16:00

Mongodb高级篇-MapReduce

可以像下面这样写：map-reduce执行顺序显而易见：1、执行qu
1angxi·2015-07-09 18:23

MongoDB学习笔记---MapReduce

MongoDB学习笔记—MapReduceMapReduce1.mapreduce是根据map函数里调用的emit函数的第一个参数来进行分组的Map-Reduce是一种计算模型，简单的说就是将大批量的工作
dotuian·2015-07-03 16:56

map-reduce入门

map-reduce入门  最近在改写mahout源码，感觉自己map-reduce功力不够深厚，因此打算系统学习一下。
linger2012liu·2015-07-01 19:00

spring data jpa

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
Java蜗牛·2015-07-01 14:57

spring data jpa

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
hao707822882·2015-07-01 14:00

关于Hadoop学习的感悟（一）

吐槽-，-可以说对Map-Reduce的理
zjx409·2015-06-27 14:00

第一章：Spring Data JPA入门

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支持跨数据库
usench·2015-06-25 16:00

MongoDB聚合命令比较

实施Map-Reduce聚合以处理大数据集合。提供分组功能。比aggreg
UltraSQL·2015-06-12 14:28

相似度计算map-reduce实现思路

相似度计算map-reduce实现思路输入：1f(1)2f(2)3f(3)4f(4) mapper:1,2f(1)1,3f(1)1,4f(1)1,2f(2)2,3f(2)2,4f(2)1,3f(3)2,3f
linger2012liu·2015-05-31 16:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他