map-reduce

MapReduce执行过程

MapReduce执行过程  2011-07-1217:06:28|  分类： 默认分类 |  标签：mapreduce执行过程  |举报|字号 订阅  1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据
wangjin161·2014-07-11 15:00

map-reduce的八个流程

下面讲解这八个流程 Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0.简介：这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--
fz2543122681·2014-07-02 21:00

Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
cbjcry·2014-06-24 17:24

Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
uule·2014-06-24 17:00

Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
uule·2014-06-24 17:00

Hadoop practice: learn video

    After one week's video learning of hadoop's deployment for HDFS, Map-Reduce,
lalaeye·2014-06-24 15:00

学习Hadoop不错的系列文章

学习Hadoop不错的系列文章   1）Hadoop学习总结   （1）HDFS简介   （2）HDFS读写过程解析   （3）Map-Reduce
郑云飞·2014-06-19 15:00

Hive 进阶

两种情况下不走map-reduce:1.whereds>''//ds是partition2.select*fromtable//后面没有查询条件，什么都没有1.建表CREATETABLEsal( idINT
fz2543122681·2014-06-18 14:00

Hadoop 新 MapReduce 框架 Yarn 详解

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/唐清原,咨询顾问简介： 本文介绍了Hadoop自0.23.0版本后新的map-reduce
Nazarite_wen·2014-06-17 15:00

自己写的第一个map-reduce程序

　　　　　　今天尝试自己写了一个map-reduce程序，感觉不错．程序完成的是wordcount的功能，代码贴出来纪念一下： package com.wjy.hadoop; import java.io.IOException
巴尾的兔兔帅·2014-06-13 19:00

Spring Data JPA入门

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
z69183787·2014-06-12 17:00

用Map-Reduce的思维处理数据

在很多人的眼里，Map-Reduce等于Hadoop，没有Hadoop谈Map-Reduce犹如自上谈兵，实则不然，Map-Reduce是一种计算模型，只是非常适合在并行的环境下运行，Hadoop是Map-Reduce
CodeMeals·2014-06-09 09:00

深入浅出学Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
John-HZ·2014-06-08 10:00

Hadoop运行原理

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数
lifuxiangcaohui·2014-06-04 14:00

原生态在hadoop上运行java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入hadoop-core-1.1.2.jar。
ozhaohuafei·2014-05-31 14:00

Hadoop 之pig篇

Pig可以看做是pig latin到map-reduce的映射器。
yangeoo·2014-05-25 13:00

Nutch 实战

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。 回页首Nutch的总体结构Nutch从总体上看来，分为三个主要的部分：爬行、索
wbj0110·2014-05-25 09:00

Nutch 实战

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。 回页首Nutch的总体结构Nutch从总体上看来，分为三个主要的部分：爬行、索
wbj0110·2014-05-25 09:00

Nutch 实战

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。回页首Nutch的总体结构Nutch从总体上看来，分为三个主要的部分：爬
wbj0110·2014-05-25 09:00

Nutch 实战

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。 回页首Nutch的总体结构Nutch从总体上看来，分为三个主要的部分：爬行、索
wbj0110·2014-05-25 09:00

Nutch 实战

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。回页首Nutch的总体结构Nutch从总体上看来，分为三个主要的部分：爬
wbj0110·2014-05-25 09:00

Map-Reduce原理

Map-ReduceMap-Reduce是由Google在2004年提出的大数据并行编程架构，分为Map（映射）和Reduce（化简）两个步骤，因此得名。它隐藏并行化、容错、数据分布、负载均衡等细节，可以搭建在普通PC上，程序员可以很方便完成大数据并行编程。并行运算的效率假如使用1个处理器花费T1时长可以完成任务，而使用了p个处理器需要Tp时长。那么加速比为：S(Speeup)=T1/Tp，效率为
zb872676223·2014-05-19 09:00

Hadoop YARN框架

第一代Map-Reduce程序的流程设计及思路 1.首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce
yangeoo·2014-05-15 17:00

Hadoop Map-Reduce编程

/* MAP REDUCE 的计算框架 INPUT -> MAP-> COMBINER -> REDUCER -> OUTPUT 计算的每个步骤皆以KEY,VALUE键值对作为输入，输出参数。 参数的类型为HADOOP封装的类型，加快数据的网络传输。 在计算之前,先对数据进行分片,通常情况下,一个分片对应一个64M的数据块,每个分片对应一个TASK. 通
yangeoo·2014-05-13 10:00

Hive官方文档

内容列表Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive配置管理概览运行时配置Hive,Map-Reduce与本地模式错误日志DDL操作元数据存储
寂寞烟·2014-04-29 15:28

基于Map-Reduce的相似度计算

 不久前（6.29），参加了ChinaHadoop的夏季沙龙，听了人人的大牛讲了基于Map-Reduce的相似度计算的优化，感觉对Map-Reduce编程模型的理解又进一步加深了，在这里把该算法总结成博文
wbj0110·2014-04-29 15:00

基于Map-Reduce的相似度计算

 不久前（6.29），参加了ChinaHadoop的夏季沙龙，听了人人的大牛讲了基于Map-Reduce的相似度计算的优化，感觉对Map-Reduce编程模型的理解又进一步加深了，在这里把该算法总结成博文
wbj0110·2014-04-29 15:00

基于Map-Reduce的相似度计算

 不久前（6.29），参加了ChinaHadoop的夏季沙龙，听了人人的大牛讲了基于Map-Reduce的相似度计算的优化，感觉对Map-Reduce编程模型的理解又进一步加深了，在这里把该算法总结成博文
wbj0110·2014-04-29 15:00

hadoop map-reduce中的文件并发操作

这样的操作在map端或者reduce端均可。下面以一个实际业务场景中的例子来简要说明。问题简要描述：假如reduce输入的key是Text(String),value是BytesWritable(byte[]),不同key的种类为100万个，value的大小平均为30k左右，每个key大概对应100个value,要求对每一个key建立两个文件，一个用来不断添加value中的二进制数据，一个用来记录
·2014-04-26 12:38

Hadoop-2.2.0中文文档——Apache Hadoop 下一代 MapReduce (YARN)

一个应用要么是一个典型的Map-Reduce工作，
ozhaohuafei·2014-04-23 14:00

Map-Reduce原理

Map-ReduceMap-Reduce是由Google在2004年提出的大数据并行编程架构，分为Map（映射）和Reduce（化简）两个步骤，因此得名。它隐藏并行化、容错、数据分布、负载均衡等细节，可以搭建在普通PC上，程序员可以很方便完成大数据并行编程。并行运算的效率假如使用1个处理器花费T1时长可以完成任务，而使用了p个处理器需要Tp时长。那么加速比为：S(Speeup)=T1/Tp，效率为
caozhankui·2014-04-22 18:00

hbase与hive的区别

白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。于是，hbase是什么？
郑云飞·2014-04-11 10:00

oozie: Workflow

WorkflowDefinitionAworkflowdefinitionisaDAGwithcontrolflownodes(start,end,decision,fork,join,kill)oractionnodes(map-reduce
ylzhj02·2014-04-03 16:00

Mahout介绍

Mahout用map-reduce实现了部分数据挖掘算法，解决了并行挖掘的问题。这里说的“解
88548886·2014-04-02 15:00

Mahout介绍

Mahout用map-reduce实现了部分数据挖掘算法，解决了并行挖掘的问题。这里说的“解
88548886·2014-04-02 07:00

Hadoop数据传输工具sqoop

sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop主要通过JDBC和关系数据库进行交互。
DavideyLee·2014-03-31 13:28

[翻译]Hive Tutorial-wiki

Hadoop在通用硬件上对数据存储和加工(使用map-reduce编程范式)提供巨大的扩张和容错能力。Hive被设计用于简化海量数据的数据汇总，即席查询和分析。
xiangel·2014-03-26 00:00

常见数据挖掘算法的Map-Reduce策略(2)

下面涉及到的数据挖掘算法会有：Logistict回归，SVM算法，关联规则apriori算法，SlopeOne推荐算法，二度人脉社交推荐算法logistictregression的map-reduce逻辑回归作为经典的分类算法
kobeshow·2014-03-16 11:00

常见数据挖掘算法的Map-Reduce策略(1)

大数据这个名词是被炒得越来越火了，各种大数据技术层出不穷，做数据挖掘的也跟着火了一把，呵呵，现今机器学习算法常见的并行实现方式：MPI，Map-Reduce计算框架，GPU方面，graphlab的图并行
kobeshow·2014-03-14 12:00

利用In-Database Analytics技术在大规模数据上实现机器学习的SGD算法

目前，适用于统计分析/机器学习的语言/库有很多，如专为数据分析用途而设计的R语言，Python语言的机器学习库Scikits，支持分布式环境扩展的有基于Map-Reduce实现的Mahout，以及分布式内存计算框架
梁堰波 徐伟辰·2014-03-14 00:00

从MaxTemperature程序来看Mapreduce 的执行过程

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
yujin753·2014-03-05 16:00

MapReduce原理剖析

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
蓝狐乐队·2014-02-20 17:00

Greenplum Hadoop视频教程 Greenplum Hadoop大数据教程

Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析》 课程讲师：蒙老师 课程分类：Java 适合人群：初级 课时数量：70课时 用到技术：MapReduce、HDFS、Map-Reduce
啊优子·2014-02-20 12:00

MultipleOutputs(二)

      在使用Map-Reduce处理大量数据时，可能有些记录同别的记录不一样，比如这些记录是不符合规范的，可以简单丢弃这些数据。
Mrknowledge·2014-02-17 13:00

Map-Reduce的过程解析

http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的
sunmenggmail·2014-01-23 11:00

PigPen 介绍：Clojure 的 Map-Reduce

这篇文章翻译自http://techblog.netflix.com/2014/01/introducing-pigpen-map-reduce-for.html。之前翻译过关于cascalog的文章（Cascalog入门（1），Cascalog入门（2））。Cascalog是基于Cascading，PigPen是基于ApachePig，两者是比较相似的东西。以下进入正文：我们今天很高兴向全世界发
ljie-PI·2014-01-18 23:00

第8周 Pig安装与Pig Latin语言，应用案例

的面向数据流的语言piglatin进行数据处理Piglatin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言Pig可以看做是piglatin到map-reduce
zq9017197·2014-01-15 10:00

第6周 Hadoop子项目与Hbase

Hadoop家族PigHadoop客户端使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce
zq9017197·2014-01-13 18:00

第5周 Map-Reduce编程实战，eclipse与Hadoop集群连接

Eclipse的Hadoop插件参考：http://blog.csdn.net/cybercode/article/details/7084603http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.htmlwin7下安装hadoop完成后，接下来就是eclipsehadoop开发环境配置了。具体的操作如下：一、在eclipse下安装
zq9017197·2014-01-11 00:00

第4周 Map-Reduce体系架构

Map-Reduce编程模型ncdc气象数据下载：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 数据中每一行就是一个时间点采集的温度信息，现在要分析一年中的最高温度。
zq9017197·2014-01-11 00:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他