map-reduce

MapReduce模型以及体系架构

Mapper思想：Map-reduce的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行“简单的任务”有几个含义：1数据或计算规模相对于原任务要大大缩小；2就近计算
liuqingjie_ue·2015-05-13 21:52

Spark（二） -- Spark简单介绍

所具有的优点但不同于MapReduce的是Job中间输出和结果可以保存在内存中从而不再需要读写HDFS从上面的官方解释中我们可以得到的信息时，spark是一套并行计算的框架，并且性能要比hadoop的map-reduce
qq1010885678·2015-05-11 20:00

Hadoop子项目介绍

解决非Java程序员使用Hadoop难题使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce
liuqingjie_ue·2015-05-09 11:08

Spring for Apache Hadoop 的 Reference 二

SHDP让这个过程变得很简单，不管是map-reduce类型的还是streaming。下面看一个例子： <hdp:job id=”mr-
karo_lee·2015-05-07 10:00

hive与hadoop、spark集成方案实践

Spark:实现map-reduce分析算法3.      Hive提供Spark计算的来源数据4.      
yery·2015-05-05 10:00

hadoop 基础视频1

hadoop基础视频1一，大致内容：1,源起与体系结构2，实施Hadoop集群3，分布式HDFS，大数据存储实战4，Map-Reduce体系架构5，Map-Reduce数据分析之一API实战6，HBase
c#在路上·2015-04-25 23:00

hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
wangyang1354·2015-04-20 20:00

map-reduce任务的执行流程

(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoopjar...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path=hdfs上的地址+jobId)(4).开始提交任务(任务的描述信息，不是jar,包括jobid，jar存放的位置，配置信息等等)
qq1010885678·2015-03-26 22:00

Hadoop 新 MapReduce 框架 Yarn 详解

developerworks/cn/opensource/os-cn-hadoop-yarn/Hadoop新MapReduce框架Yarn详解唐清原,咨询顾问简介： 本文介绍了Hadoop自0.23.0版本后新的map-reduce
jmppok·2015-03-25 10:00

Python+hadoop Streaming编写的Map-Reduce程序与调试运行

Hadoop的Streaming介绍Hadoop本身是用Java开发的，程序也需要用Java编写，但是通过HadoopStreaming，可以使用任意语言（python、ruby、C++等）来编写程序，让Hadoop运行。Hadoop提供了MapReduce的API,并允许使用非java的其他语言来写自己的map和reduce函数。而Streaming使用Unix标准流作为Hadoop和应用程序之
Angela_xiaoli·2015-03-24 11:12

Map-Reduce的逻辑过程

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
2k10·2015-03-23 16:00

Hadoop 新 MapReduce 框架 Yarn 详解

简介：本文介绍了Hadoop自0.23.0版本后新的map-reduce框架（Yarn)原理，优势，运作机制和配置方法等；着重介绍新的yarn框架相对于原框架的差异及改进；并通过Demo示例详细描述了在新的
2k10·2015-03-22 10:00

Hadoop MapReduce执行流程详解

原帖一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
uestc_lxp·2015-03-15 20:00

新旧 Hadoop MapReduce 框架比对

Hadoop新MapReduce框架Yarn详解简介： 本文介绍了Hadoop自0.23.0版本后新的map-reduce框架（Yarn)原理，优势，运作机制和配置方法等；着重介绍新的yarn框架相对于原框架的差异及改进
zpcandzhj·2015-03-12 15:00

MapReduce牛逼（4）WritableComparable接口

Any type which is to be used as a key in the Hadoop Map-Reduce
EclipseEye·2015-03-12 08:00

数据库垂直拆分，水平拆分利器，cobar升级版mycat

相对于目前的cobar，并发性能大大提升，而且不会陷入假死状态优化线程池的分配，目前cobar的线程池分配效率不高修复cobar一些ＢＵＧ参考impala中的impalafront部分的Java代码，实现高效的Map-Reduce
freewebsys·2015-03-03 23:00

【大数据工程师之路】Hadoop——概述

一、Hadoop来历    Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce
gwblue·2015-02-23 16:00

海量运维数据实时分析

，大量的运维数据每时每刻都在产生，从服务器硬件到业务系统，从错误日志到监控预警，大数据啊，恩，不仅得hold住还得处理和分析啊，另外还得实时性，还在使用Hadoop，NO、NO、NO，太慢了，还得手写Map-Reduce
曾勇·2015-02-20 00:00

海量运维数据实时分析

，大量的运维数据每时每刻都在产生，从服务器硬件到业务系统，从错误日志到监控预警，大数据啊，恩，不仅得hold住还得处理和分析啊，另外还得实时性，还在使用Hadoop，NO、NO、NO，太慢了，还得手写Map-Reduce
曾勇·2015-02-20 00:00

Hive基础

除了不支持更新、索引和事务，几乎SQL的其它特征都能支持   可以看成是从SQL到Map-Reduce的映射器   提供shell、JDBC/ODBC、Thrift、Web等接口Hive简介   起源自
张超·2015-02-15 17:00

Hadoop的Mapreduce运行原理详解

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数
nysyxxg·2015-02-06 17:00

Gora官方文档之二：Gora对Map-Reduce的支持

参考官方文档：http://gora.apache.org/current/tutorial.html项目代码见：https://code.csdn.net/jediael_lu/mygorademo另环境准备见：http://blog.csdn.net/jediael_lu/article/details/43272521当着数据已通过之前的示例存储在hbase中，数据如下：\x00\x00\x
jediael_lu·2015-01-31 11:00

开源大数据查询分析引擎现状

引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。
徐龙平·2015-01-28 17:28

Map-Reduce编程模型

环境：Hadoop1.2.1Map-Reduce编程模型没有reduce的简单编程模型复杂的编程模型Mapper   Map-reduce的思想就是“分而治之”   Mapper负责“分”，即把复杂的任务分解为若干个
张超·2015-01-16 11:00

下载气象数据集部分数据，写一个Map-Reduce作业，求每年的最低温度

环境：CentOS6.6   Hadoop1.2.11.设置HADOOP_PREFIX环境变量[grid@hadoop1~]$cat.bash_profile HADOOP_PREFIX=/home/grid/hadoop-1.2.1 PATH=$PATH:$HOME/bin:$HADOOP_PREFIX/bin exportHADOOP_PREFIXPATH2.准备天气数据3.解压合并4.上传到
张超·2015-01-15 23:00

开源大数据查询分析引擎现状

引言大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。
haydenwang8287·2015-01-14 14:00

hadoop yarn几个问题的记录

框架中几个功能组件介绍一：老的hadoop框架存在的问题首先我们要了解老hadoop框架中任务流程1：首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
snwz·2015-01-13 11:00

[置顶] mahout中map-reduce版的itembased推荐算法思想

mahout中map-reduce版的itembased推荐算法思想最近想写一个map-reduce版的userbased，于是先研究mahout中已实现的itembased算法。
linger2012liu·2015-01-12 23:00

Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
Flood_Dragon·2015-01-08 15:00

Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
超人学院·2015-01-06 11:00

map-reduce使用yarn的配置

需要进行三个地方的配置 1  map-redsite.xml                mapred.job.tracker           
jashuang·2014-12-30 11:00

maven打包hadoop项目（含第三方jar）

 maven打包hadoop项目（含第三方jar） 问题背景：1写map-reduce程序，用到第三方jar，怎么打包并提交项目到服务器执行。
linger2012liu·2014-12-25 00:00

mongoDB--mapreduce用法详解（经典）

Map-Reduce部分：Map-Reduce相当于关系型数据库中的groupby，主要用于统计数据之用。
u010926176·2014-12-19 14:00

hive-4 hql语句对应mapreduce简介

MapReduce的过程如下：对应map-reduce代码如下：reduce:1.2GroupBy的实现原理selectrank,isonline,count(*)fr
iteye_3893·2014-12-18 15:56

hive-4 hql语句对应mapreduce简介

MapReduce的过程如下：  对应map-reduce代码如下：  reduce:    1.2 Group By的实现原理 sel
chengjianxiaoxue·2014-12-18 15:00

Hadoop

Hadoop数据分析平台》课程内容： 第1周 Hadoop的源起与体系介绍 第2周 实施Hadoop集群 第3周 分布式文件系统HDFS原理与操作 第4周 HDFS API编程 第5周 Map-Reduce
oywl2008·2014-12-15 22:00

Hadoop运行原理详解

我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数
lwaif·2014-12-15 16:00

在Eclipse中运行hadoop程序

2、打开map-reduce视图在eclipse中，打开window——>openperspetive——>other，选择map/reduce。
jediael_lu·2014-12-14 11:00

使用MultipleOutputFormat将数据写到不同文件中

    0 引子：   目的： 将文件内容在进行map-reduce处理后，将结果写到不同的文件中(可以给不同文件重命名，取代默认生成的文件名)  
chengjianxiaoxue·2014-12-04 21:00

spring之spring data jpa(入门一)

springdata是一个用于建行数据库访问,并支持云服务的开源框架,其主要目标是使得对数据库的访问变得更方便快捷,并支持map-reduce框架和云计算数据服务.springdata包含多个字项目:Commons
H.Z·2014-12-03 14:00

文件解析成键值对(FileInputFormat RecordReader解析)

  0引子： mapreduce在执行任务的时候，是如何将外部文件进行切分，并将这些文件转换成键值对方式的（还记得map-reduce基本概念和wordcount解析 文章中提到的概念吗?） 
chengjianxiaoxue·2014-11-30 20:00

hive的基本概念和安装

除了不支持更新,索引和事务,几乎SQL的其他特征都能支持可以看成是从SQL到Map-Reduce的映射器提供shel
kinda22·2014-11-25 22:09

hive的基本概念和安装

Hive:数据仓库工具,可以把Hadoop下的原始结构化数据变为Hive中的表支持一种与SQL几乎完全相同的语言HiveQL.除了不支持更新,索引和事务,几乎SQL的其他特征都能支持可以看成是从SQL到Map-Reduce
kinda22·2014-11-25 22:09

pig

的面向数据流的语言piglatin进行数据处理Piglatin可以进行排序,过滤,求和,分组,关联等常用操作,还可以自定义函数,这是一种面向数据分析处理的轻量级脚本语言Pig可以看作是piglatin到map-reduce
kinda22·2014-11-25 22:46

pig

的面向数据流的语言piglatin进行数据处理Piglatin可以进行排序,过滤,求和,分组,关联等常用操作,还可以自定义函数,这是一种面向数据分析处理的轻量级脚本语言Pig可以看作是piglatin到map-reduce
kinda22·2014-11-25 22:46

理解hadoop的Map-Reduce数据流(data flow)

http://blog.csdn.net/yclzh0522/article/details/6859778Map-Reduce的处理过程主要涉及以下四个部分：客户端Client：用于提交Map-reduce
bluejoe2000·2014-11-24 21:00

Hadoop中MapReduce的一些关键词理解

Map-Reduce几个输入格式的理解：1当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径（需要分析的文件在这个路径中，hadoop默认不会读取子目录）2把这些文件进行分片
username2·2014-11-24 18:00

Hadoop中MapReduce的一些关键词理解

   Map-Reduce几个输入格式的理解： 1 当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径（需要分析的文件在这个路径中，hadoop默认不会读取子目录
username2·2014-11-24 18:00

2014炼数成金hadoop应用开发实战案例培训视频教程

课程目录：第1周Hadoop基础回顾(7节）第2周Hadoop应用情况综述（5节）第3周巨型网站日志系统分析，提取KPI数据(Map-Reduce)（5节）第4周电信运营商LBS应用，分析手机用户移动轨迹
7叔叔·2014-11-21 14:36

yarn详解

MapReduce架构如下： 从上图我们可以清楚的看出原MapReduce程序的流程以及设计思路：首先用户程序（JobClinet）提交一个job，job的信息会发送到jobTracker中，JobTracker是Map-Reduce
student_lp·2014-11-20 17:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他