map-reduce

MapReduce程式调用第三方包和本地库

解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者是把第三方
追寻北极·2014-11-20 14:05

hive join

(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce
blackproof·2014-11-13 16:00

hive join

(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce
blackproof·2014-11-13 16:00

Map-Reduce体系结构学习笔记一

一.Mapper负责“分”。把复杂到任务分解为若干个“简单的任务”执行。二.Reducer1.对map阶段的结果进行汇总。2.reducer的数目：由mapred-site.xml文件里mapred.reduce.tasks决定。三.Shuffler（mapper和reducer直接的一个过程）1.把mapper的输出按某种key值重新切分并组合成n份。2.把符合某范围的key值输出送到特定的re
he_xiang_·2014-11-11 09:00

Map-Reduce数据分析之一（实例2通话清单分析）

实例要求：给出一个文档：包含一批电话通信清单，记录了用户A拨打用户B的记录;需要做一个倒排索引，记录拨打给用户B的所有用户A。文档内容：分析：map：将每行记录按空格符划分出两个数据，一个10086作为key值，一个135.。。作为valuereduce：将相同key值的value放到迭代器里，然后迭代将其value串起来。代码如下：importjava.io.IOException; impor
he_xiang_·2014-11-11 09:00

Map-Reduce数据分析之一（实例1提取数据）

实例要求：给出一个文档，文档内容为类似Apr2311:49:54hostapd:wlan0:STA14:7d:c5:9e:fb:84的路由器使用信息;                   要求提取出其中的日期，时间，路由器的MAC（Apr2311:49:5414:7d:c5:9e:fb:84）。代码如下：该程序中只有map，没有reduce。因为只需要划分出文本输出即可，不需要汇总。importj
he_xiang_·2014-11-11 09:00

Map-Reduce的逻辑过程

Reference:http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据
loveRooney·2014-11-10 14:00

Map-Reduce原理详解

觉先  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅  :: 管理 :: 69随笔 ::49文章::623评论::0引用日一二三四五六262728293031123456789101112131415161718192021222324252627282930123456公告昵称：觉先园龄：4年10个月荣誉：推荐博客粉丝：810关注：3+加关注搜索  常用链接我
lzq123_1·2014-11-07 17:00

[Java 8] (10) 使用Lambda完成函数组合，Map-Reduce以及并行化

Java8中同时存在面向对象编程(OOP)和函数式编程(FP,FunctionalProgramming)这两种编程范式。实际上，这两种范式并不矛盾，只是着重点不同。在OOP中，着重于通过丰富的类型系统对需要解决的问题进行建模；而FP中则着重于通过高阶函数和Lambda表达式来完成计算。所以我们完全可以将这两者融合在一起，对问题提出更加优雅的解决方案。在这篇文章中，会介绍如何通过函数组合(Func
dm_vincent·2014-11-06 10:44

[Java 8] (10) 使用Lambda完成函数组合，Map-Reduce以及并行化

Java8中同时存在面向对象编程(OOP)和函数式编程(FP,FunctionalProgramming)这两种编程范式。实际上，这两种范式并不矛盾，只是着重点不同。在OOP中，着重于通过丰富的类型系统对需要解决的问题进行建模；而FP中则着重于通过高阶函数和Lambda表达式来完成计算。所以我们完全可以将这两者融合在一起，对问题提出更加优雅的解决方案。在这篇文章中，会介绍如何通过函数组合(Func
dm_vincent·2014-11-06 10:00

Greenplum Hadoop视频教程_Hadoop应用案例剖析

基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：
ningmengzhi·2014-11-05 11:00

Hadoop 之Hive

/* Hive提供了sql语言到map-reduce的映射器 Hive不算是完整的数据库，它是基于hadoop的数据查询分析工具，它不具备行数据的DML操作。
yangeoo·2014-11-04 16:00

MapReduce源码分析总结

转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读
lixuguang·2014-10-29 14:00

Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
lixuguang·2014-10-27 11:00

微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

COSMOS宇宙是由分布式计算组件（有点相当于Hadoop的Map/Reduce了使用微软Dryad的解决方案，它（不像的map-reduce）允许计算
yangzhenping·2014-10-24 16:02

微软首席架构师Yaniv Pessach谈微软大数据COSMOS(中文意思是宇宙)

COSMOS宇宙是由分布式计算组件（有点相当于Hadoop的Map/Reduce了使用微软Dryad的解决方案，它（不像的map-reduce）允许计算
yangzhenping·2014-10-24 16:00

hadoop相关知识总结

1.提交map-reduce作业时，如果待提交的jar包中已指定含有main方法的主类（即查看MANIFEST.MF清单文件中是否包含main-class主类），则执行hadoop-jar时不用指定主类的路径
beck5859509·2014-10-22 11:00

开源大数据查询分析引擎现状

引言大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。
叶蓬·2014-10-19 18:00

开源大数据查询分析引擎现状

引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。
叶蓬·2014-10-19 18:00

HADOOP2.5.0_64安装日志

怎样使用HADOOP平台下的MAP-REDUCE来做大数据处理。任重道远！！！加油！
miyatang·2014-10-17 11:00

Spring Data jpa

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData包含多个子项目：Commons-提供共享的基
lxl_family·2014-10-16 12:00

Hadoop学习总结之三：Map-Reduce入门

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
lixuguang·2014-10-15 14:00

erlang开源项目锦集

1、Disco 是一个实现了Map-Reduce的框架，采用Erlang+Python开发开发语言：ErLangPython 项目主页： http://discoproject.org/文档地址： http
kuangguwuchen·2014-10-14 21:23

Hadoop学习

hadoop学习总结   Hadoop 学习总结之一：HDFS简介 Hadoop学习总结之二：HDFS读写过程解析 Hadoop学习总结之三：Map-Reduce入门 Hadoop
zhangguorong123·2014-09-28 13:00

[Hadoop] 分布式Join : Replicated Join

上一篇文章说的ReduceSide Join的一个缺点就是，在map方法之中，只对数据加了tag、提取了groupkey，没有做任何的数据过滤，这样在map-reduce之中的shuffle过程会造成大量的
RangerWolf·2014-09-25 15:00

从MaxTemperature程序来看Mapreduce 的执行过程

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
huser_YJ·2014-09-22 16:00

nginx安装 ngx_lua模块

用来记录关于用户在网站上行为的到log日志中，lua同样作为脚本语言发挥更大作用，诸如通过redis中的数据，直接返回json等格式数据相应给用户，我这里主要是存放入log中，然后做数据ETL处理，如果访问量非常大，进行离线情况下Map-reduce
cywhoyi·2014-09-21 17:00

nginx安装 ngx_lua模块

用来记录关于用户在网站上行为的到log日志中，lua同样作为脚本语言发挥更大作用，诸如通过redis中的数据，直接返回json等格式数据相应给用户，我这里主要是存放入log中，然后做数据ETL处理，如果访问量非常大，进行离线情况下Map-reduce
cywhoyi·2014-09-21 17:00

Hadoop Outline Part 5 (MapReduce- Conf,Test,Debug)

Map-Reduce之配置,测试,调试Evironvemnt:cdh5.1Configuration 配置文件位置使用cdh5.1，该文件位于/etc/hadoop/conf，其实/etc/hadoop
woodo·2014-09-12 18:00

算法导论之分治法

其实map-reduce并行计算也是采用了这种思想。算法主要来源为麻省理工公开课-算法导论的总结和延伸（这个问题暂且留
yinlili2010·2014-09-06 18:00

基于GraphX实现的community detection算法--Label Propagation分析

LPA的另一个极大的优点在于scalability，非常适合用来处理largegraph，因为算法的实质是vertex-centricmodel，所以其实是可以在Map-Reduce上实现它
tangshangwen·2014-09-06 14:39

基于GraphX实现的community detection算法--Label Propagation分析

LPA的另一个极大的优点在于scalability，非常适合用来处理largegraph，因为算法的实质是vertex-centricmodel，所以其实是可以在Map-Reduce上实现它
TangShangWen·2014-09-06 14:39

基于GraphX实现的community detection算法--Label Propagation分析

LPA的另一个极大的优点在于scalability，非常适合用来处理largegraph，因为算法的实质是vertex-centricmodel，所以其实是可以在Map-Reduce上实现它
TangShangWen·2014-09-06 14:00

Map-Reduce编程模型gif图片解释

原文地址5-algorithms-widely-industry/http://en.docsity.com/news/algorithms/5-algorithms-widely-industry/
无奈的初弦·2014-09-04 08:00

天猫大数据3—回归模型

进入第二季之后，开始熟悉第二季的平台，在延续了第一季的算法后，在大数据上约取得了4%的F1值，itemCF是在map-reduce下完成，统计模型是基本在基于odps的sql操作表级下完成之后转战回归模型这里先回忆一下回归模型的基础
xietingcandice·2014-09-03 21:00

用Map-Reduce的思维处理数据

www.cnblogs.com/fengfenggirl/p/map-reduce-demo.html版权归原作者所有***********************************在很多人的眼里，Map-Reduce
xuanyoumeng·2014-08-31 23:00

map-reduce自定义分组自定义排序

 packagegroup; importjava.io.DataInput; importjava.io.DataOutput; importjava.io.IOException; importjava.net.URI; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FileSystem; im
chengjianxiaoxue·2014-08-30 11:00

map-reduce基本概念和wordcount解析

 1 map-reduce简介 a)是一个基础框架模型，后面学的框架都是对这个框架的包装，类比于jdbcmybatis/hibernate.b)是一种分布式计算模型，由Google提出，主要用于搜索领域
chengjianxiaoxue·2014-08-17 19:00

map-reduce的八个流程

下面讲解这八个流程 Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0.简介：这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--
wind520·2014-08-15 12:00

Hadoop2.0- MapReduceV2(Yarn) 框架简介

MapReduce框架图：从上图中可以清楚的看出原MapReduce程序的流程及设计思路：1、首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
szjian·2014-08-06 14:00

Hadoop2.0- MapReduceV2(Yarn) 框架简介

MapReduce框架图：  从上图中可以清楚的看出原MapReduce程序的流程及设计思路：1、首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
szjian·2014-08-06 14:00

Spark学习笔记(三)-RDD(弹性分布式数据集)

RDD是一些对象的只读集合,被划分到多台机器上,并且在某个划分块丢失之后可以重建.用户可以显式的把RDD缓存在内存中,方便在类似于Map-Reduce的并发操作中重用,这也是为什么Spark比较适合处理迭代式
lantian0802·2014-08-05 22:00

TaskTracker中HttpServer doGet源码分析

对于用户来说，Http服务组件的/logtask功能不是必须的，但是它的/mapOutput功能对于整个Map-Reduce框架实现来说则是至关重要的，因为每一个Job的每一个Reduce任务就是通过该服务来获
gjt19910817·2014-07-24 02:00

Hive与Hbase区别

白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。于是，hbase是什么？
行走在路上·2014-07-23 10:00

sqoop导入数据map-reduce job分析

Sqoop导入数据1、本质上sqoop是一个hadoop的一个jobClient，负责定义hadoopjob，然后将job提交到hadoop集群，只不过这个jobClient为了支持了能通过命令行来配置各种各样的job，做了很多处理。2、sqoop实现了各种关系型数据库（oracle，DB2,Mysql）等等到hadoop(hafs,hbase)的导入导出。Sqoop的导入导出，通过无reduce
dwf07223·2014-07-19 17:07

sqoop导入数据map-reduce job分析

Sqoop导入数据1、本质上sqoop是一个hadoop的一个jobClient，负责定义hadoopjob，然后将job提交到hadoop集群，只不过这个jobClient为了支持了能通过命令行来配置各种各样的job，做了很多处理。2、sqoop实现了各种关系型数据库（oracle，DB2,Mysql）等等到hadoop(hafs,hbase)的导入导出。Sqoop的导入导出，通过无reduce
dwf07223·2014-07-19 17:07

Hive学习之Transform/Map-Reduce语法

    使用Hive的用户可以在数据流中插入自定义的Mappers和Reducers，为了运行自定义的Mapper和Reducer脚本，用户可以使用下面的命令，该命令使用TRANSFORM从句嵌入Mapper和Reducer脚本：query: FROM( FROMsrc MAPexpression(','expression)* (inRowFormat)? USING'my_map_script
sky_walker85·2014-07-16 15:00

十分钟了解分布式计算:Google Dataflow

相比原生的map-reduce模型，Dat
小唯THU·2014-07-13 12:00

MapReduce执行过程

MapReduce执行过程  2011-07-1217:06:28|  分类： 默认分类 |  标签：mapreduce执行过程  |举报|字号 订阅  1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据
wangjin161·2014-07-11 15:00

map-reduce的八个流程

下面讲解这八个流程 Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0.简介：这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--
fz2543122681·2014-07-02 21:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他