map-reduce

多个Mapper和Reducer的Job

在hadoop的mr编程中可以使用ChainMapper和ChainReducer来实现链式的Map-Reduce任务。ChainMapper以下为官方API文档翻译：ChainMa
qq1010885678·2016-02-22 21:00

Hadoop快速入门

目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。
chuquan.ou·2016-02-19 19:00

MongoDB Map Reduce

介绍Map-Reduce是一种计算模型，简单的说就是将大批量的工作分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。
jihite·2016-02-19 14:00

深入浅出学Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
micwing·2016-02-15 17:00

Hadoop 中 YARN和MV2以及ApplicationMaster

ApplicationMaster是一个框架特殊的库，对于Map-Reduce计算模型而言有它自己的ApplicationMaster实现，对于其他的想要运行在yarn上的计算模型而言，必须得实现针对该计算模型的
andrewgb·2016-01-28 23:43

Hadoop 之MapReduce 运行原理全解析

转自：http://blog.csdn.net/yclzh0522/article/details/6859778 我们通过下面这个天气数据处理的例子来说明Hadoop的运行原理.1、Map-Reduce
xuanjiewu·2016-01-22 17:00

普通表的Join 三种算法(join 一) 嵌套循环Join(Nested Loops Join)、排序合并Join(Sort-Merge Join)和哈希Join(Hash Join)

refertohttp://mysun.iteye.com/blog/1748473通过Map-Reduce实现Join系列之一本系列的开篇在提到使用Map-Reduce实现Join之前，先来看看目前在数据库中应用比较广泛和流行的集中
g7n3f·2016-01-18 16:32

Hive概要

对于大多数查询，Hive编译器将产生多个map-reducejob，并将job提交到由参数mapred.job.tracker指定的map-reduce集群。Hadoop也允许在用户
jhonephone·2016-01-14 11:00

HaLoop——适用于迭代计算的Hadoop

文章连接（VLDB‘2010）该文章提出了对Hadoop的修改，使之能够适用于迭代计算，将原生的Hadoop中每一个job中一个map-reduce对改成多个map-reduce对，这样job就可以复用
u012050154·2016-01-12 20:00

HBase 与 Hive 的区别和关系

白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hiv
andrewgb·2016-01-10 18:33

一起说说 map-reduce

    最近在读一本关于大数据的书，书中频频出现的一个词语：‘map-reduce’,但是究竟这是个什么东东，它和大数据有什么关系，有了它我们的编程又会有怎么样的便利？    
YSC1123·2015-12-31 18:00

java写hadoop全局排序

但是有些情况，如全排序等等用streaming的方式往往不好处理，于是乎用原生语言来写map-reduce;开发环境eclipse,windows,把hadoop相关的jar附加到程序中，打包后放回linux
finallyly·2015-12-31 14:00

关于大数据的那些事儿（一）

只会搭搭集群，写写map-reduce不是我们的核心竞争力所在，即使现在靠这个能混口饭吃，但是能够想象到，这种类型的人才是可以批量生产的！
qq1010885678·2015-12-24 21:00

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS6.XHadoop2.6.0JDK   1.8.0_65目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce
oceanszf·2015-12-23 14:09

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS6.XHadoop2.6.0JDK1.8.0_65目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce
oceanszf·2015-12-23 14:09

Hadoop 单节点 & 伪分布 安装手记

实验环境CentOS6.XHadoop2.6.0JDK   1.8.0_65目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce
oceanszf·2015-12-23 14:09

Map-Reduce简介

MapReduce是一种编程模型，始于：Dean,Jeffrey&Ghemawat,Sanjay(2004)."MapReduce:SimplifiedDataProcessingonLargeClusters"。主要应用于大规模数据集的并行运算。其将并行计算简化为Map和reduce过程，极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。程序员只需要指定一个Map
尧山少侠·2015-12-23 13:00

hive join

hive(0.9.0)：1.支持equalityjoins,outerjoins,andleftsemijoins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce
尧山少侠·2015-12-23 13:00

Hadoop Streaming 实战： 传递环境变量

用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访问作业的配置信息，而streaming程序不能使用JAVA编程接口，因此，streaming框架通过设置环境变量的方式给mapper
尧山少侠·2015-12-23 13:00

map-reduce中用到的一些命令

hdfsdfs-ls/hdfsdfs-copyFromLocal/root/hadoop/opt/cloud/hdfs/login.txt/cachehdfsdfs-cat/cache/login.txt
萧筱·2015-12-23 13:00

hive的安装和初步使用

试着安装了一下hive,在这里记录一下过程大家都知道hive是用来简化map-reduce过程的，但是真正使用的时候却跟想象中有差距单机版安装过程如下：首先确保已经安装好了hadoop，hdfs可以正常使用下载
dmlllll·2015-12-21 00:00

Hadoop2.x的MapReduce改进

则是既当爹又当妈的意思，如图4所示：图4Hadoop1.x时代的MapReduce框架架构图（1）首先用户程序（JobClient）提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
俯身吻你·2015-12-15 16:05

eclipse导入hadoop示例源码on ubuntu14.04

hadoop自带了example程序，给我们分析map-reduce程序带了许多方便，本文讲述怎么在eclipse导入example.jar源代码onubuntu14.04：1.将hadoop自带的包导入到
TopDstar·2015-12-07 09:00

Spring Data JPA 简单介绍

SpringData相关资料 介绍：针对关系型数据库，KV数据库，Document数据库，Graph数据库，Map-Reduce等一些主流数据库，采用统一技术进行访问，并且尽可能简化访问手段。
Heng_Ji·2015-11-26 10:00

Python多线程同步命令行模拟进度显示

最近在一个Python(3.5)的小项目中需要用到多线程加快处理速度，同时需要显示进度，于是查了些资料找到几个实现方法：线程池的map-reduce和Queue结合线程的实现。
silverbullet11·2015-11-22 21:00

常见数据挖掘算法的Map-Reduce策略(1)

       大数据这个名词是被炒得越来越火了，各种大数据技术层出不穷，做数据挖掘的也跟着火了一把，呵呵，现今机器学习算法常见的并行实现方式：MPI，Map-Reduce
·2015-11-13 19:10

常见数据挖掘算法的Map-Reduce策略(2)

       接着上一篇文章常见算法的 mapreduce案例(1)继续挖坑，本文涉及到算法的基本原理，文中会大概讲讲，但具体有关公式的推导还请大家去查阅相关的文献文章。下面涉及到的数据挖掘算法会有：Logistict 回归，SVM算法，关联规则apriori算法，SlopeOne推荐算法，二度人脉社交 推荐算法   logistict
·2015-11-13 19:08

hadoop(c++实现)

  文章来源：http://www.codelast.com/   （1）首先我们需要知道map-reduce的基本原理，这里不说了。
·2015-11-13 11:06

yarn介绍

hadoop 1.0 mapreduce过程 主要问题： JobTracker 是 Map-reduce 的集中处理点，存在单点故障。
·2015-11-13 10:17

百度Hadoop分布式系统揭秘

底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调
·2015-11-13 09:16

第二代map-reduce架构YARN解析

  需求 我们在考虑hadoop map-reduce框架的时候，最重要需包括: 1. reliability 可靠性，主要是jobtracker，resource manager可靠性 2
·2015-11-13 07:37

2.2 Hadoop Studio 使用 [Hadoop学习笔记]

Hadoop Studio 是一个 map-reduce 结构的集成开发环境，基于 NetBeans 。
·2015-11-13 06:33

mongodb shell之使用js（二）

使用js脚本进行交互的优点与缺点 （1）无需任何驱动或语言支持； （2）方便cron或管理员定时任务； （3）注意点：任然是数据格式的问题； js脚本一般会用来执行以下任务 （1）备份； （2）调度map-reduce
·2015-11-12 14:28

Spark一个简单案例

Spark是一个类似Map-Reduce的集群计算框架，用于快速进行数据分析。
·2015-11-11 19:34

[HIve - LanguageManual] Transform [没懂]

Transform/Map-Reduce Syntax SQL Standard Based Authorization Disallows TRANSFORM TRANSFORM
·2015-11-11 16:42

[Hive-Tutorial] What Is Hive

provides massive scale out and fault tolerance capabilities for data storage and processing (using the map-reduce
·2015-11-11 16:26

map-reduce in common lisp

MAP (map 'vector #'* (list 1 2 3) (list 3 4 5) (list 2 2 2)) ==>(注:该符号表示上面的表达式得到下面的结果) #(6 16 30) ;;map函数格式如下 ;;(map list-type function list-1 list-2 ... list-n) ;;list-type是列表的类型，可以是ve
·2015-11-11 14:55

：Map-Reduce的逻辑过程

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第
·2015-11-11 06:25

学习Hadoop不错的系列文章

1）Hadoop学习总结 　　（1）HDFS简介 　　（2）HDFS读写过程解析 　　（3）Map-Reduce入门 　　（4）Map-Reduce的过程解析 　　（5）Hadoop的运行痕迹
·2015-11-11 06:18

map-reduce 、map、reduce

                      map-reduce过程中间绿线区域就是shuffle（“洗牌”）过程：map之后，reduce之前的过程。
八戒_o·2015-11-09 23:00

Pig系统分析(6)-从Physical Plan到MR Plan再到Hadoop Job

从Physical Plan到Map-Reduce Plan 注：由于我们重点关注的是Pig On Spark针对RDD的运行计划，所以Pig物理运行计划之后的后端參考意义不大，这些部分主要分析流程
·2015-11-09 13:44

MapReduce and MachineLearning——笔记一（安装虚拟机和配置JAVA环境）

　　这几天看了一篇斯坦福Cheng-Tao Chu等人写的论文《Map-Reduce for Machine Learning on Multicore》，其中讲到如何把机器学习算法和MapReduce
·2015-11-08 15:50

Nutch简介

除了基本的功能之外，Nutch也还有不少自己的特色，如Map-Reduce、Hadoop、Plugin等。 Nutch的总体结构 Nutch从总体上看来，分为三个主要的部分：爬行、索引
·2015-11-08 13:46

大数据的实时技术

主要有   Redshift -亚马逊出品的一款MPP支持PB级别数据库 Hive -基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务
·2015-11-08 12:45

网络智能和大数据公开课Homework3 Map-Reduce编程

Gautam Shroff 这门课是关于大数据处理，本周是第一次编程作业，要求使用Map-Reduce对文本数据进行统计。使用的工具为轻量级的mincemeat。
·2015-11-08 12:43

Java入门到精通——框架篇之Hadoop概述

    Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce
·2015-11-08 11:05

hadoop 基础视频1

hadoop 基础视频1   一， 大致内容： 1, 源起与体系结构2，实施Hadoop 集群3，分布式HDFS， 大数据存储实战4，Map-Reduce 体系架构5，Map-Reduce
·2015-11-08 10:26

大数据下的数据分析-Hadoop架构解析

http://tech.watchstor.com/storage-systems-133561.htm   摘要：并行分析模块接受用户提交的多维分析命令，并将通过核心模块将该命令解析为Map-Reduce
·2015-11-07 14:24

MapReduce源码分析总结

转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读
·2015-11-07 11:40

Spark及其应用场景初探

看了官方文档，Spark确实在Map-Reduce上提升了很多，可是官方明确提出了在Interactive Data 方面性能提升最大。
·2015-11-07 11:21
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他