hadoopmapreduce

hadoop大数据平台手动搭建-spark

拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce
feilong2483·2017-03-23 22:00

高性能计算--HPCC

2adoop依靠两个核心组件来存储和处理海量数据——Hadoop分布式文件系统和HadoopMapreduce。Clou
那海蓝蓝·2017-03-13 18:04

HaDoop2.6下安装并配置Spark1.6.3

Spark是HadoopMapReduce的通用并行框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的
一叶_障目·2017-03-09 21:45

Hbase建表操作--shell语句

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
盛装吾步·2017-03-09 15:58

Shuffle 中六大令人费解的问题

错误的观点是：Spark是一边Mapper一边Shuffle的，而HadoopMapReduce是先完成Mapper然后才进行Reducer的Shuffle。
a11a2233445566·2017-02-28 23:13

Spark组件和术语定义

Application：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的
蜗牛爱上星星·2017-02-24 13:10

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

Spark是基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此
fengshunli·2017-02-22 15:59

Spark Shuffle的技术演进

在Spark或HadoopMapReduce的分布式计算框架中，数据被按照key分成一块一块的分区，打散分布在集群中各个节点的物理存储或内存空间中，每个计算任务一次处理一个分区，但map端和reduce
LeonLu·2017-02-15 15:40

Hadoop Streaming的使用

HadoopMapReduce和HDFS采用Java实现，默认提供Java编程接口，另外提供了C++编程接口和Streaming框架。
spider_d·2017-02-13 17:21

分布式计算框架Spark

HadoopMapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低。Spark尽可能地在内存上存储中间结果，极大地提高了计算速度。
-Finley-·2017-02-12 10:00

Spark和Hadoop大决战

与Spark相对应的是HadoopMapReduce。Spark是可以取代MapReduce的，从而成为Hadoop系统中不可或缺的一部分。但是为什么MapReduce还在被使用呢？
caosheng03·2017-01-10 15:06

Spark--数据读取与保存

一部分原因是Spark本身是基于Hadoop生态圈二构建的，sospark可以通过HadoopMapReduce所使用的InputFormat和OutPutFormat接口访问数据，而大部分常见的文件格式与存储系统
Alan_DM·2016-12-19 19:31

一文读懂分布式数据库Hbase

Hadoop可以很好地解决大规模数据的离线批量处理问题，但是，受限于HadoopMapReduce
龙骨·2016-11-30 23:46

Spark研究综述

Spark是基于MapReduce计算框架实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
leveretz·2016-11-23 11:41

使用SAS实现HADOOP Map/Reduce程序-wordcount

使用SAS实现HADOOPMAPReduce程序文章灵感来自如下文章，该文描述来如何用python实现mapreduc程序http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python
anyjack·2016-11-07 13:41

单机Spark安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
FlappyBirds·2016-10-17 14:11

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项StormSparkStreaming分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有hadoopMapReduce,SparkStreaming,Storm；这三个框架各有优势，
chizhi3010·2016-10-14 11:00

Hadoop上编写mr计算

Map和Reduce的数据流是这样的：Input==>Map==>MapOutput==>sortandshuffle==>Reduce==>FinalOutput使用Java编写HadoopMapReduce
风行者之倾覆天下·2016-09-25 13:08

总结 | 最全的Spark基础知识解答

UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架。
aaronhoho·2016-09-20 10:57

Centos 7 安装Hadoop 3.0.0-alpha1

简介:本文主要介绍如何安装和配置单节点Hadoop，运用HadoopMapReduce和Hadoop分布式文件系统（HDFS）执行一些简单的操作。算是一个入门级的文档吧。
lyc417356935·2016-09-09 20:42

spark详解

1.概述：什么是sparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
princemrgao·2016-09-01 11:54

Hadoop Streaming框架使用

Streaming简介Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用，方便已有程序向Hadoop平台移植。
雷顿学院·2016-08-31 22:02

Hadoop Streaming框架使用

Streaming简介Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用，方便已有程序向Hadoop平台移植。
雷顿学院·2016-08-31 22:51

Spark运行架构

blog.csdn.net/pipisorry/article/details/523662881、Spark运行架构1.1 术语定义lApplication：SparkApplication的概念和HadoopMapReduce
pipisorry·2016-08-30 09:00

Spark入门实战指南——Spark运行架构

2016/8/291、Spark运行架构1.1术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个
江湖小小虾·2016-08-29 10:59

Hadoop之MapReduce工作原理

1MapReduce设计目标HadoopMapReduce诞生于搜索领域，主要解决搜索引擎面临的海量数据处理扩展性差的问题。它的实现很大程度上借鉴了Googl
wangwei4078·2016-08-26 17:06

Hadoop之生态系统

狭义的Hadoop核心只包括HadoopCommon、HadoopHDFS和HadoopMapReduce三个子项目，但是和Hadoop核心密切相关的还包括Avro、Zookeeper、Hive、Pig
wangwei4078·2016-08-18 12:32

Spark基础知识

欢迎访问博客新址:  http://zhangxuezhi.com/archives/Spark基础知识什么是Spark     Spark是UCBerkeleyAMPlab所开源的类似HadoopMapReduce
xuezhisdc·2016-07-31 17:00

Hadoop 基础知识 -- 知乎

知乎Unix与类Unix系统的区别是开源免费还是闭源收费HadoopMapReduce框架的目标处理PB级别的数据，具有高可用，目标明确，编程模型简单易用等特点。
bigdata_player·2016-07-27 23:00

hadoop MapReduce初试遇到的问题

hadoopMapReduce初试遇到的问题./hadoopjar.
zlfwmm·2016-07-20 11:23

MapReduce shuffle过程剖析及调优

更新记录2017-07-18初稿MapReduce简介在HadoopMapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。
bingduanlbd·2016-07-18 01:00

Hadoop集群完全分布式模式环境部署和管理的5大工具

Ambari向HadoopMapReduce、HDFS、HBase、P
天府云创·2016-07-15 14:11

Hadoop面试题

HadoopMapReduce采用Master/Slave结构1.列举出hadoop中定义的最常用的InputFormats.哪个是默认的？  
IT18911008884·2016-07-06 08:00

mapreduce

Hadoopmapreduce对外提供了5个可编程组件，分别是InputFormat，Mapper，Partitioner，Reducer，OutputFormatmapreduce能解决的问题有一个共同特点
yonghutwo·2016-07-05 08:00

Hbase源码解析和开发实战笔记

是一个分布式的、多版本的、面向列的开源数据库2）HBase利用HadoopHDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统3）HBase利用HadoopMapReduce
china_demon·2016-06-25 22:00

MapReduce介绍

一、总体介绍：HadoopMapReduce是一个软件框架，可以使用可靠、容错的方式开发在多集群节点（可以是上千个节点）上并行处理大批量数据（TB级）的程序应用。
maninglwj·2016-06-16 15:19

【51CTO学院三周年】聆听小马老师授课，技能大增啊

去年下半年打算学习HadoopMapreduce，而要搭建这个计算环境，必须先搭建双机或多机的Linux操作系统，所以首先要学习Linux课程，我选择了上座率最高的小马老师的课，结果一下子就被小
sunqian1980·2016-06-08 17:57

Spark的architectue

WhatisSparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce框架，都是基于mapreduce算法所实现的分布式计算框架，拥有HadoopMapReduce所具有的优点
sbq63683210·2016-06-02 16:00

30分钟--Spark快速入门指南

Spark正如其名，最大的特点就是快（Lightning-fast），可比HadoopMapReduce的处理速度快100倍。此外，Spark提供了简单易用的API，几行代码就能实现WordC
tanggao1314·2016-06-01 17:00

[1.2]Spark core编程（一）之RDD总论与创建RDD的三种方式

eg、HadoopMapReduce不适应场景：1、不适合于大量的迭代2、不适合于交付式查询3、基于数据流的方式，
彭宇成·2016-05-26 12:03

【SPARK是什么】

ApacheSpark™ isafastandgeneralengineforlarge-scaledataprocessing.Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce
gaojingsong·2016-05-20 21:00

【科普】一篇文章让你知晓Spark

Spark是一个运算速度快如闪电的Apache项目，研发人员声称它是“一种用于数据大规模处理的快速通用引擎”，[A1]Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce
小程序员一·2016-05-20 16:41

hbase基本概念和hbase shell常用命令用法

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
konglongaa·2016-05-13 17:00

MapReduce是干啥的

Hadoop实际上就是谷歌三宝的开源实现，HadoopMapReduce对应GoogleMapReduce，HBase对应BigTable，HDFS对应GFS。
凤决·2016-05-13 11:00

Spark MLlib 机器学习算法与源码解析（网络课程—第一期）

Spark使用了内存内运算技术，在内存上的运算速度比HadoopMapReduce的运算速度快上100倍，即便是在磁盘上运行也能快10倍。
sunbow0·2016-05-11 17:00

Hbase安装详解

HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
yuzhuzhong·2016-05-08 17:00

第14课：Spark RDD解密

以下为SparkRDD解密课程学习心得：    在介绍SparkRDD之前，先简单的说下HadoopMapReduce，它是基于数据流的方式进行计算，从物理存储上加载数据，然后操作数据，最后写入到物理存储设备上
18610086859·2016-05-08 08:40

spark源码阅读笔记RDD（七） RDD的创建、读取和保存

Spark本身是基于Hadoop的生态圈，它可以通过HadoopMapReduce所使用的InpoutFormat和OutputFormat接口访问数据。
legotime·2016-05-06 10:00

八：Hadoop之MapReduce基础

一：MapReduce基础  HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上
牧羊人Berg·2016-05-03 15:00

test

、Spark运行架构1.1 术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的
泡海椒·2016-05-02 16:00
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他