hadoopmapreduce

小白学习Spark原理

Spark是UCBerkeleyAMPlab所开发类似于HadoopMapReduce的通用并行计算框架，Spark是基于mapreduce算法实现分布式计算，拥有HadoopMapReduce所具有的优点
蓝星花·2018-03-28 13:50

Linux上搭建spark环境

Spark正如其名，最大的特点就是快（Lightning-fast），可比HadoopMapReduce的处理速度快100倍。
蓝星花·2018-03-28 11:27

Spark的基本介绍

HadoopMapReduce的Job将中间输出和结果存储在HDFS中，读写HDFS造成磁盘IO成为瓶颈。Spark允许将中间输出和结果存储在内存中，节省了大量的磁盘IO。
define_us·2018-03-04 13:40

Spark的深入浅出

AMPLab所开发.相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析运算.Spark在内存内运算速度能做到比HadoopMapReduce
Going_sky·2018-02-27 23:38

Spark 介绍以及相关概念

Spark是UCBerkeley加州大学伯克利AMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点
很吵请安青争·2018-02-09 10:07

Centos7安装配置单节点Hadoop3.0.0

本文主要介绍如何在Centos7系统安装和配置单节点Hadoop3.0.0，并运用HadoopMapReduce和Hadoop分布式文件系统（HDFS）执行wordcount测试样例。
桃桃乌龙·2018-02-07 15:34

Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数（带hadoop例子）

HadoopMapReduce执行过程详解（带hadoop例子）1.MapReduce是如何执行任务的？2.Mapper任务是怎样的一个过程？3.Reduce是如何执行任务的？4.键值对是如何编号的？
Data_IT_Farmer·2018-02-03 13:26

Hadoop的知识架构

Datawarehouse）3,概念：OLTP和OLAP4，（最重要的内容）Google的几篇论文：3篇（1）GFS：GoogleFileSystem---->HDFS（2）MapReduce计算模型---->HadoopMapReduce
adolph_yang·2018-02-02 20:30

spark使用文档

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
二三三·2018-01-26 14:52

Spark 安装配置启动,蒙特·卡罗算法求PI

Spark在内存内运行程序的运算速度能做到比HadoopMapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1
我们始终是路人·2018-01-20 11:24

Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)

/article/details/79056120一、环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建Hadoop环境请参考博文《Python之——使用原生Python编写HadoopMapReduce
冰 河·2018-01-14 14:18

Shuffle 过程

对比HadoopMapReduce和Spark的Shuffle过程如果熟悉HadoopMapReduc
YYDU_666·2017-12-27 00:28

MapReduce详解

1.1MapReduce是什么HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上
burpee·2017-12-11 09:41

数据分析处理开源框架杂谈

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架~”·····说人话？！咳咳，编不下去了。Spark是为
孜然味的花生酱·2017-12-02 15:41

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的Hadoop安装，以便您可以快速执行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。
锐湃·2017-12-02 01:14

hadoop知识点汇总

HadoopDistributedFileSystem(HDFS):分布式文件系统HadoopYARN:hadoop的资源管理平台[YetAnotherResourceNegotiator，另一种资源协调者]HadoopMapReduce
which丶number·2017-11-10 15:20

MapReduce shuffle过程剖析及调优

转自：http://blog.csdn.net/bingduanlbd/article/details/51933914MapReduce简介在HadoopMapReduce中，框架会确保reduce收到的输入数据是根据
念雅小轩·2017-11-07 13:22

hadoop生态圈各产品基本概念梳理

hbase：是一个适合于非结构化数据存储的数据库，是基于列的而不是基于行的模式，HBase利用HadoopMapReduce来处理HBase中的海量数据。
kse_music·2017-10-28 12:25

Hadoop学习笔记（五）MapReduce

MapReduce概述源自于Google的MapReduce论文，发表于2004年12月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据的离线处理、
陌上疏影凉·2017-10-20 07:54

MapReduce的运行流程

阅读更多一基本概念1、job&Task2、jobTracker3、TaskTracker二HadoopMapReduce体系结构三JobTracker的角色1、作业调度2、分配任务、监控任务执行进度3、
cakin24·2017-10-18 21:00

MapReduce的运行流程

阅读更多一基本概念1、job&Task2、jobTracker3、TaskTracker二HadoopMapReduce体系结构三JobTracker的角色1、作业调度2、分配任务、监控任务执行进度3、
cakin24·2017-10-18 21:00

大数据之Spark

速度比内存中的HadoopMapReduce快10倍比硬盘上的HadoopMapReduce快100倍Spark有一个高
aloneload·2017-09-27 20:22

hadoop streaming参数整理

1.Streaming简介HadoopStreaming是Hadoop提供的一个编程工具，Streamining框架允许任何可执行文件或者脚本文件作为Mapper和Reducer在HadoopMapReduce
SumResort_YangHao·2017-09-21 17:08

hadoop 报错:Unable to find SASL server implementation for

在执行hadoopmapreduce作业时报错:集群配置Hadoop2.8withopenjdk-9.0002_000002.Gotexception:org.apache.hadoop.security.AccessControlException
dymkkj·2017-09-14 11:39

Spark运行架构

1、Spark运行架构1.1术语定义lApplication：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的
张永清·2017-09-13 19:00

辅助线——hadoop

计算框架sparkvsmapreduceSpark在内存中处理数据，而HadoopMapReduce是通过map和reduce操作在磁盘中处理数据。
hallao0·2017-08-23 22:34

CentOS 7下Hbase1.3.1分布式环境搭建

Hadoop2.7.4、Zookeeper3.4.9简介：HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce
烟波人·2017-08-21 23:19

大数据生态系统基础：Hadoop（七）：Hadoop MapReduce 工作原理和 YARN架构

一、介绍HadoopMapReduce是一种软件框架，可以轻松地编写应用程序，它可以以一种可靠的、容错的方式处理容量高达T字节的数据集的大型集群(数千个节点)。
caridle·2017-08-20 21:28

spark集群

ApacheMesos-一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。hadoopYARN-Hadoop2中的资源管理器。
Knuth1989·2017-08-16 16:33

Hbase安装与使用

//hbase.apache.org/1.概述HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库,利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce
没事的一天·2017-08-15 14:29

Hadoop、hive、sqoop入门及完整小例子

HadoopMapReduce和HDFS有自己的RPC和序列化机制hadoop1.xHDFS：在1.x中的NameNode只可能有一个，虽然可以通过SecondaryNameNode与NameNode进行数据同步备份
fight4gold·2017-07-27 16:31

Hadoop安装-单节点伪集群

本文介绍如何配置和安装单节点的Hadoop伪集群，在单节点的集群上，同样可以操作Hadoop分布式文件系统(HDFS)，以及执行HadoopMapReduce。
cjf_wei·2017-07-23 10:28

基于Hadoop的好友推荐系统项目综述

eclipse，使用maven构建项目，数据库选用Mysql，后台技术采用Struts2+Hibernate+Spring的架构，前端使用Easyui+Ajax的技术实现前后端的数据交互，算法的主要计算任务用HadoopMapreduce
想作会飞的鱼·2017-07-15 14:30

Spark详解04Shuffle 过程

对比HadoopMapReduce和Spark的Shuffle过程如果熟悉Hadoo
Albert陈凯·2017-07-12 17:46

Spark基本工作原理与RDD

参考地址：http://www.cnblogs.com/thinkpad/p/5107722.htmlSpark是什么Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce
小江_xiaojiang·2017-07-02 17:01

Spark相对于MapReduce的优势

Spark是类HadoopMapReduce的通用的并行计算框架，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，也就是说spark是基于内存计算的，从而不再需要读写HDFS，因此Spark
Alvin_blog·2017-06-23 10:45

7个实例全面掌握Hadoop MapReduce

转载自：7个实例全面掌握HadoopMapReduce本文旨在帮您快速了解MapReduce的工作机制和开发方法，解决以下几个问题：MapReduce基本原理是什么？
兵工厂三剑客·2017-06-19 09:39

Apache Zeppelin 中 HDFS文件系统 解释器

概述Hadoop文件系统是hadoop项目的分布式，容错文件系统的一部分，通常用作HadoopMapReduce和ApacheSpark或Alluxio等底层文件系统等分布式处理引擎的存储。 
u010859707·2017-06-16 10:00

走向云计算之MapReduce原理和运行流程详解

一、概述MapReduce的设计理念源自于Google的MapReduce论文（发表于2004年12月），HadoopMapReduce是GoogleMapReduce克隆版。
想作会飞的鱼·2017-06-13 22:05

走向云计算之MapReduce原理和运行流程详解

一、概述MapReduce的设计理念源自于Google的MapReduce论文（发表于2004年12月），HadoopMapReduce是GoogleMapReduce克隆版。
xiaokang123456kao·2017-06-13 22:00

Hadoop2.x的yarn

hadoopmapreduce1.x中的问题原理在1.x中主要使用的是JobTracker和TaskTracker这两个组件管理系统中的资源step1：客户端提交任务step2：JobTracker从namenode
qq_21050291·2017-06-06 11:00

centos6.8单机安装HBase

hadoop生态系统HBase简介–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce
飞侠119·2017-05-23 09:36

大数据处理之荷兰三剑客

Spark由Scala写成，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法
sharong·2017-04-25 20:00

大数据处理之荷兰三剑客

Spark由Scala写成，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法
sharong·2017-04-25 20:00

sqoop 知识及安装配置说明--hadoop安装系列之四

您可以使用Sqoop将数据从关系数据库管理系统（RDBMS）（如MySQL或Oracle）或主机导入Hadoop分布式文件系统（HDFS），将数据转换为HadoopMapReduce，然后将数据导出到RDBMS
新兴ICT项目支撑·2017-04-15 09:09

oozie工作流相关入门整理

通过最简单的一个例子来了解oozie是如何运行的，运行oozie的服务器必须能够访问HDFS，可以提交hadoopmapreduce任务（如果需
clamaa·2017-04-11 09:53

《Hadoop权威指南》——1、初识Hadoop&&2、关于MapReduce

第一章初始hadoopMapReduce比较适合处理整个数据集的动态查询。适合一次写入多次读取。MapReduce对非结构化或半结构化数据非常有效，因为它是在处理数据时才对数据进行解释。
Happywuw·2017-04-11 09:39

hbase基础小结

如上图所示，它是GoogleBigTable的开源实现，利用HadoopHDFS作为它文件存储，利用HadoopMapReduce处理海量数据，使
welcomezhang·2017-04-10 22:00

hbase基础小结

如上图所示，它是GoogleBigTable的开源实现，利用HadoopHDFS作为它文件存储，利用HadoopMapReduce处理海量数据，使
welcomezhang·2017-04-10 22:00

hbase基础小结

如上图所示，它是GoogleBigTable的开源实现，利用HadoopHDFS作为它文件存储，利用HadoopMapReduce处理海量数据，使
welcomezhang·2017-04-10 22:00
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他