hadoopmapreduce

Hbase入门

Hadoop2.0时代的生态系统如下：1.HBase简介–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce
shanvlang·2020-08-22 18:58

hadoop2.9.2+hbase2.2.3安装与配置（伪分布式环境下）——Hbase安装与配置

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
itjiangpo·2020-08-22 17:09

HBase MapReduce实例分析

很好理解本文前提是你对HadoopMapReduce有一定的了解，如果你是初次接触HadoopMapReduce编程，可以参考http://qa.taobao.com/?
cuilanbo·2020-08-22 16:04

Hbase单机模式部署

在Hadoop家族中，很多产品为HBase提供服务：HadoopHDFS为HBase提供了高可靠性的底层存储支持；HadoopMapReduce为HBase提供了高性能的计算能力；Zookeeper为HBase
看山·2020-08-22 16:28

将OpenStack私有云部署到Hadoop MapReduce环境

本文将帮助您了解云计算和大数据技术以及如何将OpenStack私有云部署到HadoopMapReduce环境。
久坐尘埃·2020-08-22 09:17

spark + ansj 对大数据量中文进行分词

目前的分词器大部分都是单机服务器进行分词，或者使用hadoopmapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。
sbq63683210·2020-08-22 03:15

ODPS技术架构及应用实践

DAG编程模型：类似HadoopMapReduce，相对SQL更加灵活，但需要一定的开发
CSDN·2020-08-22 01:51

大数据组件02-华为云鲲鹏服务器Spark2.3移植安装指南

它拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的
lichkingyang·2020-08-21 14:30

hadoop hdfs 全分布式（Fully-Distributed Operation） 部署

一、架构简介：本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作。
ccx_jy·2020-08-21 13:58

2.0Spark编程模型

Spark是HadoopMapReduce的演化和改进，并兼容了一些数据库的基本思想，可以说，Spark一开始就站在Hadoop与数据库这两个巨人的肩膀上。
Albert陈凯·2020-08-21 07:22

Spark及Spark Streaming核心原理及实践

官方提供的数据表明，如果数据由磁盘读取，速度是hadoopMapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用场景广泛=>大数据分析统计，实时数据处
秋雨ヾ·2020-08-21 06:53

关于Yarn

HadoopMapreduce的局限性：JobTracker单点瓶颈；TaskTracker端；作业延迟高；编程框架不够灵活。
Silence神乐·2020-08-21 06:54

最全的spark基础知识解答

UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架dfsSpark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于
weixin_34006965·2020-08-20 12:06

别再比较Hadoop和Spark了，那不是设计人员的初衷

将HadoopMapReduce与Spark作一番比较来得更明智，因
涮火锅·2020-08-19 19:19

Spark与Hadoop关系

0、Spark与HadoopMapReduce优势如下1）、中间结果输出MapReduce的计算引擎将中间结果存储在磁盘上，进行存储和容错。Spark将执行模型抽象为
Data_IT_Farmer·2020-08-19 09:41

下一代Apache Hadoop MapReduce框架的架构

需求当我们对HadoopMapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。
caodaoxi·2020-08-19 09:07

Spark高可用集群搭建

SparkSpark是一个开源的类似于HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce
微信用户_43167990·2020-08-18 12:53

Hadoop之基本组成与生态体系

2019独角兽企业重金招聘Python工程师标准>>>1.Hadoop的组成(1)HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统；(2)HadoopMapReduce：一个分布式的离线并行计算框架
weixin_34302561·2020-08-18 12:31

大数据晋级之路（8）Scala,Spark分布式安装

（SparkSQL）、流式处理（SparkStreaming）、机器学习（MLlib）、图计算（GraphX）提供了一个更快、更通用的统一的数据处理平台（OneStackrulethemall），是类HadoopMapReduce
King-Long·2020-08-18 12:37

MapReduce2原理解析

1MapReduce概述MapReduce源自于Google的MapReduce论文，该论文发表于2004年12月，现在的HadoopMapReduce是GoogleMapReduce的克隆版本。
huahuaxiaoshao·2020-08-18 11:25

大讲台Spark新手入门之实战部署

ApacheSpark是一个所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中
away30·2020-08-18 10:06

大数据学习之Spark——01Spark概述

Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的
Jiang锋时刻·2020-08-18 10:50

大数据之Spark实战开发

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架。
chenpanjc799055·2020-08-17 21:31

Hadoop

Hadoop模块：HadoopCommon：基本模块，用于支持其他模块HadoopDistributedFilesytem：分布式存储框架HadoopYarn：任务调度和集群资源管理HadoopMapReduce
宰祖宣·2020-08-17 19:53

Hadoop集群安装搭建Hbase和Zookeeper

GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce
CSDNFly1·2020-08-17 11:25

使用Docker搭建Hadoop集群和Spark集群

Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark是开源的类HadoopMapReduce的通用并行框架，Sp
anron·2020-08-17 10:13

Spark快速入门指南 – Spark安装与基础使用

Spark正如其名，最大的特点就是快（Lightning-fast），可比HadoopMapReduce的处理速度快100倍。
LLy_Alex·2020-08-17 07:39

一个高效的分布式计算系统：Spark

什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
木易云清·2020-08-16 22:57

spark论文简介

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所设计的，类似HadoopMapReduce的通用并行框架。Spark保持了MapRedu
PolarisYxh·2020-08-16 04:29

mapreduce流程1

1.概述HadoopMapReduce基于“分而治之”的思想，将计算任务抽象成map和reduce两个计算过程，计算流程如下：map过程包括：1).从磁盘读入数据2).运行map任务3).写结果到磁盘reduce
caihong0571·2020-08-15 07:19

好玩的大数据之23：Spark安装（Spark-3.0.0,伪分布式）

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
张文斌_2020·2020-08-14 16:04

hadoop 安装 官方文档

目的搭建一个单节点的服务，为了快速的体验hadoophdfs和hadoopMapReduce前提条件支持的平台：linux，windows，这里以centos764位操作需要软件：java，这里已经解压到
两个棉袄的男人·2020-08-11 20:24

Hbase快速开始——shell操作

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
weixin_34211761·2020-08-11 14:04

hadoop的基本简介及安装、配置、使用（一）

大数据的特点大（大象Volume）繁（章鱼Variety）快（豹子Velocity）值（淘金Value）由谷歌的三驾马车引申出hadoopMapReduce—>Map&Reduce计算架构GFS—>HDFS
kinglyjn·2020-08-11 05:47

什么是hadoop？

可以从单一服务器扩展到成千上万的服务器，这些服务都能够提供本地化的存储和计算；五Hadoop具有能够检测和处理应用层错误的能力；六是Hadoop包括Hadoopcommon/HDFS/HadoopYARN/HadoopMapReduce
chujianjuan0247·2020-08-11 03:19

HBase——简介及数据模型（一）

CassandrahbasemongodbCouchdb，文件存储数据库Neo4j非关系型图数据库HBase简介HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce
志想汇·2020-08-11 00:06

Spark学习总结——SparkCore、任务执行原理、算子

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于
System_FFF·2020-08-05 19:04

使用Python实现Hadoop MapReduce程序

转自：使用Python实现HadoopMapReduce程序英文原文：WritinganHadoopMapReducePrograminPython根据上面两篇文章，下面是我在自己的ubuntu上的运行过程
yinlung·2020-08-04 22:20

Hadoop学习随笔

Hadoop学习随笔Hadoop项目主要包括以下四个模块◆HadoopCommon:为其他Hadoop模块提供基础设施◆HadoopHDFS:一个高可靠、高吞吐量的分布式文件系统◆HadoopMapReduce
墨半成霜·2020-08-04 22:51

Tachyon---基于内存的分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
行者小朱·2020-08-04 11:38

Tachyon--以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
腾讯开发者·2020-08-04 11:53

大数据MapReduce总结

MapReduce简介MapReduce定义：HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上
shenmengxi1220·2020-08-03 04:54

Spark原理及理解

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
NoclimbMonkey·2020-08-02 22:50

Hadoop MapReduce程序的模板框架

这里放了两个HadoopMapReduce程序的模板框架，包括一些基本的包import语句、Mapper基类、Reducer基类、map()方法、reduce()方法，后面还有一些作业job的驱动程序，
GarfieldEr007·2020-08-02 21:57

hadoop的模块构造介绍（hdfs）

2hadoopDFS：一个可靠的高吞吐的分布式文件系统3hadoopMapReduce：一个分布式的离线并行计算框架4hadoopYARN集群资源统一管理和任务调度其中234是hadoop的三大核心模块
一只想颠覆世界的蚂蚁·2020-08-01 14:55

Hadoop技术梗概（一）

Hadoopcommon、HadoopHDFS、以及HadoopMapReduce。这三个部分是Hadoop最重要的三个部分。
SEU_杜臻臻·2020-08-01 14:56

Hadoop的基本组成

hadoop分布式文件系统，用于存储海量数据；具有分布式特征；安全性：同时存储三份副本数据HadoopMapReduce对海量数据的处理。也是分布式处理的策略。
weixin_37886463·2020-08-01 09:38

在Windows上使用Eclipse配置Hadoop MapReduce开发环境

在Windows上使用Eclipse配置HadoopMapReduce开发环境1.系统环境及所需文件windows8.164bitEclipse(Version:LunaRelease4.4.0)hadoop-eclipse-plugin
yew1eb·2020-08-01 08:31

Spark 特点

HadoopMapReduce的Job将中间输出和结果存储在HDFS中，读写HDFS造成磁盘IO成为瓶颈。Spark允许将中间输出和结果存储在内存中，节省了大量的磁盘IO。
谦卑t·2020-07-31 23:26

Spark调度解析

任务之间的关系如何划分作业（Job）如何划分阶段（Stage）如何划分任务（Task）总结3.Spark运行流程参考文献Spark调度解析1.相关术语Application：SparkApplication的概念和HadoopMapReduce
StephenYYYou·2020-07-31 22:57
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他