hadoopmapreduce

Hadoop 文档官方版本 （2）--- hadoop 单节点安装

目的本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。
半_调_子·2020-06-27 13:45

hadoop mapreduce 过程解析及hive参数优化

一、hadoopmapreduce过程理解（1）分片（split）操作该部分不属于map和reduce的主要过程，但是是整个计算框架比较消耗时间的一部分，为map做数据准备。
KColorfulLife·2020-06-27 02:57

Hadoop MR 之(一) 编写自己的WordCount

前言在前面的内容几章内,我们主要介绍了HDFS的相关内容.本章开始,我们讲解下经常使用的HadoopMapReduce的相关内容.有人会觉得,当前已经到了Spark几乎一统天下的时代,学习Map/Reduce
在风中的意志·2020-06-26 22:26

MapReduce总结

本文介绍了HadoopMapReduce的架构，并结合具体例子介绍MapReduce的工作过程，以更深入的了解MapReduce。
Bob Liu·2020-06-26 21:30

hadoop-介绍

hadoop的简介1.出现背景2.核心组件2.1HadoopCommon2.2HadoopDistributedFileSystem(HDFS)2.3HadoopYARN2.4HadoopMapReduce2.5HadoopOzone1
sxsAffable·2020-06-26 17:16

Spark MLlib 机器学习算法与源码解析（网络课程—第一期）

Spark使用了内存内运算技术，在内存上的运算速度比HadoopMapReduce的运算速度快上100倍，即便是在磁盘上运行也能快10倍。
sunbow0·2020-06-26 15:43

常见大数据框架

文件存储：HadoopHDFS、Tachyon、KFS离线计算：HadoopMapReduce、Spark流式、实时计算：Storm、SparkStreaming、S4、HeronK-V、NOSQL数据库
小学生ing·2020-06-26 11:37

分布式存储与分布式计算

Spark：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapRed
recommender_system·2020-06-26 05:50

Hadoop基础知识点汇总简易版

HadoopMapReduce：基于YARN的系统，用
橙以·2020-06-26 00:11

大数据学习知识点

文件存储：HadoopHDFS、Tachyon、KFS离线计算：HadoopMapReduce、Spark流式、实时计算：Storm、SparkStreaming、S4、HeronK-V、NOSQL数据库
Daneil_Lee·2020-06-25 18:35

MapReduce编程模型详解

1.1MapReduce是什么HadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上
张伯清·2020-06-25 17:00

[2019好程序员大数据教程]Spark快速入门（72集视频+源码+笔记）

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
好程序员IT·2020-06-25 10:01

大数据环境搭建及基本使用

目录大数据环境搭建及基本使用环境搭建：Ubuntu18.04三台虚拟机大数据1.Hadoophdfs使用2.Hadoopmapreduce使用3.Hive使用4.Hbase使用5.Kafka使用大数据环境搭建及基本使用环境搭建
嘟嘟杜·2020-06-25 07:17

pyspark使用教程（一）

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
卓玛cug·2020-06-25 04:00

hadoop mapreduce有哪些地方使用了排序？

快速排序（默认；分区按key排序）归并排序（磁盘文件的归并排序）GroupingComparator前言如题：hadoopmapreduce整个过程中有哪些排序？
master-dragon·2020-06-25 02:57

mapreduce的实际应用

上一篇|下一篇：hadoopmapreduce…需求:1、求出评分最高的电影2.评论次数最多的电影packagecom.yinwx.movie;importorg.apache.hadoop.io.WritableComparable
qq_21465561·2020-06-25 01:35

Spark Shuffle（基础）过程

SparkShuffle行为和HadoopMapReduce中Shuffle过程基本一
小学僧丶Monk·2020-06-24 15:13

Spark 2.0分布式集群环境搭建

Spark最大的特点就是快，可比HadoopMapReduce的处理速度快100倍。本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。
love666666shen·2020-06-24 08:53

HBASE shell 常用命令大全

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
liuxiaoyi216·2020-06-24 07:55

Apache Hadoop YARN： 背景及概述

自此ApacheHadoop由下面四个子工程组成：HadoopComon：核心库，为其他部分服务HadoopHDFS：分布式存储系统HadoopMapReduce：MapReduce模型的开源实现HadoopYARN
liangliyin·2020-06-24 04:22

Oozie安装步骤-01

Oozie英文翻译驯象人Oozie简介一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、PigJobs的任务调度与协调。
修仙ing~·2020-06-24 01:29

Hadoop生态地图/Google三大核心技术：GFS（HDFS实现），bigtable(Hbase实现)，MapReduce

2.1分布式离线计算框架（第一代）1.0HadoopMapReduce2.2分布式离线计算框架（第一代）2.0HadoopYARN3.1分布式NOSQL数据仓库Pig/HiveMapReduce的程序写起来麻烦
Hanson.·2020-06-24 01:45

hbase基本概念和hbase shell常用命令用法

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
iteye_5095·2020-06-23 19:21

大数据处理之荷兰三剑客

Spark由Scala写成，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分
iteye_2198·2020-06-23 19:56

Hadoop生态圈

HadoopMapReduce：基于YARN的大数据集的并行处理系统。HadoopCommon：支持其他Hadoop模块的通用功能，包括序列化、JavaRPC和持久化数据结构等。
秋幻旎苏·2020-06-23 10:56

Spark：有向无环图（DAG）检测

Spark是一种与Hadoop相似的开源集群计算环境，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此
chisuijie5678·2020-06-22 22:59

Hbase学习与总结

它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
坚持到底cw·2020-06-22 22:05

使用数人云运行 Spark 集群

Spark是UCBerkeleyAMPlab开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点
优云数智·2020-06-22 16:38

利用Hadoop MapReduce实现单词统计——Wordcount

HadoopMapReduce实现单词统计——Wordcount环境：Centos7系统+IDEA本程序是利用IDEA中的Maven来实现的，主要是因为Maven省去了在本地搭建Hadoop环境的麻烦，
YF_Li123·2020-06-22 08:46

Hadoop MapReduce & Yarn 详解

目录1.MapReduce1.MapReduce概述2.编程模型3.案例2.YARN1.YARN简介2.YARN原理3.YARN工作机制最后1.MapReduce1.MapReduce概述HadoopMapReduce
Thpffcj·2020-06-22 06:40

mapreduce 和hive 的区别

mapreduce和hive的区别首先：1.hive本身只是在hadoopmapreduce或者spark计算引擎上的封装，应用场景自然更局限，不可能满足所有需求。
summer2381·2020-06-22 05:55

大数据框架之Spark框架

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
StarCoder_Yue·2020-06-22 05:06

大数据 Yarn

新的HadoopMapReduce框架命名为MapReduceV2或者叫Yarn。
Notzuonotdied·2020-06-22 02:22

Hadoop基础理论知识

HadoopCommon:Hadoop的一些模块工具Hadoop分布式文件系统(HDFS):一种分布式文件系统,它可以提供能应用程序数据的高吞吐量的访问HadoopYARN作业调度和集群资源管理的框架HadoopMapReduce
Hedianzhj·2020-06-21 21:08

大数据-hadoopMapReduce的mrjob实现

MR实现WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrommrjob.jobimportMRJobclassMRWordCounter(MRJob):defmapper(self,key,line):forwordinline.split():yieldword,1defreducer(self,word,oc
GVTgh·2020-06-21 19:47

【Hadoop】（三）资源管理器 YARN 和分布式计算框架 MapReduce

reduce、组、分区、输出文件之间的关系6.计算框架二、Hadoop2.x-MapReduce1.HadoopYARN2.Hadoop2MR在Yarn上运行流程3.YARN三、MapReduce原理分析前言HadoopMapReduce
云 祁·2020-06-21 17:32

mapreduce 和hive 的区别

mapreduce和hive的区别首先：1.hive本身只是在hadoopmapreduce或者spark计算引擎上的封装，应用场景自然更局限，不可能满足所有需求。
zengxianglei·2020-06-21 15:31

Apache Hadoop Yarn学习（一）：发展和架构组件功能详解

YARN的意义YARN的基本架构YARN组件介绍ResourceManager的组成YARN通俗介绍Hadoop组成1.HadoopHDFS：一个高可靠，高吞吐量的分布式文件系统，对海量数据的存储2.HadoopMapReduce
老王的小知识·2020-06-21 14:07

HBase实操 | 使用Java调用HBase的Endpoint Coprocessor

1.文档编写目的HBase是一款基于Hadoop的Key-Value数据库，提供了对HDFS上数据的高效随机读写服务，填补了HadoopMapReduce批处理的缺陷，但HBase作为列簇数据库无法轻易的建立
weixin_34025151·2020-06-21 11:11

分布式系统面试准备

当然了，大家都不是做底层的分布式系统，比如分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统，storm。
沈安心·2020-06-21 04:19

Hbase的存储

Hbase存储的逻辑视图Hbase的存储格式Hbase写数据流程Hbase快速响应数据Hbase在生态系统中的位置HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce
diaomu5377·2020-06-21 01:06

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
caodaoxi·2020-06-21 00:15

Lambda 架构详解-1

一般来说，对于像HadoopMapReduce这样的批处理系统来说，可靠性很高，而实时性很差；对于Storm这样的流式处理系统来说，则情况正好相反。
似梦似意境·2020-06-20 22:14

大数据技术栈，主要有哪些

为了解决这些疑惑，羚羊专门花了些时间，挨个技术去研究对比归类，大概总结出以下的技术点：文件存储：HadoopHDFS、GFS、KFS、Tachyon离线计算：HadoopMapReduce、Spark流式
非洲羚羊·2020-06-15 11:00

Apache Spark

Spark在存储器内运行程序的运算速度能做到比HadoopMapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spa
WuRoc·2020-05-30 23:00

最新Spark入门篇

一、Spark简介1.什么是SparkApacheSpark是一种快速的集群计算技术，基于HadoopMapReduce技术，扩展了MapReduce模型，主要特性是在内存中集群计算，速度更快。
子凡的博客·2020-05-13 17:05

最新Spark入门篇

一、Spark简介1.什么是SparkApacheSpark是一种快速的集群计算技术，基于HadoopMapReduce技术，扩展了MapReduce模型，主要特性是在内存中集群计算，速度更快。
子凡的博客·2020-05-13 09:00

重磅 解决 hadoop job 卡死 根源问题

这几天，碰到了两次hadoopmapreduce卡死的现象，主要就是停留在job那里无法进行，或者map0reduce0.第一次碰到时没有找到原因，用网上最粗暴的方法重启了
Helen_Cat·2020-04-13 04:30

spark术语

术语定义Application：SparkApplication的概念和HadoopMapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的
九七学姐·2020-04-09 00:54

Spark共享变量之累加器

valdata:RDD[String]=sc.makeRDD(Seq("hadoopmapreduce","sparkmllib"))//方式1valcount1:Int=data.flatMap(line
AGUILLER·2020-04-06 18:38
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他