hadoopmapreduce

大文本文件（接近7GB）: 统计频数，Top K问题求解（二）

目录说明原始输入wordcountMR&输出输出MR日志附：Java代码TopK求解输入输出附：Java代码说明本文是接着上一篇博文：大文本文件（接近7GB）:统计频数，TopK问题求解，用Hadoopmapreduce
master-dragon·2020-07-31 21:14

hadoop 二次排序 group函数的作用的说明

hadoopmapreduce作业通过组合key实现二次排序的过程中，只要实现组合key的类就可以了。mapreduce框架本身会基于key对输出进行排序。
古巴与八股·2020-07-30 18:14

hadoop&spark mapreduce对比 & 框架设计和理解

HadoopMapReduce:MapReduce在每次执行的时候都要从磁盘读数据，计算完毕后都要把数据放到磁盘sparkmapreduce:RDDiseverythingfordev:BasicConcepts
stark_summer·2020-07-30 16:43

Hadoop计算框架Mapreduce

参考博客Hadoop学习笔记：MapReduce框架详解hadoop一些基本知识——Hadoop简介(1):什么是Map/Reduce一个完整的MapReduce程序HadoopMapreduce本地调试大数据
网瘾少年安涂·2020-07-30 13:17

Spark简介以及最详细安装教程

为什么使用SparkSpark，拥有HadoopMapReduce所具有的优点；但不同于Map
天ヾ道℡酬勤·2020-07-30 11:56

分布式计算框架Spark

HadoopMapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低。Spark尽可能地在内存上存储中间结果，极大地提高了计算速度。
weixin_34061555·2020-07-30 03:39

使用 IntelliJ IDEA打包Spark应用程序

Spark最早起源于加州大学伯克利分校AMP实验室的一个研究项目，实验室的研究人员曾经使用过HadoopMapReduce，他们发现MapReduce在迭代计算和交互计算的任务上效率表现不佳，因此Spark
努力进行光合作用·2020-07-30 01:03

离线计算

一、HadoopMapReduce简介：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
大数据领域架构师·2020-07-29 16:53

spark 安装入门（一）scala spark单词统计 ; java spark单词统计spark反转排序

具体快的原因：Spark是一个开源的类似于HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法
zengxianglei·2020-07-29 02:28

Spark系列--OutputFormat 详解

这也许会让你想到HadoopMapreduce的OutputFormat，没错，其实他们是一个东西，嗯，完全一样。Spark本身只是一个计算框架，其输入和输出都是依赖于Hadoop的O
code_solve·2020-07-28 22:17

三款大数据工具比拼,谁才是真正的王者

HadoopMapReduce虽然能够进行数据分析，但是太复杂了。于是，开发人员开发出了类似SQL的Pig和Hive。大数据时代，
weixin_34226182·2020-07-28 19:04

基于Hadoop MapReduce模型的数据分析平台研究设计

基于HadoopMapReduce模型的数据分析平台研究设计前言拖了5天终于看完了两篇论文，对相关数据分析平台搭建技术也有了进一步的了解。
曼陀罗彼岸花·2020-07-28 12:56

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的Hadoop安装，以便您可以快速执行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。
微wx笑·2020-07-28 12:31

HBase非关系型数据库

1.HBase-HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库2.在Hadoop生态圈中，它是其中一部分且利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce
qq_43198449·2020-07-28 09:08

大数据—Hadoop之MapReduce机制和工作流程

HadoopMapreduce是一个软件框架，基于这个框架能够容易的编写应用程序，这些应用程序能够运行在上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行的处理上TB级别的海量数据集。
擎宇T·2020-07-28 03:39

Spark基础知识学习分享

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写
蓝天的IT生涯·2020-07-28 01:23

Hadoop 2.7版本 集群环境搭建实例

④HadoopMapReduce:基于YARN的，大规模数据并行处理的核心框架。1.2Hadoop2.7.2简介与
Running07·2020-07-27 23:38

谈谈Hadoop MapReduce和Spark MR实现

谈谈MapReduce的概念、HadoopMapReduce和Spark基于MR的实现什么是MapReduce？MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。
upupfeng·2020-07-27 17:00

Hadoop核心组成部分、HDFS存储模型和架构模型总结

（4）HadoopMapReduce：基于YARN的系统，用于并行处理大型数据集。HDFS存储模型存储模型：字节（一个文件就是一个字节数组）①block块产生：文件线性切割成block块，
Tupac.Amaru.Shakur·2020-07-27 17:44

MapReduce分布式计算：使用Hadoop自带的wordcount程序、grep程序和pi程序

创建本地文件在桌面目录下创建文件wordfile.txt，其内容为"HelloWorld"和“HadoopMapReduce”（两行）touchwordfile.txt运行程序之前，需要启动Hadoop
lsiscool·2020-07-27 16:58

对比 Hadoop MapReduce 和 Spark 的 Shuffle 过程

对比HadoopMapReduce和Spark的Shuffle过程有什么不同？
大数据首席数据师·2020-07-27 12:16

Spark SQL 初探： 使用大数据分析2000万数据

Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分
cq1982·2020-07-15 21:02

分组Top N问题(三) - sql及Hive实现

前言：同上篇HadoopMapReduce实现分组Topn介绍一样，这次学习Hive实现分组Topn。
zeb_perfect·2020-07-15 16:05

Hadoop学习(一）初识hadoop

Hadoop的核心组件有三个：HDFS，HadoopMapReduce，HBase，分别是谷歌的GFS，GoogleMapReduce和BigTable的开源实现。另外，有趣的是，Hadoop名字不
沼泽鱼97·2020-07-15 06:56

Spark快速入门指南 – Spark安装与基础使用

Spark正如其名，最大的特点就是快（Lightning-fast），可比HadoopMapReduce的处理速度快100倍。
Ezioooooo·2020-07-15 01:01

Spark 工作原理及核心RDD 详解

一、Spark是什么Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用分布式并行计算框架。
ywendeng·2020-07-15 00:30

hadoop离线分析（简单版）-spark

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有Had
戰士·2020-07-14 18:03

hadoop 2.2 +hbase 0.98 利用自还zookeeper 实现单机伪分布集成

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
f751965763·2020-07-14 10:44

Hadoop组件及功能

HadoopDistributedFileSystem(HDFS™):HDFS是一个分布式文件系统，提供高吞吐量数据存储HadoopMapReduce:大数据集合的并行计算HadoopYARN:是一框架
将来嘚将来·2020-07-14 04:23

疯狂Spark之SparkCore入门

Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的
千锋教育官方博客·2020-07-14 04:39

疯狂Hadoop之MapReduce入门（五）

MapReduce计算模型框架MapReduce计算模型介绍HadoopMapReduce设计构思MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序
千锋教育官方博客·2020-07-14 04:07

下一代Apache Hadoop MapReduce框架的架构

需求当我们对HadoopMapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。
Yoga-jiang·2020-07-14 01:34

Spark：一个高效的分布式计算系统

p=2116---概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有
wh62592855·2020-07-13 21:38

Linux下MapReduce编程WordCount练习——使用命令行编译打包运行MapReduce程序（里面有对应安装包下载）

MapReduce编程目录一、WordCount练习二、编译、打包HadoopMapReduce程序三、遇见的问题及解决办法一、WordCount练习要在Eclipse上编译和运行MapReduce程序
爱跑步的mango·2020-07-13 12:57

Spark简单介绍&安装步骤

Spark1.spark概述spark概念基于内存的分布式计算系统,计算速度很快,只是用于数据的计算,不涉及到数据的存储.可以对接外部数据源(例如HDFS)Spark是一个开源的类似于HadoopMapReduce
qq_34795664·2020-07-13 10:50

HBase初探

HBase是HadoopDataBase的简写，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统/数据引擎，组成如下：基于hadoop的HDFS作为文件存储基于HadoopMapReduce来处理
我小叮当无可奈何·2020-07-13 10:44

疯狂Spark之SparkCore入门

Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的
QF大数据·2020-07-13 09:29

用户活跃度分析

我们这次项目课程的升级，也跟spark从入门到精通的升级采取同步，采用scala+eclipse的方式来开发**我个人而言，还是觉得应该用java去开发spark作业，因为hadoop是最重要的大数据引擎，hadoopmapreduce
weixin_34200628·2020-07-12 09:07

CDH 和ambari之间的比较

Ambari是Apache软件基金顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视ApacheHadoop集群，支持HadoopHDFS,、HadoopMapReduce、Hive、HCatalog
千淘万漉·2020-07-11 12:49

spark为什么比MapReduce快

spark为什么比MapReduce快sparktask启动时间快,因为spark采用fork线程的方式,而Hadoop每次都创建新的进程spark只有在shuffle的时候才将数据写入磁盘,HadoopMapReduce
chuya1943·2020-07-11 04:16

Spark 和 Hadoop MapReduce 对比

小编说：一提到大数据处理，相信很多人第一时间想到的是HadoopMapReduce。没错，HadoopMapReduce为大数据处理技术奠定了基础。
博文视点·2020-07-11 03:18

HBase学习提纲：助你一臂之力

HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
爱编程的小和尚·2020-07-10 16:02

Hadoop之Spark框架研究相关知识汇总

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要
zhongwen7710·2020-07-10 14:43

Spark基础知识

欢迎访问博客新址:http://blog.xuezhisd.topSpark基础知识什么是SparkSpark是UCBerkeleyAMPlab所开源的类似HadoopMapReduce的通用的并行计算框架
xuezhisdc·2020-07-10 13:26

mapreduce与spark的区别--内容详细

HadoopMapReduce采用了多进程模型，而Spark采用了多线程模型：ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0
奔跑的小鲫鱼·2020-07-10 12:06

Spark 常用算子详解（转换算子、行动算子、控制算子）

Spark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎；Spark拥有HadoopMapReduce所具有的优点，但是运行速度却比MapReduce有很大的提升，特别是在数据挖掘、机器学习等需要迭代的领域可提升
SusurHe·2020-07-10 11:51

【转】Spark：一个高效的分布式计算系统

p=2116概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
weixin_30911809·2020-07-10 07:32

非常用心的好上手coding的MapReduce编程模型

架构（可略过）三、wordcountcodeWordcountMapper.javaWordcountReducer.javaWordcountDriver.java四、梳理一下MR编程规范五、补充一下hadoopmapreduce
pingzishinee·2020-07-10 04:25

Spark扫盲

Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点
zachary_OOM·2020-07-10 02:07

【Spark】Spark基础教程

Spark特点Spark具有如下几个主要特点：运行速度快：Spark使用先进的DAG（DirectedAcyclicGraph，有向无环图）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比HadoopMapReduce
饥渴的小苹果·2020-07-09 22:01
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他