hadoopmapreduce

MR实战：词频统计

实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建词频统计映射器类5、创建词频统计归并器类6、创建词频统计驱动器类7、启动应用，查看结果四、实战总结一、实战概述本实战演练旨在利用HadoopMapReduce
howard2005·2024-01-05 19:01

Pentaho Kettle 6.1连接CDH5.4.0集群

最近把之前写的HadoopMapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作
香山上的麻雀·2024-01-05 16:43

大数据应用场景-搜索引擎概述

从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce
GuangHui·2024-01-04 16:14

Spark内容分享(三)：Spark - 介绍及使用 Scala、Java、Python 三种语言演示

Hadoop对比4.Spark运行模式二、SparkWordCount演示1.Scala语言2.Java语言3.Python语言一、SparkApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce
之乎者也··2024-01-01 13:19

MR实战：分科汇总求月考平均分

Maven项目2、添加相关依赖3、创建日志属性文件4、创建学生实体类5、创建科目平均分映射器类6、创建科目平均分归并器类7、创建科目平均分驱动器类8、启动应用，查看结果一、实战概述在本次实战中，我们将利用HadoopMapReduce
howard2005·2023-12-29 10:42

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Java机械师·2023-12-26 23:13

大数据----MapReduce实现统计单词

目录一、简介二、实现单词统计数据准备编程MapReduceJob三、运行四、结果一、简介HadoopMapReduce是一个编程框架，它可以轻松地编写应用程序，以可靠的、容错的方式处理大量的数据(数千个节点
韭菜盖饭·2023-12-25 17:34

大数据----基于sogou.500w.utf8数据的MapReduce编程

及搜索关键字记录3.2、统计rank2的所有UID及数量3.3、上午7-9点之间，搜索过“赶集网”的用户UID3.4、通过Rank：点击排名对数据进行排序四、参考一、前言最近学习大数据的知识，需要做一些有关HadoopMapReduce
韭菜盖饭·2023-12-25 17:01

YARN Hadoop2.0 区别

Hadoop2.0与HAdoop1.0的区别：Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由HadoopCommon、HDFS、HadoopYARN和HadoopMapReduce2.0
omygodvv·2023-12-24 23:01

大数据学习笔记-MapReduce（一） 入门基础理论

1、HadoopMapReduce介绍mapreduce的思想：分而治之，先分再和，分而治之，把复杂的问题分解，然后逐个解决，分别计算出结果。
天码村·2023-12-19 10:36

3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

文章目录HadoopMapReduce（计算）一、理解MapReduce思想二、HadoopMapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、HadoopMapReduce
周纠纠·2023-12-19 10:04

spark介绍及简单使用

起初，HadoopMapReduce是大数据处理的主流框架，但其存在一些限制，如不适合迭代算法、高延迟等。为了解决这些问题，Spark在2010年推出，提供了高效的内存计算和更灵活的数据处理方式。
necessary653·2023-12-18 13:08

Spark

在核心上，Spark是基于内存计算的，这使得它比基于磁盘计算的HadoopMapReduce更快。
编织幻境的妖·2023-12-16 20:16

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

大数据技术之Oozie

一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。
星川皆无恙·2023-12-03 13:00

Spark是什么？以及它有哪些应用场景呢？

首先说说Spark的起源：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
陈影鸿在进步·2023-11-25 01:07

hadoop mapreduce mysql_hadoop mapreduce数据去重

hadoopmapreduce数据去重假设我们有下面两个文件，需要把重复的数据去除。
反正我不慌哈·2023-11-24 05:11

Spark设计理念与基本架构

HadoopMapReduce的缺陷：对HDFS的频繁操作导致磁盘IO称为系统性能的瓶颈，因此只适用于离线数据处理。
whynotybb·2023-11-24 02:29

Hadoop参数调优

有很多因素会对HadoopMapReduce性能产生影响。一般说来，与工作负载相关的Hadoop性能优化需要关注以下3个主要方面：系统硬件、系统软件，以及Hadoop基础设施组件的配置和调优/优化。
MrZhangBaby·2023-11-22 09:05

MapReduce执行流程和Shuffle过程

HadoopMapReduce作业执行流程整个HadoopMapReduce的作业执行流程如图1所示，共分为10步。
一粒米_394c·2023-11-21 18:41

Spark---介绍及安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于
30岁老阿姨·2023-11-21 13:26

大数据流处理框架：Spark Streaming与Storm

ApacheSpark流处理Spark框架的出现，是在HadoopMapReduce基础上继承研发而来，本质上来说，还是
成都加米谷大数据·2023-11-20 12:20

Hadoop伪分布式搭建

Hadoop伪分布式搭建目的准备支持的平台需要的软件下载伪分布式配置设置SSH免密登录启动hadoop验证文件分块查看上传后的文件目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce
best program·2023-11-15 05:13

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

如何在虚拟机上安装和配置Spark开发环境

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduc
Deng872347348·2023-11-11 19:39

hadoop MapReduce 实战（java）：单词计数

hadoopMapReduce实战（java）：单词计数点击【File】—>【Project】，选择【Map/ReduceProject】，输入项目名称test，一直回车。
柯努力·2023-11-10 20:51

spark基础知识点

Spark针对开发大数据应用程序提供了丰富的API，这些API比HadoopMapReduce更易读懂。相比之下，HadoopMapRed
叫我三少爷·2023-11-07 05:01

Apache Hive

目录数据仓库（DW）SQL语法分类Hive和Hadoop之间的关系（底层是HadoopHive将SQL转换为MapReduce）为什么使用Hive使用HadoopMapReduce直接处理数据所面临的问题使用
liyantower·2023-10-31 05:44

《Hbase原理与实践》读书笔记——1.HBase概述

1.1HBase前世今生Google当年风靡一时的“三篇论文”：GFS->HDFS,Mapreduce->hadoopmapreduce,bigTable->HBase。
凯哥多帅哦·2023-10-24 01:33

Spark 简介

spark特点spark是基于内存计算的大数据并行计算框架具有如下特点：运行速度快Spark使用先进的DAG执行引擎，基于内存的执行速度可比HadoopMapReduce快上百倍，基于磁盘的执行速度也能快十倍容易使用支持使用
博弈史密斯·2023-10-23 16:22

MapReduce NativeTask优化详解

基本介绍NativeTask是HadoopMapReduce的高性能C++API和运行时。
shining_yyds·2023-10-22 00:25

ubuntu20安装Spark和pyspark的简单使用

简单介绍1，介绍Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴HadoopMapReduce
断线纸鸢张·2023-10-21 06:07

【大数据技术原理】MapReduce详解

HadoopMapReduce是分布式应用程序Hado
YoHu人家·2023-10-20 18:10

2019-06-16

准备写一个大数据HadoopMapreduce教程：如何在不会JAVA语言的情况下快速完成Hadoop的MapReduce大作业，纪念我这学期的生活。
Rosyyyy·2023-10-19 00:51

MapReduce

HadoopMapReduce计算编程模型可以用于处理大数据集，它的一般思路是将输入dataset切分为多个split，每个split交由一个mapper处理，mapper处理之后再交由reduce处理
spraysss·2023-10-18 17:18

Hadoop分布式计算框架-MapReduce

本文所有代码链接：https://download.csdn.net/download/shangjg03/884373131.MapReduce概述HadoopMapReduce是一个分布式计算框架，
shangjg3·2023-10-17 19:29

Apache Spark 的基本概念和在大数据分析中的应用

它是基于内存的计算框架，比传统的基于磁盘的HadoopMapReduce框架要快得多。
Roc-xb·2023-10-17 19:38

Hadoop：MapReduce序列化

在HadoopMapReduce中，序列化的主要作用有两个：永久存储和进程间通信。
oraclestudyroad·2023-10-15 12:18

【大数据】Hadoop MapReduce与Hadoop YARN（学习笔记）

一、HadoopMapReduce介绍1、设计构思1）如何对付大数据处理场景对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略。
rexhao_wmh·2023-10-14 07:27

Hbase集群部署

HBASE介绍–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理
Best_Liu~·2023-10-13 23:49

Spark大数据平台

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
Hi~晴天大圣·2023-10-13 05:16

《黑马程序员》大数据集群（Hadoop生态）安装部署——图文讲解

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备章节的内容即：JDK
懒羊羊夸夸~·2023-10-10 02:41

大数据—— Spark Core 知识点整理

官方提供的数据表明，如果数据由磁盘读取，速度是HadoopMapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。
Vicky_Tang·2023-10-09 21:34

Hadoop核心组件

HadoopMapReduce:分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部
HZHZHZ·2023-10-08 10:16

Hadoop之hdfs简介

HadoopHDFS:一个高可靠、高吞吐量的分布式文件存储系统HadoopMapReduce:一个分布式的离线并行计算框架HadoopYARN:一个新的MapReduce框架，任务调度与资源管理框架HadoopDistrib
墙角的枫叶·2023-10-08 07:53

Spark基础

复杂的逻辑需要大量的样板代码(2)处理效率低Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据任务调度与启动开销大(3)不适合迭代处理、交互式处理和流式处理Ⅱ、Spark是类HadoopMapReduce
罗刹海是市式市世视士·2023-10-07 17:51

spark工作原理和介绍

是HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再
摩V羯座·2023-09-30 01:06

Spark 计算框架

ApacheSpark™是用于大规模数据处理的快速和通用引擎.速度:在内存中,运行程序比HadoopMapReduce快100倍，在磁盘上则要快10倍.ApacheSpark具有支持非循环数据流和内存计算的高级
记录哥·2023-09-26 10:25

IDEA连接Hive

IDEA连接Hive1、打开IDEA右侧database2、添加Hive连接3、手动下载依赖包3.1、hadoopcommon下的三个包3.2、hadoopMapReduce下的包3.3、hivelib
清梦清河·2023-09-25 10:08

云计算与大数据——Spark的安装和配置

与传统的HadoopMapReduce相比，Spark的主要优势在于其能够将数据集缓存在内存中，从而大大减少了磁盘I/O操作，提高了数据处理速度。
星川皆无恙·2023-09-25 05:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他