【MapReduce】

云原生大数据架构中实时计算维表和结果表的选型实践

一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库HBase。
阿里云技术·2023-03-31 02:53

hadoop之MapReduce

MR核心编程思想：MR一般需要分成两个阶段，Map和reduce，map阶段，maptask完全并行运行，互不干扰，reduce阶段，reducetask完全不互相干，但是他们的数据依赖于上一个阶段的所有的maptask输出的结果，MR进程：MrAppMaster：负责整个程序的过程调度，计算Maptask的个数Maptask：负责map阶段的数据处理Reducetask：负责reduce阶段的数
USTC_IT·2023-03-31 02:16

Hive对比传统数据库区别

Hive对比传统数据库①Hive和关系数据库存储文件系统不同，Hive使用的是hadoop的HDFS（hadoop的分布式文件系统），关系数据库则是服务器本地的文件系统；②Hive使用的计算模型是MapReduce
栗子呀！·2023-03-31 01:30

Hive与传统数据库的比较

Hive通过把HiveSQL进行解析和转换，最终生成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成数据分析与处理。
糖潮丽子·2023-03-31 01:58

Hive对比传统数据库

①Hive和关系数据库存储文件系统不同，Hive使用的是hadoop的HDFS（hadoop的分布式文件系统），关系数据库则是服务器本地的文件系统；②Hive使用的计算模型是MapReduce，而关系数据库则是自己设计的计算模型
Cynicism_Kevin·2023-03-31 01:46

Java大数据开发Hadoop MapReduce

目录1MapRedcue的介绍1.1MapReduce定义1.2MapReduce的思想1.3MapReduce优点1.4MapReduce的缺点1.5MapReduce进程1.6MapReduce-WordCount2Hadoop
·2023-03-31 01:18

hive的介绍及与传统关系型数据库（mysql)的区别

hive的介绍什么是hive：Hive是基于hadoop的一个数据仓库工具，实质就是一款基于hdfs的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。
JDK1.8.0·2023-03-31 01:11

hive架构和原理以及与传统数据库的区别

如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。用户可以使用命
ChlinRei·2023-03-31 01:10

数据产品经理有必要了解的MapReduce

本文是Hadoop组件之MapReduce的学习总结性文章。因本人非技术出身，所学均来源于网络，难免有不严谨甚至错误之处，恳请大家指正。
顺子哥66的·2023-03-31 00:49

大数据技术原理与应用 笔记 第2章 大数据处理架构Hadoop

大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop
梦想是吃不完的格力高·2023-03-30 23:39

大数据技术原理与应用----大数据处理架构Hadoop

2、Hadoop的理论基础（1）Hadoop的两大核心①分布式文件系统（HDFS）；②分布式并行编程框架（MapReduce）；（2）Hadoop的特性①高可靠性；②高效性；③高可扩展性；④高容错性；⑤
wake D·2023-03-30 23:04

【Hadoop】Yarn 资源调度器

HadoopMapReduce：基于Y
和风与影·2023-03-30 23:00

了解大数据技术原理与应用（复习知识点）

目录①大数据（BigData）与云计算、物联网的相互关系②介绍Hadoop、MapReduce、HDFS和HBase以及其他功能组件，复习重点以及其他可用点！
登登登__·2023-03-30 23:20

大数据技术原理与应用（第七章 MapReduce）

目录7.1MapReduce简介MapReduce与传统并行计算框架对比MapReduce模型MapReduce策略MapReduce理念——计算向数据靠拢MapReduce架构——Master/SlaveMap
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第九章 数据仓库HIVE）

数据仓库的概念传统数据仓库面临的挑战9.2HIVE简介Hive适用于数据仓库的特点采用批处理方式处理海量数据提供适合数据仓库操作的工具Hadoop生态系统中Hive与其他部分的关系Hive依赖于HDFS存储数据Hive依赖于MapReduce
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第十章 Spark）

BDAS架构Spark生态系统组件的应用场景10.3Spark运行架构Spark基本概念和架构设计RDDDAGExecutorApplicationTaskJobStageSpark运行架构与HadoopMapReduce
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第二章 大数据处理架构Hadoop）

目录2.1Hadoop简介HDFS（分布式文件系统）MapReduce（分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop
m0_37607242·2023-03-30 22:58

Hadoop（HDFS、Yarn、MapReduce、Zookeeper、Kafka、Flume、Storm、Spark） 知识点总结

以单词计数为例，简述MapReduce计算
皓洲·2023-03-30 21:02

Hadoop核心组件详解—HDFS、YARN、MapReduce

Hadoop是一个开源的分布式计算和存储框架，它的作用非常简单，就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持，相当于在某种程度上将多台计算机组织成了一台计算机。Hadoop框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。Hadoop集群可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点。适合一次写入，多次读取的
濛小万·2023-03-30 21:25

第四章大数据离线计算框架（MapReduce&YARN）

第四章大数据离线计算框架（MapReduce&YARN）一、MapReduce技术原理1.1MapReduce概述1.2Map函数和Reduce函数二、YARN技术原理2.1YARN的概述与应用2.2YARN
风起天澜、·2023-03-30 20:29

Hadoop、Mapreduce、Spark概念

//blog.csdn.net/lbyyy/article/details/53334019https://blog.csdn.net/leanaoo/article/details/83153889mapreduce
弦歌Charlie·2023-03-30 20:22

大数据-Hadoop中的HDFS架构、YARN架构、MapReduce架构

HDFS架构NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DateNode等.DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和.SecondaryNameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照.YARN架构ResourceMan
hmyqwe·2023-03-30 20:35

大数据学习记录-Hadoop框架核心（HDFS、MapReduce、YARN）

该文章为lagou学习记录笔记，里面的资源和内容来自lagou，作为大数据菜鸡，如果内容部分有错误还请各位大佬指出并纠正，谢谢大数据技术解决的是什么问题？大数据技术解决的主要是海量数据的存储和计算大数据的定义：是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式。大数据的特点：5v（volumn–大量、velocity–高速、variety–多样、veracity真实
对方还不是你的好友·2023-03-30 20:46

impala中的刷新元数据和刷新表

虽然Hive系统也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，impala的最大特点也是最大卖点就是它的快速。
AllenGd·2023-03-30 20:44

Hadoop概述以及HDFS、YARN、MapReduce的架构分析和Hadoop的特点

文章目录Hadoop概述什么是Hadoop：分布式存储框架：HDFS分布式计算框架：MapReduce资源调度和管理平台：YARNHadoop的版本HDFS架构分布式存储介绍HDFS架构分析YARN架构分析
被迫内卷的学习记录·2023-03-30 20:12

yarn任务监控页面查看SQL内容

hadoopjob监控页面查看的image.png1、点开一个application，点击TrackingURL:ApplicationMaster或者History（历史任务显示History），进入到MapReduceJobjob
大闪电啊·2023-03-30 19:23

【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）

一、总体架构设计原则企业级大数据应用框架需要满足业务的需求，一是要求能够满足基于数据容量大，数据类型多，数据流通快的大数据基本处理需求，能够支持大数据的采集，存储，处理和分析，二是要能够满足企业级应用在可用性，可靠性，可扩展性，容错性，安全性和隐私性等方面的基本准则，三是要能够满足用原始技术和格式来实现数据分析的基本要求满足大数据的V3要求大数据容量的加载、处理和分析-要求大数据应用平台经过扩展可
showswoller·2023-03-30 18:19

python语言的数据仓库_hive+python数据分析入门

为什么要使用hive+python来分析数据举个例子,当年没有数据库的时候,人们编程来操作文件系统,这相当于我们编写mapreduce来分析数据后来有了数据库,再没人操作文件系统了(除非有其它需求),而是直接使用
weixin_39782545·2023-03-30 17:56

hive 的数据仓库的使用

•本质是将SQL转换为MapReduce程序2.为什么要使用Hive•操作接口采用类SQL语法，提供快速开发的能力•避免了去写MapReduce，减少开发人员的学习成本•扩展功能很方便Hive的特点•可扩展
miketom155·2023-03-30 16:04

intellij idea使用maven构建hadoop开发环境

81.81.82.6.5org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-hdfs${hadoop.version}org.apache.hadoophadoop-mapreduce-client-core
yc_yz·2023-03-30 15:37

MapReduce原理剖析（深入源码）

文章目录1.概述1.1提交任务1.2初始化作业1.3任务分配1.4任务执行1.5进度和状态更新1.6作业完成2.提交任务&切片源码分析2.1提交任务源码分析2.2提交核心之切片流程源码分析2.3FileInputFormat切片机制2.3.1切片机制2.3.2案例分析2.3.3源码中计算切片大小的公式2.4FileInputFormat实现类2.4.1TextInputFormat2.4.2Com
每天都要加油呀！·2023-03-30 13:20

第六课 大数据技术之Hadoop3.x的源码解析

的源码解析第一节RPC通信原理解析第二节NameNode启动源码解析第三节DataNode启动源码解析第四节HDFS上传源码解析4.1create创建过程4.2write上传过程第五节HDFS上传源码解析第六节MapReduce
道教儒佛电磁波·2023-03-30 13:12

MapReduce

MapReduce是一种编程模型，用于大规模数据集的并行运算在进行MapReduce计算任务的时候，任务被分为两个阶段：Map阶段和Reduce阶段。
GakkiLove·2023-03-30 10:22

JS中reduce和map的优雅写法分享

目录reducemapreduce1、可以使用reduce方法来实现对象数组中根据某一key值求和例如，假设有以下对象数组：constarr=[{name:'apple',price:2},{name:
·2023-03-30 10:57

Google File System Google Map Reduce Google BigTable 论文

blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdfGoogleMapReduce
宿命与相关·2023-03-30 07:06

MapReduce执行流程（图解+注解）

1.Map阶段：1.对文件进行逻辑切片split，默认大小为hdfs块大小，每一块对应一个mapTask；2.对切片中的数据按行读取，解析返回形式，key为每一行的偏移量，value为每一行的数据；3.调用map方法处理数据，读取一行调用一次；4.对map方法计算的数据进行分区partition，排序sort；默认不分区，因为只有一个reduceTask处理数据，分区数=reduceTask数，计
hmi1024·2023-03-30 04:19

MapReduce Map的个数分析

1.概述通常情况下，Map作业会通过input的目录产生一个或者多个map任务主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)2.举例假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块
hmi1024·2023-03-30 04:48

Hadoop之Mapreduce序列化

目录什么是序列化：什么是反序列化：为什么要序列化：Java的序列化：Hadoop序列化:自定义序列化接口：实现序列化的步骤：先看源码进行简单分析：序列化案例实操：案例需求：（1）输入数据：（2）输入数据格式：（3）期望输出数据格式需求分析：编写MapperReduce程序：什么是序列化：序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。什么是反序列
小唐同学(๑>؂<๑）·2023-03-30 03:52

hadoop之MapReduce框架原理

目录MapReduce框架的简单运行机制：Mapper阶段：InputFormat数据输入：切片与MapTask并行度决定机制：job提交过程源码解析：切片逻辑：1）FileInputFormat实现类进行虚拟存储
小唐同学(๑>؂<๑）·2023-03-30 03:52

hadoop集群搭建学习总结（一）

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
qq_39063243·2023-03-29 23:31

大数据架构设计与数据计算流程

大数据架构设计技术架构Hadoop有3个核心组件：分布式文件系统HDFS；分布式运算编程框架MapReduce；分布式资源调度平台YARN。
李景琰·2023-03-29 23:00

Spark架构基本介绍

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架优点快速：spark有先进的DAG执行引擎，支持循环数据流和内存计算
叽里咕噜大数据ZRL·2023-03-29 21:25

Hadoop发展历程

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。
xjygabc2010·2023-03-29 21:34

Hadoop历史版本架构分析

hadoop三大核心hdsf集群（分布式文件系统）yarn集群（数据计算资源调度）mapreduce（分布式计算）1、1.x版本模型文件系统核心模块（主从架构）NameNode集群中的主节点，存储元数据
xiaoxu_xiaoyou·2023-03-29 21:32

Chapter7 Hadoop架构架构演进与生态组件

即使是很简单的任务都要编写完整的MapReduce代码，然后进行编译、打包、运行。表达能力有限在Hadoop核心组件中，MapReduce负责计算，虽然它将复杂的分布式计算全部抽象为Map和Re
今晚滿天星·2023-03-29 21:53

Hadoop YARN学习之Hadoop框架演进历史简述

集群时代标志着Hadoop的起源，集群以AdHoc、单用户方式建立阶段1：HadooponDemand（HOD）是进化过程中的下一个阶段，以一种通用系统的形式，在商用硬件组成的共享集群上提供和管理私有HadoopMapReduce
weixin_34161029·2023-03-29 20:39

大数据生态体系产品(3) - HBase的架构与高性能存储

2.1HRegion2.2HRegionServer2.3HMaster2.4数据写入过程3.HBase的可扩展数据模型4.HBase的高性能存储4.1数据存储4.2数据读取1.HBase的诞生  Google发表GFS、MapReduce
小爱玄策·2023-03-29 20:38

大数据生态体系产品(2) - Spark的架构与原理

Spark的生态体系4.Spark高效计算的原理剖析4.1计算阶段4.2shuffle5.Spark的执行过程1.Spark的诞生  Spark在2012年左右开始流行，那时内存的容量提升和成本降低已经比MapReduce
小爱玄策·2023-03-29 20:37

传统数据仓库--离线数仓逻辑和架构设计

分布式计算引擎HIVE3.1.2最常用的HQL数仓工具PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎SQOOP1.4.7数据采集与转储服务TEZ0.10.0优化MapReduce
北有榆树·2023-03-29 20:36

spark生态及各个功能

1.SparkCoreSparkCore是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce
墨卿风竹·2023-03-29 18:33
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他