【MapReduce】

Trino418框架适配达梦数据库方案

Trino被设计为使用MapReduce作业管道（例如Hive或Pig）查询HDFS的工具的替代工
飞奔的屎壳郎·2023-07-27 06:25

Hadoop生态体系-2

目录标题1、MapReduce介绍2、数据仓库3、HIVE4、HQL4.1hive读写文件机制4.2Hive数据存储路径1、MapReduce介绍思想：分而治之map:“分”，即把复杂的任务分解为若干个
海星？海欣！·2023-07-27 03:58

MapReduce序列化

序列化就是把内存中的对象转换成字节序列以便于存储到磁盘（持久化）和网络传输。反序列化就是将字节序列或者是持久化的数据转换成内存中的对象。内存中的对象只能本地进程使用，断掉后就消失了，也不能被发送到网络上的另一台机器，序列化可以将内存中的对象发送到远程机器。由于Java本身的序列化框架（Serializable）太重，序列化的对象包含了很多额外信息，不便于在网络中高效传输，Hadoop开发了自己的序
Manfestain·2023-07-27 01:10

VI、 HBase-MR

一、官方HBase-MapReduce查看HBase的MapReduce任务的所需的依赖bin/hbasemapredcp执行环境变量的导入exportHBASE_HOME=/opt/module/hbase
一种依耐丶从未离开·2023-07-26 17:27

环境准备（05）MapReduce编程模型&WordCount案例

MapReduce编程模型inputmap&reduceoutput实例代码importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
乌鲁木齐001号程序员·2023-07-26 14:03

map型字段 mongodb_在MongoDB中使用Map/Reduce

对于map-reduce操作,MongoDB提供mapReduce数据库命令，这个命令意味什么呢？
王亚晖·2023-07-26 12:55

MongoDB Map Reduce 聚合

MongoDBMapReduceMap-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。
我怕天黑却不怕鬼·2023-07-26 12:25

MongoDB聚合操作

2.1$match/$project/$count2.2$limit/$skip/$sort2.3$group分组查询2.4$unwind展开数组2.5$lookup左外连接2.6$bucket存储桶三、MapReduce
一只咸鱼。。·2023-07-26 12:24

MongoDB MapReduce 聚合操作

MongoDB的聚合操作主要是对数据的批量处理。一般都是将记录按条件分组之后进行一系列求最大值，最小值，平均值的简单操作，也可以对记录进行数据统计，数据挖掘的复杂操作。聚合操作的输入是集中的文档，输出可以是一个文档也可以是多个文档。MongoDB提供了三种强大的聚合操作：单目的聚合操作(SinglePurposeAggregationOperation)聚合管道(AggregationPipeli
AaronSimon·2023-07-26 12:53

Mongodb 多文档聚合操作处理方法（Map-reduce 函数）

要执行聚合操作，您可以使用：聚合管道单一目的聚合方法Map-reduce函数Map-reduce函数在mongoshell中，该db.collection.mapReduce()方法是命令的包装器mapReduce
Ethanchen's notes·2023-07-26 12:23

大数据之Spark

1、Spark与HadoopHadoop已经成了大数据技术的事实标准，HadoopMapReduce也非常适合于对大规模数据集合进行批处理操作，但是其本身还存在一些缺陷。
冰河winner·2023-07-26 12:12

ClickHouse（一）：ClickHouse介绍及OLAP场景特征

1.ClickHouse与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce
IT贫道·2023-07-26 11:05

hadoop笔记（三）HDSF原理

为hadoop的学习提供环境，接下来是对hadoop的hdfs和mapreduce原理进行讲述。1.hdfsHDFS是分布式文件系统，当然当前市面上分布式文件系统不止hdfs这么一个。
一般的斑鸠·2023-07-26 10:58

Flink流处理api之sink

概述Flink中没有类似mapreduce、spark中的foreach方法让用户进行迭代的操作，所以所有对外的输出操作都要利用sink来完成通过这样的形式来完成任务的输出操作stream.addSink
Sakura_❀_·2023-07-26 03:30

数据倾斜之count(distinct)

在极大数据量的情况下从执行计划上面来看：只生成一个reducer任务，所有的id都聚集到同一个reducer任务进行去重然后在聚合，非常容易造成数据倾斜.解决方案：1、利用Hive对嵌套语句的支持，将原来一个MapReduce
yelrihsss·2023-07-26 02:08

docker搭建hadoop集群（为分布式、完全分布式）

第1章写在前面必读1.1Hadoop生态简单说明说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。
时空无限·2023-07-26 00:23

Hive 调优集锦（1）

一、前言1.1概念Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，
星如雨ｸﾞｯ!(๑•̀ㅂ•́)و✧·2023-07-25 23:56

Hive基本介绍

开源设计目的：Hive期初是为了提供给那些精通sql但是java编程能力相对较弱的数据工程师能够对facebook上存放的HDFS的大规模数据集进行查询Hive是构建在hdfs上的数据仓库框架计算框架为MapReduce
焱三土·2023-07-25 20:08

MapReduce开发总结

在编写mapreduce程序时，需要考虑的几个方面：1.输入数据接口：InputFormat默认使用的实现类是：TextInputFormatTextInputFormat的功能逻辑是：一次读一行文本，
Movle·2023-07-25 20:59

大数据技术之Hive1

本质：将HQL转化为MapReduce程序特点：1，Hive处理的数据存储在HDFS2，Hive分析数据底层的默认实现是Mapreduce3，执行程序运行在yarn上1.2优缺点优点：1，简单，容易上手
海星？海欣！·2023-07-25 17:51

hadoop之mapreduce详解

除了这些我们当然还要知道mapreduce的执行过程，比如从文件的读取，map处理，shuffle过程，reduce处理，文件的输出或者存储。
droxy·2023-07-25 17:21

MapReduce

Week8MapReduceMapReduce思想分而治之把一个复杂的任务划分为若干个简单的任务分别来做原因在现实情况下，我们要分析的数据数据量会相当大，这样一台计算机就不足以做这种数据的处理，原因有二
Bounty_Hunter·2023-07-25 14:41

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习
Jucway·2023-07-25 09:47

实训笔记7.22

实训笔记7.227.22一、MapReduce中的Shuffle机制1.1第一块内容：MapTask的输出的分区问题1.1.1计算分区的机制1.1.2分区数和NumReduceTask的关系1.2第二块内容
cai-4·2023-07-25 09:52

Hadoop (一) Hadoop学习

用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储HadoopYARN：集群的资源管理和任务调度框架集群资源分配HadoopMapReduce
C0oOder·2023-07-25 07:52

Yarn与Zookeeper学习

yarn分配运行资源mapReduce的运行平台2.YARN运行过程：客户端与ResourceManager交互，生成临时配置文件(Application)ResourceManager根据Application
叫我莫言鸭·2023-07-25 07:20

关于join

ReduceJoin思路:map负责数据整合,reduce负责进行join缺点:数据倾斜,Reduce处理太多而Map处理的太少.这样Reduce的负载太大了.mappackagecom.atguigu.mapreduce.reducejoin
叫我莫言鸭·2023-07-25 07:50

HBase（7）：大量数据的计数统计

当HBase中数据量大时，可以使用HBase中提供的MapReduce程序来进行计数统计。
不死鸟.亚历山大.狼崽子·2023-07-25 03:56

Yarn 集群的架构和工作原理

Yarn的基本设计思想是将MapReduceV1中的JobTracker拆分为两个独立的服务：ResourceManager和ApplicationMaster。
闭关苦炼内功·2023-07-25 01:41

Storm Topology组件

对比Hadoop中的MapReducejob，mapper用于从数据源中获取数据，经过简单处理，以一定的格式传递给reducer，reducer负责后续处理。
起个什么呢称呢·2023-07-24 23:24

【Hadoop 02】企业级解决方案

HDFS中，每一个小文件在NameNode中都会占用150字节的内存空间，而且每个小文件都是一个Block，会产生一个InputSplit，这样就会产生一个Map任务，同时启动多个Map任务消耗性能，影响MapReduce
不菜不菜·2023-07-24 19:56

Hadoop 之 分布式集群配置与使用（三）

配置1.创建三个虚拟机（Anolis）1.修改HostName2.配置免密登录，配置前2.配置命名节点1.在nd1/nd2部署hadoop2.配置3.查看集群信息三.测试1.Shell命令2.Java&MapReduce
猪悟道·2023-07-24 15:22

Hadoop笔记

Hadoop概念Hadoop是一个软件，这个软件包含三个模块HDFS:Hadoop分布式文件系统MapReduce:分布式计算系统Yarn:分布式资源调度系统资源网址apache的资源包下载https:
NQ31·2023-07-24 12:54

Hive学习笔记

1、Hive概念Hive是一个构建在Hadoop上数仓框架，可以将HDFS上格式化文件映射成一张张表，本质就是将SQL转换成MapReduce任务进行运算。
NQ31·2023-07-24 12:24

MapReduce程序运行拆解

我们可以将一个MapReduce作业的运行过程简单的拆分成6个过程，分别是作业的提交、作业初始化、任务分配、任务执行、进度和状态的更新、作业完成。下面我就一起来具体了解下这么几个步骤。
名字想好没·2023-07-24 00:23

Spark面试题整理

整理来源：《Spark面试2000题》目录Sparksection-0基础(3)Sparksection-1Spark运行细节(13)Sparksection-2Spark与Hadoop/MapReduce
hakase_nano·2023-07-23 23:48

hadoop简介

hadoop简介概念优势hadoop1.x、2.x、3.x区别HDFS架构概述MapReduce结构概述HDFS,YARN,MapReduce三者关系概念大数据(bigdata)：指无法在一定时间范围内用常规工具进行捕捉
fiveym·2023-07-23 15:35

Hadoop大数据平台入门——HDFS和MapReduce

google不愧是走在世界前列的大公司，为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。这个技术给大
yoku酱·2023-07-23 14:39

Spark内存计算

Spark在做数据的批处理计算，计算性能大约是HadoopMapReduce的10~100倍，因为Spark使用比较先进的基于DAG任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理
小中.·2023-07-23 04:17

【大数据之Hive】二十四、HQL语法优化之任务并行度

1优化说明  Hive的计算任务由MapReduce完成，并行度调整分为Map端和Reduce端。
阿宁呀·2023-07-22 22:30

【大数据之Hive】二十七、HQL之Fetch抓取、本地模式、并行执行、严格模式

1Fetch抓取  Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。
阿宁呀·2023-07-22 22:30

HiveSQL和SparkSQL的区别和联系

一、SparkSQL和Hive对比二、HiveSQL和SparkSQL的对比sql生成mapreduce程序必要的过程：解析（Parser）、优化（Optimizer）、执行（Execution）三、spark
万里长江横渡·2023-07-22 14:52

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

ExecutionErrorreturncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask解决办法、1、调大虚拟机内存，单台节点至少1G可用，调大虚拟机内存不需要关机，调小需要关机，如果上限只有XG，不能调大，关机再调，再调节MapReduce
聚精会神搞学习·2023-07-22 10:08

万字最全Spark内存管理详解

今天和大家介绍Spark的内存模型，干货多多，不要错过奥~与数据频繁落盘的Mapreduce引擎不同，Spark是基于内存的分布式计算引擎，其内置强大的内存管理机制，保证数据优先内存处理，并支持数据磁盘存储
大数据兵工厂·2023-07-22 09:11

Hive架构原理

Hive底层提供了mapreduce模板，将HQL转化为mapreduce程序，Hive处理的数据保存在hdfs上，执行计算程序通过mapreduce，程序运行在yarn上。
大伟伟·2023-07-22 06:21

Hive——原理架构

本质是：将HQL转化成MapReduce程序，可以看做是hadoop的客户端一、Hive架构Hive是建立在Hadoop上的数据仓库基础构架（①数据存储在hdfs上②数据计算用mapreduce）。
温一杯酒·2023-07-22 06:19

Hive架构和原理(图形化通俗易懂)

Hive处理的数据存储在HDFS，分析数据底层的实现是MapReduce，可以简单理解Hive是Hadoop的客户端，提
lovelife110·2023-07-22 06:19

Hive3.1.2伪分布式安装

https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压安装前置条件开整之前再多bb一句，hive是依托hdfs+MapReduce
MrZhangBaby·2023-07-22 01:05

基于大数据技术推荐系统算法案例实战视频教程

基于大数据技术推荐系统算法案例实战视频教程大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Docker，Mapreduce，Kafka，Flume，OpenStack，Hive，
平蝶与波澜·2023-07-21 23:26

大数据基础篇--MapReduce工作原理

文章目录理解什么是map，什么是reduce，为什么叫mapreduceMap详解Reduce详解MapReduce详解分片、格式化数据源执行MapTask执行Shuffle过程执行ReduceTask
在路上的小y·2023-07-21 14:41
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他