【MapReduce】

Spark架构原理和生态系统

AFault-TolerantAbstractionforIn-MemoryClusterComputing深入浅出理解Spark：环境部署与工作原理一文弄懂Spark基本架构和原理SparkvsHadoopHadoop是大数据处理领域的开创者，用于进行分布式、大规模的数据处理，其中MapReduce
正则化·2023-03-29 17:26

MapReduce中join业务

针对这种情况，我们也可以考虑利用Mapreduce解决大数据的连接(Join)问题。源数据商品信息product示例表头pidpnamepd.txt订单数据order示例
敲代码的余文乐·2023-03-29 16:07

大数据实时计算引擎 Flink

第一代：Hadoop承载的MapReduce第二代：支持DAG（有向无环图）框架的计算引擎Tez和Oozie，主要还是批处理任务第三代：支持Job内部的DAG（有向无环图），以Spark为代表第四代：大数据统一计算引擎
尚硅谷铁粉·2023-03-29 15:01

HDFS实现HA

NameNode保存了整个HDFS的元数据信息，一旦NameNode挂掉，整个HDFS就无法访问，同时Hadoop生态系统中依赖于HDFS的各个组件，包括MapReduce、Hive、Pig以及HBase
盗梦者_56f2·2023-03-29 15:24

你必须要掌握的大数据计算技术，都在这了

目前常用的开源批处理组件有MapReduce和Spark，两者都是基于MapReduce计算模型的。1.MapRe
hzbooks·2023-03-29 15:34

HIVE根据stage的不同设定不同的参数

StringqueryId,booleannoName,Stringjobname,intjobs,DriverContextcxt)throwsHiveException{......conf.set("mapreduce.workflow.node
gina_石头·2023-03-29 08:11

HBase详解（一）——介绍，架构，数据模型

HBase介绍HBase是HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库LSMTree利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce
ErYao7·2023-03-29 08:31

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作一、MapReduce实现基本SQL操作的原理1、join的实现原理MapJoin的实现原理CommonJoinResolver
嗷嗷的特Man·2023-03-29 06:46

MapReduce 基础之：图文讲解 MapReduce 工作原理

图文讲解MapReduce工作原理理解什么是map，什么是reduce，为什么叫mapreducemapreduc工作流程分片、格式化数据源执行MapTask执行Shuffle过程执行ReduceTask
嗷嗷的特Man·2023-03-29 06:16

hadoop streaming

HadoopStreamingHadoop提供的一种可是使用其他语言实现mapreduce程序的API。执行逻辑输入输出基于系统标准输入、标准输出。
code_plus·2023-03-29 06:32

大数据中台架构

大数据中台架构1.数据采集传输1.1Flume和Logstash1.2日志采集如何工作1.3数据传输Kafka2.数据存储HDFSHBaseHive和PigMapReduce3.数据计算&查询3.1批计算和流计算
嗷嗷的特Man·2023-03-29 05:07

Hadoop本地运行MapReduce报错:Caused by: java.io.FileNotFoundException

Hadoop本地运行MapReduce报错:Causedby:java.io.FileNotFoundException转载：https://blog.csdn.net/qq_41826265/article
monkey_susu·2023-03-29 00:20

MapReduce论文阅读记录

本文为阅读MapReduce论文的记录，内容主要是论文的第三部分——实现。方便本人今后查看。
草捏子·2023-03-29 00:47

Hadoop代写MapReduce Map Reduce代写php语言程序、R课程设计帮做

&AimThisassignmentaimstoassessyourunderstandingofMapReduceframeworkandprogrammingadistributedprogramusingthisframework.DescriptionThisassignmentconsistof2parts
mitaye·2023-03-28 23:31

虚拟机（CentOS）下安装配置Hadoop（伪分布式）

Hadoop框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。此外，Hado
酒香醉佳人·2023-03-28 20:14

Hadoop简介（*）

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程
Firm陈·2023-03-28 20:13

Hadoop框架简述

Hadoop2.0的核心包括分布式文件管理系统（HDFS）、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，并且能够提供高吞吐量的数据访问
DontCareOthers·2023-03-28 20:16

MapReduce备忘录

概念大数据时代的数据分析任务比传统的数据分析任务要复杂，因为往往涉及的数据量巨大。通常来讲，我们的笔记本电脑可以同时干很多事儿，而对于大规模的数据处理任务来说，就不是一台电脑同时做许多任务了，而是许多电脑同时做一件任务的逻辑关系。这就引入了并行计算的概念。许多电脑同时做一件复杂的任务，涉及很多问题：比如，这个任务首先要分解成许多子任务然后这些小任务要在这些电脑上面去分配然后这些电脑完成了任务之后反
NoahU·2023-03-28 19:52

Hadoop的概念及架构介绍

（MapReduce）标题Hadoop生态系统Hadoop由许多子系统组成，如下图：Hadoop只由MapReduce和HDFS构成，其余都是其衍生出来的。
江河或野花·2023-03-28 19:06

K8s 前世今生与架构组件简析

运行在线上的业务主要分为在线业务（prod）和离线业务(non-prod,Batch)，比如上边的Gmail，GoogleDocs和WebSearch就是离线业务，中间的MapReduce等业务就是离线业务
一切如来心秘密·2023-03-28 19:09

Hadoop之Mapreduce序列化

目录什么是序列化：什么是反序列化：为什么要序列化：Java的序列化：Hadoop序列化:自定义序列化接口：实现序列化的步骤：先看源码进行简单分析：序列化案例实操：案例需求：（1）输入数据：（2）输入数据格式：（3）期望输出数据格式需求分析：编写MapperReduce程序：什么是序列化：序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。什么是反序列
·2023-03-28 10:39

MapReduce编程模型

本篇文章介绍一下MapReduce[1]分布式计算先回顾一下Hadoop架构：Hadoop由HDFS分布式存储、MR分布式计算、Yarn资源调度三部分组成HadoopMRMR是采用一种分而治之[2]的思想设计出来的分布式计算框架
HideOnStream·2023-03-28 04:41

Hive简单入门

简介hive是一个客户端,也可以当作一个软件,它可以将hql(类似于sql)语句转化为mapreduce算法执行,得到需要的结果.原理就是将hadoop文件系统中的一定格式的文件的解析思路保存到mysql
烈格黑街·2023-03-27 21:19

利用MapReduce统计文章中汉字的个数

写了一个简单的MapReduce程序，主要目的是想记录一下正则表达式的使用注意事项：需要传入两个参数，参数1为输入文件路径，参数2为输出路径为方便测试MapReduce，避免经常修改代码并打包上传，可以搭建
敲代码的余文乐·2023-03-27 17:03

Mapreduce 作业

作业的提交创建内部的jobsubmiter实例来提交作业，具体步骤1.向资源管理器resourcemanager请求应用ID作为作业ID2.检查作业的输出说明，如指定输出目录等3.计算作业的输入分片，对文件的分片4.将运行作业所需要的资源，如文件分片，jar文件等，复制到一个以作业ID为目录下的共享文件系统中，调用submitapplication()提交作业，调用资源管理器作业初始化1.资源管理
一个神经质的工程师·2023-03-27 10:56

Hadoop中datanode启动失败

错误分析我之前装了hadoop3.2.0，但是MapReduce使用有问题，就卸载了。重新安装了hadoop2.8.5，装完之后重新启动发现namenode可以启动成功，但是datanode启动失败。
刺雒·2023-03-27 10:07

廖雪峰的JS教程2.2-高阶函数

一个最简单的高阶函数：functionadd(x,y,f){returnf(x)+f(y);}map/reduceGoogle的论文“MapReduce:SimplifiedDataProcessingonLargeClusters
星腾_范特西·2023-03-27 00:49

Hadoop总结 五 配置历史服务器 配置集群日志

Hadoop总结五配置历史服务器配置集群日志5.1配置历史服务器配置mapred-site.xml在该文件中增加如下配置mapreduce.jobhistory.addresshadoop103:10020mapreduce.jobhistory.webapp.addresshadoop103
千山暮雪CN·2023-03-26 19:28

大数据学习——hadoop分布式计算框架MapReduce之词频获取

MapReduce介绍和优缺点MapReduce是Hadoop中面向大数据并行处理的计算模型，框架和平台。
我不想学习啊·2023-03-26 18:44

大数据系列——Hadoop理论

核心组件包括分布式文件系统(HDFS)、MapReduce、YARN；HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，YARN为MapRedu
mql007007·2023-03-26 18:42

大数据应用——Hadoop运行模式（伪分布式运行）

4.2伪分布式运行模式4.2.1启动HDFS并运行MapReduce程序1.分析（1）配置集群（2）启动、测试集群增、删、查没有改（多台机子麻烦）（3）执行WordCount案例2.执行步骤（1）配置集群
肉肉肉肉肉肉~丸子·2023-03-26 18:41

大数据技术——Hadoop基础认识

Hadoop组件Mapreduce负责数据存储和读取的hdfs和分任务处理数据每个文件分片由单独的机器去处理，即Map方法，
huisenling126·2023-03-26 18:41

深度学习机器学习神经网络学习视频教程基础29课

深度学习机器学习神经网络学习基础29课视频教程大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Docker，Mapreduce，Kafka，Flume，OpenStack，Hive
平蝶与波澜·2023-03-26 05:08

Hadoop3.1.2伪分布式配置

whichjava配置hadoop-env.sh中的JAVA_HOME，复制上一条命令的结果，粘贴到JAVA_HOME中，把连带bin之后的字符删除2配置hadoop四大模块：common，hdfs，yarn，mapreduce
aduo·2023-03-26 04:16

从源码角度分析MapReduce运作_二.Map阶段

一.目录本系列文章对Hadoop知识进行复盘。分为五个阶段，Read阶段，Map阶段，Collect阶段，溢写阶段，Combine阶段。如下为MapTask类的runNewMapper方法privatevoidrunNewMapper(finalJobConfjob,finalTaskSplitIndexsplitIndex,finalTaskUmbilicalProtocolumbilical,
scott_alpha·2023-03-25 15:30

HDFS是如何设计架构的？

Hadoop的核心设计就是HDFS和Mapreduce.HDFS解决了海量数据如何存储的问题，M
大数据老哥·2023-03-25 06:57

spark shuffle v2

sparkshuffleShuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过
LancerLin_LX·2023-03-25 03:57

flink 理解

统一的批处理与流处理系统在大数据处理领域，批处理任务与流处理任务一般被认为是两种不同的任务，一个大数据项目一般会被设计为只能处理其中一种任务，例如ApacheStorm、ApacheSmaza只支持流处理任务，而AapcheMapReduce
安徒生·2023-03-24 08:17

完全解析大数据中MapReduce的运行流程

为什么要学习MapReduce2004年，谷歌发表了一篇名为《MapReduce》的论文，主要介绍了如何在分布式的存储系统上对数据进行高效率的计算。
好程序员IT教育·2023-03-24 06:56

Hive 设置

beeline方式设置mapreduce,tez参数出现错误0:jdbc:hive2://10.5.xxx.xxx:10000>setmapreduce.job.max.split.locations=
alaya_c09d·2023-03-24 02:39

Hadoop入门

主要模块包括:分布式文件系统：HDFS实现将文件分布式存储在很多的服务器上分布式计算框架：MapReduce实现在很多机器上分布式并行计算分布式资源调度框架：YARN实现集群资源管理以及作业的调度HDFS
NealLemon·2023-03-24 01:08

hive部署的3种模式，及应用差异

1、hive的技术原理hive是基于Hadoop的数据仓库系统，可以查询、分析和存储在HDFS分布式文件系统中的数据，将结构化的数据文件映射为一张数据库表，转换SQL语句为MapReduce任务运行，对外提供完整的
沉思的雨季·2023-03-23 22:15

162.Hadoop（一）：Hadoop基本概念，基本环境安装，单机运行，各虚拟机数据同步

目录一、Hadoop基本概念1.什么是Hadoop2.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机
鹏哥哥啊Aaaa·2023-03-23 21:57

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks
阿里云云栖号·2023-03-23 21:58

大数据开发必读书目（持续更新）

在这里插入图片描述1.HadoopHadoop大数据开发案例教程与项目实战.pdfHadoop技术内幕深入解析YARN架构设计与实现原理.pdfHadoop技术内幕深入理解MapReduce架构设计与实现原理
鄙人王道长·2023-03-23 21:00

Hive架构

每个执行计划对应若干MapReduce作业，Hive会将所有的MapReduce作业都一一提交到YARN中，由YARN去负责创建MapReduce作业对应的子任务，并协调它们的运行。
zhuhaiqin·2023-03-23 19:05

hive架构初步梳理

hive由Facebook开源用于解决海量结构化日志的数据统计工具，或者说是数据仓库的工具，其最大的作用就是将HQL转化成MapReduce程序，然后对数据进行处理，如下是其实现的流程。
@anSon_·2023-03-23 19:50

hive架构详解

hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL到MapReduce的转换。
张凯生·2023-03-23 19:50

hive的体系架构

（*）Hive是基于HDFS之上的一个数据仓库HiveHDFS表目录数据文件分区目录桶文件（*）Hive是一个翻译器，默认，把SQL---->MapReduce（*）Hive支持SQL的一个子集。
枣泥馅·2023-03-23 18:59

Hive架构图

hive数据仓库工具能将将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
秃头小宝贝儿i·2023-03-23 18:24
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他