研磨hadoop

大数据技术之Hadoop（第3章 MapReduce框架原理）

这里写目录标题3.8计数器应用3.9数据清洗（ETL）3.10数据清洗案例实操3.10.1简单解析版3.10.2复杂解析版3.11MapReduce开发总结第4章Hadoop数据压缩4.1概述4.2MR
西边的虫虫·2023-10-15 13:26

大数据框架之Hadoop：MapReduce（一）MapReduce概述

1.1MapReduce定义MapReduce是一个分布式计算框架，用于编写批处理应用程序，是用户开发“基于Hadoop的数据分析应用”的核心框架。
yiluohan0307·2023-10-15 13:26

Hadoop三大组件之MapReduce

文章目录1.概述2.编程思想3.执行原理4.优缺点1.概述MapReduce是Hadoop内提供的分布式计算的组件，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上
不忘初欣丶·2023-10-15 13:56

Hadoop框架之MapReduce(一) : MapReduce概述

MapReduce是一个"基于Hadoop的数据应用分析"核心框架,它是一个分布式运算程序的框架.也就是说,有了MapReduce,我们可以对互联网上的海量数据进行分析并进行运算,将数据整理成我们想要的样子
小菠萝的IT之旅·2023-10-15 13:25

大数据之Hadoop(MapReduce): MapReduce概述

定义2:MapReduce优缺点优点缺点1:MapReduce定义MapReduce是一个分布式运算程序的编程框架，将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行再一个hadoop
浊酒南街·2023-10-15 13:25

Hadoop：MapReduce总结

MRAppMaster：负责整个成都的过程调度及状态协调；MapTask：负责map阶段的整个数据处理流程；ReduceTask：负责reduce阶段的整个数据处理流程；2、数据类型除了String对应HadoopWritable
YF_raaiiid·2023-10-15 13:24

Hadoop基础学习---6、MapReduce框架原理

1、MapReduce框架原理1.1InputFormat数据输入1.1.1切片与MapTask并行度决定机制1、问题引出MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个job的处理速度。2、MapTask并行度决定机制数据块：Block是HDFS物理上吧数据分成一块一块。数据块是HDFS储存数据单位。数据切片：数据切片只是在逻辑上对输出进行分片，并不会在磁盘上将其切分成片进行
星光下的赶路人star·2023-10-15 13:23

Hadoop三大框架之MapReduce工作流程

一、MapReduce基础MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapReduce运行在yarn集群。ResourceManager+NodeMan
five小点心·2023-10-15 13:53

Hadoop：MapReduce概述、WordCount

MapReduce概述MapReduce是Hadoop的两大核心技术之一，HDFS解决了大数据存取问题，而MapReduce是对大数据的高效并行编程模型。
瞧德·2023-10-15 13:23

Hadoop3教程（九）：MapReduce框架原理概述

文章目录简介参考文献简介这属于整个MR中最核心的一块，后续小节会展开描述。整个MR处理流程，是分为Map阶段和Reduce阶段。一般，我们称Map阶段的进程是MapTask，称Reduce阶段是ReduceTask。其完整的工作流程如图：Map阶段具体的工作任务是啥呢？1）map阶段决定，根据数据源，可以选择根据什么方式来读取数据；默认情况下，map阶段读数据，是按行读，读取到的KV里，K是偏移量
经年藏殊·2023-10-15 13:52

Ceph分布式存储实践应用之概述

在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack、CloudStack、OpenNebula、Hadoop）的支持并被广泛应用。2.介绍Ceph是一个可靠、自动重均衡、自动恢复的
麦神-mirson·2023-10-15 12:48

大数据技术Hive详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。
wespten·2023-10-15 12:04

Hadoop Hive sql 语法详解

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将
hong2511·2023-10-15 12:30

Hadoop学习笔记: MapReduce(1)

一.MapReduce核心思想1)分布式运算程序往往需要分成Map和Reduce两个阶段2)第一个阶段的MapTask并发实例,完全并行运行,互不相干3)第二个阶段的ReduceTask并发实例同样互不相干,但它们的数据依赖于上一个阶段的所有MapTask并发实例的输出4)MapReduce编程模型只能包含一个Map和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReudce
X6ZT·2023-10-15 12:24

hadoop：MapReduce （Writable）输出结果中文乱码解决

hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是对于中文的输出window系统默认的是GBK，有些格式文件例如CSV格式的文件用excel打开输出编码为没有BOM的UTF-
花和尚也有春天·2023-10-15 12:52

【Hadoop】——MapReduce：序列化

1.什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。2.优势结构紧凑，存储空间少传输快速互操作性3.自定义bean对象序列化步骤实现Writable接口无参构造函数反序列化时，需要反射调用空参数构造函数，所以必须有无参构造函数重写序列化方法重写
那时的样子_·2023-10-15 12:49

MapReduce学习3：序列化

1序列化概述1.1什么是序列化和反序列化1.2为什么要序列化1.3为什么不用java序列化1.4hadoop序列化特点2实现hadoop的Writable接口2.1hadoop的基本序列化类型2.2接口实现基本步骤
愿你被这个世界温暖相待·2023-10-15 12:49

168.Hadoop（四）：MapReduce基本概念，wordCount案例跑通，bean对象序列化

目录一、MapReduce基本概念1.MapReduce定义2.优缺点3.MapReduce核心思想4.MapReduce进程的组成
鹏哥哥啊Aaaa·2023-10-15 12:19

Hadoop：MapReduce序列化

hadoop高级教程：MapReduce序列化，序列化是指将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为结构化对象的过程。
oraclestudyroad·2023-10-15 12:18

MapReduce自定义序列化和反序列化（带案例分析和案例解决代码）

文章目录序列化的概念Hadoop有时需要进行自定义序列化和反序列的原因：为什么不用Java的序列化通过案例讲解序列化案例案例代码思路：序列化和反序列化的步骤：案例代码写在最后的话序列化的概念序列化就是把内存中的对象
程序消消乐·2023-10-15 12:46

【MapReduce】Hadoop的序列化机制以及序列化案例求解每个部门工资总额

Hadoop的序列化机制以及序列化案例求解每个部门工资总额1Hadoop的序列化1.1序列化定义1.2Java序列化编程1.3hadoop序列化编程2序列化求解每个部门工资总额手动反爬虫，禁止转载：原博地址
lys_828·2023-10-15 12:45

Hadoop案例：自定义序列化bean对象

目录1序列化概述1.1什么是序列化1.2为什么要序列化2如何自定义bean对象实现序列化操作3序列化案例实操3.1案例需求3.2案例需求分析3.3代码详解1序列化概述1.1什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。1.2为什么要序列化（1）通俗点来
小M姐姐呀~·2023-10-15 12:12

Hadoop——第三部份 Hadoop3.x之MapReduce

第三部份Hadoop3.x之MapReduce一、MapReduce概述1.1概念MapReduce是一个分布式运算程序的编程框架1.2优缺点优点易于编程只关心业务逻辑，实现框架接口。
Cyang6·2023-10-15 12:40

Hadoop3教程（八）：MapReduce中的序列化概述

文章目录（79）MR序列化概述（80）自定义序列化步骤（81）序列化案例需求分析（82）序列化案例代码参考文献（79）MR序列化概述什么是序列化，什么是反序列化？序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。为什么要序列化呢？因为存活在内存里的对象，关机
经年藏殊·2023-10-15 12:09

大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提：Hadoop必須保证在2.2以上，且必須裝有hdfs服务。Hadoop安装后续会有相关说明。具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。
风之清扬·2023-10-15 12:36

伪分布式Hadoop集群搭建

Hadoop：前提：jdk安装好、Hadoop解压好，并且配置好环境变量vi/etc/profileexportJAVA_HOME=jdk具体安装目录exportHADOOP_HOME=hadoop具体安装目录
陆墨宁·2023-10-15 12:02

IBM InfoSphere Guardium的大数据安全性和审计

即使像Hadoop这样的大数据环境相对较新，事实也是如此，大数据环境中的数据安全问题对于预先解决至关重要。在有数据的地方，有可能发生隐私泄露，未经授权的访问或特权用户的不当访问。
cuyi7076·2023-10-15 10:30

【Hadoop入门（3）】Yarn基础

【时间】2021.09.29【题目】【Hadoop入门（3）】Yarn基础一、引言本文是课程尚硅谷大数据Hadoop3.x的Yarn部分的思维导图。
C小C·2023-10-15 10:25

【产品应用】一体化伺服电机在全自动咖啡研磨机中的应用

为了满足咖啡爱好者对于口感和品质的追求，全自动咖啡研磨机应运而生。而其中的一体化伺服电机作为关键组件，发挥着重要的作用。本文将探讨一体化伺服电机在全自动咖啡研磨机中的应用，以及其带来的优势和效果。
BB8=_=NiMotion·2023-10-15 09:55

走进Hive

什么是HiveHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，构建在分布式HDFS系统运行的数据库应用场景大数据集的批处理作用，做离线的数据分析日志分析多维度数据分析海量结构化数据离线分析统计网站一个时间段内的
、小H·2023-10-15 09:15

走进HBase

什么是Hbase建立在Hadoop之上HDFS分布式文件系统，面向列的存储系统列式数据库是针对行数据库而言的，行式数据库是以一行数据作为一个存储单元，而列式数据库是以一列数据为一个存储单元，针对HBase
、小H·2023-10-15 09:41

hadoop3.x源码编译及cmake的问题解决:CMake failed with error code 1

一、准备工作基础环境：centos7（1）官方源码中编译之前对基础环境及版本的要求（重点是红色部分）Requirements:*UnixSystem*JDK1.8*Maven3.3orlater*ProtocolBuffer2.5.0*CMake3.1ornewer(ifcompilingnativecode)*Zlibdevel(ifcompilingnativecode)*openssldev
bokzmm·2023-10-15 08:11

Hadoop 3.x|第六天|NameNode和SecondaryNameNode

目录NameNode内存与磁盘数据存储位置fsImage和Edits的合并（引入2NN）流程fsImage和Edits的位置NN和2NN工作机制第一阶段：NN工作第二阶段：2NN工作Fsimage和Edits定义工作查看fsImage文件命令查看Edits文件命令检查点CheckPointNameNode内存与磁盘如果存储在内存，好处是计算快，坏处是可靠性差，一旦断电，元数据丢失，整个集群就无法工
z754916067·2023-10-15 08:26

大数据框架之Hadoop：HDFS（五）NameNode和SecondaryNameNode（面试开发重点）

5.1NN和2NN工作机制5.1.1思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更
yiluohan0307·2023-10-15 08:25

Hadoop3教程（四）：HDFS的读写流程及节点距离计算

文章目录（55）HDFS写数据流程（56）节点距离计算（57）机架感知（副本存储节点选择）（58）HDFS读数据流程参考文献（55）HDFS写数据流程数据文件ss.avi是如何从客户端写到HDFS的？完整流程见下图，接下来我们会按顺序详细捋一下0）首先，客户端里需要有一个HDFSClient，这个HDFS客户端在创建的时候需要限制是DistributedFileSystem。（因为HDFSClie
经年藏殊·2023-10-15 08:55

Hadoop3教程（六）：HDFS中的DataNode

文章目录（63）DataNode工作机制（64）数据完整性（65）掉线时限参数设置参考文献（63）DataNode工作机制DataNode内部存储了一个又一个Block，每个block由数据和数据元数据组成。数据元数据包括数据长度、校验和、时间戳等。在物理的目录里，每个block的数据和数据源数据是分两个文件保存的。DataNode的工作机制如图：DataNode启动后，会向NameNode注册，
经年藏殊·2023-10-15 08:55

Hadoop3教程（七）：MapReduce概述

的编程规范MapperReducerDriver（72）WordCount案例需求分析参考文献（68）MR的概述&优缺点MapReduce是一个分布式运算程序的编程框架，简单的说，就是一个分布式计算框架，是Hadoop
经年藏殊·2023-10-15 08:55

Hadoop 之 HDFS (NameNode 和 SecondaryNameNode)

文章目录五、NameNode和SecondaryNameNode（重点）5.1NN和2NN工作机制5.2Fsimage和Edits解析5.2.1oiv查看Fsimage文件5.2.2oev查看Edits文件5.3CheckPoint时间设置5.4NameNode故障处理（扩展）5.5集群安全模式5.6NameNode多目录配置五、NameNode和SecondaryNameNode（重点）5.1N
TANCHISE·2023-10-15 08:25

Hadoop3.x 之 HDFS NameNode 和 SecondaryNameNode (月薪过万 第七章)

NameNode和SecondaryNameNode机制一、NN和2NN工作机制1、思考2、NameNode工作机制3、分析4、SecondaryNameNode工作二、Fsimage和Edits解析1、Fsimage和Edits概念2、oiv查看Fsimage文件1、查看oiv和oev命令2、基本语法3、案例实操3、oev查看Edits文件1、基本语法2、案例实操三、CheckPoint时间设置
小坏讲微服务·2023-10-15 08:51

【HADOOP】浅谈NameNode和SecondaryNameNode的工作机制

首先我们知道NameNode保存着数据的元数据信息，真正的数据存在于各个DataNode,那NameNode的元数据保存在哪里呢？这么重要的数据肯定不可能存在于内存，内存容易丢失，那肯定是磁盘了。那问题来了，当客户发送请求时(比如读取数据)，这个请求发送到NameNode，NameNode再从磁盘寻找所需要的目标文件元数据信息，然后再发送给客户端，每次都要经过磁盘的读写，这样的效率是极其低的。而N
SmallScorpion·2023-10-15 08:21

Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍

先上关系图，说白了它们之间其实就是“一主多重”的关系：1、NameNode介绍NameNode：NameNode是HDFS的核心。NameNode也称为Master。c、NameNode仅存储HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件。NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。NameNode知道HDFS中任何给定文件的块列表及其位置
奇迹虎虎·2023-10-15 08:20

Hadoop完全分布式搭建（NameNode与SecondaryNameNode分离）

本文记录Hadoop完全分布式的搭建。搭建使用5台主机，且NameNode和SecondaryNameNode分别部署在不同的机器上。
beeworkshop·2023-10-15 07:47

Hadoop-HDFS的NameNode和SecondaryNameNode介绍及原理

NameNode和SecondaryNameNodeNN和2NN的工作机制NameNode中的元数据是存储：首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的
魔笛Love·2023-10-15 07:47

Hadoop3教程（五）：NameNode和SecondaryNameNode

文章目录（59）NN和2NN的工作机制（60）FsImage镜像文件（61）Edits编辑日志（62）Checkpoint时间设置参考文献（59）NN和2NN的工作机制NameNode的数据是存储在磁盘中，还是在内存中？内存：计算快，但可靠差，节点崩了就全丢了；磁盘：可靠性高，但是计算慢（因为需要频繁的IO交互）；内存+磁盘：内存计算完后就持久化到磁盘，可靠性提高了，计算也相对较快了，但其实相比全
经年藏殊·2023-10-15 07:16

HDFS EC 对 distcp 的影响

Hadoop3.x引入EC后，由于EC文件和副本文件的布局（layout）不同，所以，即使是同一个文件，在分别使用副本模式和EC
xudong1991·2023-10-15 07:36

Hadoop小文件解决方案-Hadoop小文件的前因后果

Hadoop不适用于大量小文件，而是需要更少的大文件。这可能是您之前听过的声明。但是，为什么Hadoop会出现大量小文件的问题？而且，“小”究竟是什么意思呢？在本系列的第一部分中，我将回答这些问题。
qianmoQ·2023-10-15 03:26

搭建 Hadoop 生态集群大数据监控告警平台

目录一、部署prometheus环境1.1下载安装包1.2解压安装1.3修改配置文件1.3.1hadoop-env.sh1.3.2prometheus_config.yml1.3.3zkServer.sh1.3.4prometheus_zookeeper.yaml1.3.5alertmanager.yml1.3.6prometheus.yml1.3.7config.yml1.3.8template
Stars.Sky·2023-10-15 01:44

大型数据集处理之道：深入了解Hadoop及MapReduce原理

而Hadoop作为一个开源的分布式计算框架，以其强大的处理能力和可靠性而备受推崇。本文将介绍Hadoop及MapReduce原理，帮助您全面了解大型数据集处理的核心技术。
qq^^614136809·2023-10-15 01:40

Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错

最后搜索半天还是没有找到,自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下hadoop
徴心·2023-10-15 00:50

zookeeper个人基础教程（一）基础篇

概述zookeeper是apache旗下的hadoop子项目，它一个开源的，分布式的服务协调器。同样通过zookeeper可以实现服务间的同步与配置维护。
skindow·2023-10-15 00:39
上一页 79 80 81 82 83 84 85 86 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他