【MapReduce】

Hadoop组成及各组件架构概述

1.Hadoop组成在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
小吴学数据·2023-04-04 11:00

WordCount 在 MapReduce上运行详细步骤

注意：前提条件hadoop已经安装成功，并且正常启动。1.准备好eclipse安装包，eclipse-jee-juno-linux-gtk-x86_64.tar.gz，使用SSHSecureFileTransferClient工具把安装包上传于Hadoop集群的名称节点。2.上传Hadoop在eclipse上运行插件：haoop-eclipse-plugin-2.6.0.jar3.更改eclips
飘羽·2023-04-04 09:56

Hadoop 2.7.7 伪分布式安装

逐渐演变成：HDFS、YARN、MapReduce三大应用模块，这三个应用模块分别的能力和作用是：1、HDFS：分布式文件系统，用来解决海量大文件的存储问题2、MapReduce：一套通用的用来解决海量大文件计算的编程模型
ruth13156402807·2023-04-04 09:23

Hive SQL执行全过程源码解析(Hive3.1)

Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce
Deegue·2023-04-04 07:27

利用MapReduce将文件内容写入Hbase

引入Hbase的配置文件hbase.zookeeper.quorummaster,slave1,slave2ThedirectorysharedbyRegionServers.org.apache.hadoophadoop-client2.7.3org.apache.hbasehbase-client1.3.1org.apache.hbasehbase-server1.3.1//计算wordcou
数据萌新·2023-04-04 07:18

【大数据】Hive SQL执行全过程源码解析(Hive3.1)

Hive就是把SQL通过AST解析，然后遍历若干次(进行算子替换以及优化)，最后再次遍历算子，如果为reduceSink操作符则划分出一个stage，类似Spark中通过shuffle来划分stage，生成MapReduce
笑起来贼好看·2023-04-04 07:09

Apache Hive

hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL到MapReduce的转换。
祈人之忧·2023-04-04 07:26

Apache Hive 的 SQL 执行架构

本专栏目录结构和参考文献请见大数据技术体系正文本文介绍ApacheHive如何将SQL转化为MapReduce任务，整个编译过程可以分为六个阶段：对SQL进行词法、语法解析，将SQL转化为ASTTree
Shockang·2023-04-04 07:36

HiveSQL的执行流程

底层任务调度通过yarn进行资源分配，默认计算引擎为MapReduce，可移植为hiveontez或者hiveonspark，下面是一条hivesql的执行流程：（hive中的四大组件：解析器，编译器，
请学习好嘛·2023-04-04 07:30

第1章 初始Hadoop

HDFSHadoopDistributedFileSystem分布式文件系统MapReduce并行计算框架HBase分布式NoSQL列数据库Hive数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供简单的
longbow747·2023-04-04 06:58

简述MapReduce执行过程？

简述MapReduce执行过程？
真题OK撒·2023-04-04 04:31

刷题 | top k问题

（哼哼，某厂面试官还...）堆--以最小k个为例，先把前k个元素建立一个大顶堆（On），然后从k+1开始遍历，如果小于堆顶则替换，并下沉，最糟糕的复杂度是nlogk大数据的情况100亿找1000堆okmapreduce1
tuuzkiii_Tuu·2023-04-04 04:58

比较Hive数据库与MySQL数据库

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
晓之以理的喵~~·2023-04-04 04:17

Hive与HBase之间的区别和联系

HBase两者的区别，我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具，严格来说，不是数据库，本身是不存储数据和处理数据的，其依赖于HDFS存储数据，依赖于MapReducer
程序员阿伟·2023-04-04 02:58

大数据技术高频面试题汇总

LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；Hadoop常用端口号；Hadoop配置文件以及简单的Hadoop集群搭建；HDFS读流程和写流程；MapReduce
wespten·2023-04-03 23:50

尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】

大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce
延锋L·2023-04-03 23:32

Hadoop架构

Hadoop1.xhadoop1.x:由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成HDFS节点:1.namenode(主节点)负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据
奋斗哼哼·2023-04-03 21:42

使用docker搭建Hadoop

Hadoop简介1、Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统
哦吼吼吼tian·2023-04-03 20:27

Hadoop架构和原理

Hadoop包含很多技术和组件，其中主要有文件存储HDFS、计算引擎MapReduce、资源调度YARN三大组件。
松myth·2023-04-03 20:26

hadoop部分架构图

1.hdfs架构2.NamenodeSecondaryNamenode3.hadoop1.0与hadoop2.0比较图4.MapReduce5.MapReduceShuffle6.hadoopha7.hdfsarchitecture8
躁动的青年·2023-04-03 20:29

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce
Lcreator·2023-04-03 20:56

大数据——Hadoop组成及架构分析

一、Hadoop组成Hadoop1.x主要由MapReduce+HDFS+Common组成MapReduce：负责任务的计算以及实现资源的调度HDFS：负责数据的存储Common：是一个Hadoop的底层的辅助工具
Crazy ProMonkey·2023-04-03 20:23

hadoop组成及其架构

1.Hadoop组成组成Hadoop的最核心框架有三个MapReduce、YARN和Hdfs，分别是分布式计算框架、资源调度框架和分布式文件系统。
90后的包子·2023-04-03 20:50

2021-07-15

packagemapreduce;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.fs.Path
Packbacker_s·2023-04-03 16:03

黑猴子的家：MapReduce 编程规范（八股文）

用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)1、Mapper阶段（1）用户自定义的Mapper要继承自己的父类（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）（3）Mapper中的业务逻辑写在map()方法中（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）（5）map()方法（maptask进程）对每一个调用一次
黑猴子的家·2023-04-03 13:21

Flink高手之路1一Flink的简介

Flink的特性5.Flink四大基石6.批处理和流处理二、Flink的架构1.Flink的角色2.编程模型一、Flink简介1.Fink的引入大数据的计算引擎，发展过程有四个阶段第一代：Hadoop的MapReduce
W_chuanqi·2023-04-03 07:09

大数据时代的小数据神器 - asqlcell

自从Google发布了经典的MapReduce论文，以及Yahoo开源了Hadoop的实现，大数据这个词就成为了一个行业的热门。
熊主任·2023-04-03 06:32

大数据系列——HBase理论

以HadoopMapReduce来处理HBase中的海量数据计算，以HadoopHDFS来处理HBase中的海量数据存储，以Zookeeper作为其分布式协同服务、元数据存储，主要用来存储结构化、非结构化
mql007007·2023-04-03 06:29

2023秋招—大数据开发面经—蚂蚁金融

（数据仓库、数据平台、数据算法、数据挖掘）5、讲讲MapReduce的原理6、环形缓冲区为什么要反向？7、实习的存储计算用的是什么组件8、有金融相关知识的储备吗？反问：1、这一面算是第一面吗（是）？
不断学习的克里斯·2023-04-03 06:27

【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将HiveSQL转化成MapReduce程序。
high2011·2023-04-03 05:58

Hadoop集群搭建（五：Hadoop HA集群模式的安装）

实验目的要求目的：1、Hadoop的高可用完全分布模式的安装和验证要求：完成Hadoop的高可用完全分布模式的安装；Hadoop的相关服务进程能够正常的启动；HDFS能够正常的使用；MapReduce示例程序能够正常运行
Eyeshort·2023-04-03 04:26

流式处理框架对比

分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。
hxpjava1·2023-04-03 00:01

31学习大数据平台 Hadoop 的基本概念和架构，包括 HDFS、MapReduce

它包括两个核心组件：Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）和基于MapReduce的分布式计算框架。
玩机科技社·2023-04-03 00:39

大数据平台架构及主流技术栈

Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。
李旭me·2023-04-02 22:53

YARN 分布式资源管理与任务调度框架 概念及原理介绍

技术背景Hadoop最初的设计为仅运行MapReduce作业。
章云邰·2023-04-02 21:01

第2章 大数据处理架构Hadoop

概述Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台，它实现了MapReduce计算模型和分布式文件系统HDFS等功能。它被公认为行业大数据标准开源软件。
wyz191·2023-04-02 20:22

大数据学习之Hadoop

大数据的关键技术：批处理技术、流计算、图计算、查询分析计算大数据处理架构Hadoop1.Hadoop简介apache软件基金会的开源软件，使用Java开发，但是Hadoop支持多种编程语言，有两大核心HDFS、MapReduceHadoop
@从心·2023-04-02 20:27

CentOS下部署Hadoop高性能集群

:部署Hadoop高性能集群Hadoop是什么Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce
寰宇001·2023-04-02 20:24

第二章：大数据处理架构Hadoop

Hadoop集群的部署和使用方法1.Hadoop简介Hadoop是Apache软件基金会旗下开源软件Hadoop可以支持多种编程语言：C、C++、Java、PythonHadoop两大核心—HDFS+MapReduce
饮马翰海·2023-04-02 19:51

hadoop系列之基础系列

分布式概念通过爬虫-->爬到网页存储-->查找关键字一台机器存储是有限的Google采用多台机器，使用分布式的概念去存储处理【关于计算】10TB数据，一台机器无法处理，可以用10台机器处理每台机器可以处理1TBMapreduce
xyzkenan·2023-04-02 19:45

Hadoop概念学习系列之Hadoop 生态系统（十二）

MapReducefork是计算机程序设计中的分叉函数。Google的网络搜索引擎在得益于算
weixin_33953249·2023-04-02 19:25

Hadoop 3.x 新特性剖析系列2

其内容包含：优化HadoopShell脚本、重构HadoopClientJar包、支持等待Container、MapReduce任务级别本地优化、支持多个NameNode、部分默认服务端口被改变、支持文件系统连接器
weixin_33806914·2023-04-02 19:25

Hadoop HBase概念学习系列之什么是HBase？ （一）

HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce
weixin_33835103·2023-04-02 19:25

hadoop系列：hadoop集群搭建

系列简介：前段时间看了网上一些关于hadoop的文章，其中将hadoop说的神乎其神，之前只知道hadoop使用的是google的MapReduce理论；但是它到底能够完成什么样的事情？
chengxinwen·2023-04-02 19:29

Presto实现原理和美团的使用实践

但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然
星河_赵梓宇·2023-04-02 18:25

Hadoop MapReduce 介绍

HadoopMapReduceMapReduce核心思想设计构思什么是MapReduceMapReduce的特点MapReduce的不足（局限性）MapReduce组成HadoopMapReduce实现流程
阿龙的代码在报错·2023-04-02 15:37

handoop三件套

Hadoop大数据简介_只是甲的博客-CSDN博客_hadoop大数据HDFS教程（超详细）_西门催学不吹雪的博客-CSDN博客_hdfs教程MapReduce详细教程_西门催学不吹雪的博客-CSDN博客
乒乒乓乓丫·2023-04-02 14:42

读写parquet格式文件的几种方式

摘要本文将介绍常用parquet文件读写的几种方式1.用spark的hadoopFileapi读取hive中的parquet格式文件2.用sparkSql读写hive中的parquet格式3.用新旧MapReduce
DemonHunter211·2023-04-02 14:27

Handoop之HDFS详解

Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台
ch3rry·2023-04-02 14:26

Spark[3]：handoop生态与Spark架构启动等相关概念

框架的核心组件HDFS:HadoopDistributedFileSystemMapReduce:processingunitYARN：YetAnotherResourceNegotiatorHadoopCommon
little_miya·2023-04-02 14:08
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他