“MapReduce:

Hadoop生态之hive

其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具。二架构Hive
数据咩·2023-09-08 22:57

Hive基础知识

一、产生背景1.MapReduce编程十分不方便2.传统RDBMS【关系数据库管理系统(RelationalDatabaseManagementSystem)】人员的需求：如果能用SQL来处理大数据是极其方便的基于以上两个背景
白面葫芦娃92·2023-09-08 19:02

黑猴子的家：MapReduce数据清洗

1、概述在运行核心业务Mapreduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行mapper程序，不需要运行reduce程序。2、实操案例续写......
黑猴子的家·2023-09-08 16:02

C语言实现封装

董的博客{关注大规模数据处理，包括Hadoop，YARN，MapReduce，Spark，Mesos等}订阅首页Hadoop-MRHadoop-YARN基础知识整理推荐关于我当前位置:首页>>C/C++
willianlong·2023-09-08 15:03

0301yarn&mapredude入门-hadoop-大数据学习

文章目录1MapReduce概述2YARN2.1yarn概述2.2yarn与MapReduce关系2.3yarn架构2.4辅助角色3MapReduce&YARN部署3.1集群规划3.2配置文件3.3分发配置文件
gaog2zh·2023-09-08 12:16

Spark【RDD编程（三）键值对RDD】

因为毕竟通过我们之前Hadoop的学习中，我们就可以看到对数据的处理，基本都是以键值对的形式进行统一批处理的，因为MapReduce模型中，Mapper和Reducer之间的联系就是通过键和值进行连接产生关系的
让线程再跑一会·2023-09-08 08:21

数据中台建设方案-基于大数据平台

本建设方案满足甲方对于数据计算层建设的基本要求：利用了MapReduce、Spark、
FRDATA1550333·2023-09-08 05:08

浅谈数据仓库工具——Hive

最初是靠写MapReduce编程进行分析，但是MR十分繁琐，而且对不熟悉Java的编程人员十分不友好。另外数据存储HDFS上是没有schema的概念的，这样就不能够使用SQL进行处理。
数新网络·2023-09-08 04:04

GaussDB(DWS)与Hive在功能上存在一定的差异

GaussDB(DWS)与Hive在功能上存在一定的差异，主要体现在以下几个方面：Hive是基于HadoopMapReduce的数据仓库，GaussDB(DWS)是基于Postgres的MPP的数据仓库
燃烧的岁月_·2023-09-08 02:55

Yarn资源调度器

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器（FIFO）2、容量调度器
ha_lydms·2023-09-07 17:42

Hive概述

一、概述Hive是hadoop集群中一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类似SQL的查询功能，其本质就是将HQL转化成mapreduce程序。
诗云HSY·2023-09-07 14:11

python-python的sao操作 map reduce filter

个人比较喜欢python简洁明了，今天着重记录下mapreducefilter，感觉今天面试，filter给我惨不忍睹的面试问题中加了一点分。
yunpiao·2023-09-07 13:14

并发编程专题三-JAVA线程的并发工具类

一、Fork-Join框架1、分而治之规模为N的问题，N阈值，将N分解为K个小规模子问题，子问题互相对立，与原问题形式相同，将子问题的解合并得到原问题的解，像hadoop中的mapreduce，以及二分查找
王老狮·2023-09-07 10:34

大数据之MapReduce

MapReduce概述是一个分布式的编程框架，MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
十七✧ᐦ̤·2023-09-07 08:42

Impala

提供的一款开源的针对HDFS和HBASE中的PB级别数据进行交互式实时查询(Impala速度快)，Impala是参照谷歌的新三篇论文当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce
BoomLee·2023-09-07 07:52

Hadoop的第二个核心组件：MapReduce框架第一节

Hadoop的第二个核心组件：MapReduce框架第一节一、基本概念二、MapReduce的分布式计算核心思想三、MapReduce程序在运行过程中三个核心进程四、如何编写MapReduce计算程序：
Augenstern K·2023-09-07 04:42

mapreduce 本地开发环境

本地环境配置1、解压缩hadoop.*.tar.gz2、解压缩hadoop.dll、winutils.exe等安装文件，并拷贝到hadopp解压缩文件夹的bin目录下3、配置环境变量HADOOP_HOME，并将%HADOOP_HOME%\bin添加到path中4、重启IDE（eclipse）问题汇总winutils不存在image.pngoutput文件已存在Exceptioninthread"m
mr_酱·2023-09-07 04:12

Hadoop的第二个核心组件：MapReduce框架第三节

Hadoop的第二个核心组件：MapReduce框架九、MR程序运行的核心阶段的细节性知识1、MR程序在运行过程中，涉及到的阶段和作用2、MR程序运行的的第一个组件：InputFormat3、MR程序的
Augenstern K·2023-09-07 03:25

Hadoop的第二个核心组件：MapReduce框架第四节

Hadoop的第二个核心组件：MapReduce框架十、MapReduce的特殊应用场景1、使用MapReduce进行join操作2、使用MapReduce的计数器3、MapReduce做数据清洗十一、
Augenstern K·2023-09-07 03:55

Hadoop的第二个核心组件：MapReduce框架第二节

Hadoop的第二个核心组件：MapReduce框架第二节六、MapReduce的工作流程原理（简单版本）七、MapReduce中的序列化机制问题八、流量统计案例实现（序列化机制的实现）六、MapReduce
Augenstern K·2023-09-07 03:54

MIT 6.824 Distributed Systems - MapReduce笔记

课程主页：https://pdos.csail.mit.edu/6.824/index.html课程安排：https://pdos.csail.mit.edu/6.824/schedule.html（有资料）视频：https://www.bilibili.com/video/BV1R7411t71W?p=2论文：https://pdos.csail.mit.edu/6.824/papers/map
灰fw·2023-09-06 21:13

hive中内部表、外部表、分区表、桶表、拉链表

hive查询的基本原理hive的设计思想是通过元数据解析描述将HDFS上的文件映射成表基本的查询原理是当用户通过hql语句对hive中的表进行复杂数据处理和计算时候，默认将其准换为分布式计算mapReduce
李大寶·2023-09-06 19:30

【大数据实训】基于Hive的北京市天气系统分析报告(二)

/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系目录1.引言1.1项目背景11.2项目意义12.需求分析22.1数据清洗需求分析22.2数据存储需求分析22.3MapReduce
Maynor996·2023-09-06 15:40

hive 基础知识

一hive是什么在本节前我们需要明确hive是什么上面两个代码块，左边的是mapreduce的代码块，右边的是hive的代码块很容易看出来，右边的hive写起来要更容易更快些，而执行效率，右边的hive
超爱慢·2023-09-06 15:26

hadoop-MapReduce

分布式计算模型MapReduce1.理解MapReduce设计思想2.理解MapReduce分布式计算的基本原理3.掌握使用Java进行MapReduce编程4.掌握在Hadoop集群中提交MapReduce
不吃香菜lw·2023-09-06 08:31

centos7上hive3.1.3安装及配置

hive是基于hadoop的数据仓库软件，部署运行在linux系统之上，安装之前必须保证hadoop环境运行正常，hive本身不是分布式软件，它的分布式主要是借助hadoop实现，存储是hdfs，计算是mapreduce
至尊宝♬·2023-09-06 05:13

【数据结构与算法】【算法思想】分治算法

贪心算法回溯算法分治算法动态规划MapReduce本质就是分治算法，是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
CryptWinter·2023-09-06 02:38

Hadoop安装教程

在大数据领域，hadoop是必须学习和掌握的一项技术，hadoop里面包含了三个最主要的组件：HDFS用于数据存储、YARN用于资源的管理、MapReduce用于分布式计算。
書香劍客·2023-09-06 01:54

解读MapReduce程序实例

Mapreduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
大禹编程扛把子·2023-09-05 14:03

20180521早课记录14-Hadoop

1.hadoop是什么狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?
K_un·2023-09-05 12:27

Spark入门教程

Spark使用内存计算技术，在处理大规模数据时比HadoopMapReduce更快，可以
zzy979·2023-09-05 07:08

大数据实验一：大数据系统基本实验（第五部分：MapReduce初级编程）

1）编程实现文件的合并和去重对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。
EGNIR·2023-09-05 07:05

Hadoop的概述与安装

Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS：分布式文件存储系统2、YARN：分布式资源调度系统3、MapReduce：分布式离线计算框架4、HadoopCommon（了解即可
Augenstern K·2023-09-05 06:49

Hadoop之mapreduce详解(基础篇)

本篇文章主要从mapreduce运行作业的过程，shuffle，以及mapreduce作业失败的容错几个方面进行详解。
一枚小可爱c·2023-09-05 04:33

2022 Spring MIT6.824 Lab MapReduce

文章目录Lec1:学习笔记实验链接实验Lab:MapReduce结果提交结果查看结果参考链接GithubLec1:学习笔记如何优雅的打日志LabGuidanceMapReducePager实验链接https
codefreestyle·2023-09-04 18:10

MIT6.824 lab1

6.824Lab1:MapReduceSpring2018lab1链接博客的markdown文件step1安装go并设置环境变量$wget-qO-https://dl.google.com/go/go1.13.6
最佳损友1020·2023-09-04 18:39

【超级详细论文解说与代码实现】mit 6.824 分布式系统实现 Spring 2023—lab1

论文回顾mapreduce架构严格来讲，MapReduce是一种分布式计算模型，用于解决大于1TB数据量的大数据计算处理。
【阿冰】·2023-09-04 18:39

6.824-Spring2021-lab1-MapReduce（实验翻译）

原文链接：https://pdos.csail.mit.edu/6.824/labs/lab-mr.htmlIntroduction你将在这个实验构建MapReduce系统。
hh_is_vegetable·2023-09-04 18:09

MIT 6.824 Lab1 MapReduce实现 2020 Spring

一、环境准备1.Linux系统2.Go环境的安装二、准备实验的代码通过课程地址获取https://pdos.csail.mit.edu/6.824/labs/lab-mr.html$gitclonegit://g.csail.mit.edu/6.824-golabs-20206.824$cd6.824$lsMakefilesrc三、学习go语言1.基本语法2.学习途径主要通过learn-go-wi
S-U-M-M-E-R·2023-09-04 18:09

MIT6.824 Spring2021 Lab 1: MapReduce

文章目录0x00准备0x01MapReduce简介0x02RPC0x03调试0x04代码coordinator.gorpc.goworker.go0x00准备阅读MapReduce论文配置GO环境因为之前没用过
love is sour·2023-09-04 18:38

MIT 6.824 Lab1

MIT6.824Lab1MapReduceMapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。"
coding小黄·2023-09-04 18:38

谈谈Hadoop MapReduce和Spark MR实现

谈谈MapReduce的概念、HadoopMapReduce和Spark基于MR的实现什么是MapReduce？MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。
码农峰·2023-09-04 10:40

hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生·2023-09-04 06:38

【hadoop运维】running beyond physical memory limits：正确配置yarn中的mapreduce内存

文章目录一.问题描述二.问题分析与解决1.container内存监控1.1.虚拟内存判断1.2.物理内存判断2.正确配置mapReduce内存2.1.配置map和reduce进程的物理内存：2.2.Map
roman_日积跬步-终至千里·2023-09-04 00:11

分布式计算在云计算中的作用

云计算基于分布式计算技术，它离不开Google的三大核心技术，GFS（GoogleFileSystem，Google文件系统）分布式存储系统，MapReduce分布式处理技术和BigTable分布式数据库
EmmauelZ·2023-09-03 22:54

Apache Flink 课外阅读

谈及Hadoop大家自然不会对MapReduce感到陌生，它将计算分为两个阶段，分别为Map和Reduce。MapReduce计算框架虽然借鉴了函数式编程和矢量编程的思想完成了分布式计算。
麦田里的守望者··2023-09-03 07:30

大数据面试题：MapReduce压缩方式

问过的一些公司：网易云音乐(2022.11)，阿里(2020.08)参考答案：1、MapReduce支持的压缩方式压缩格式hadoop自带？
蓦然_·2023-09-03 05:46

MapReduce分布式并行编程练习

MapReduce分布式并行编程练习文章目录一、目的二、内容三、过程一、目的1、理解MapReduce分布式并行编程的基本概念和原理；2、掌握MapReduce的执行流程以及shuffle的执行过程；3
豪富专用·2023-09-02 20:26

如何用Spark进行数据分析

从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的计算，如交互式查询和流处理。速度在大数据集的处理中非常重要，它可以决定
yiyidsj·2023-09-02 08:39

Apache Spark进行大数据处理 -- 第一部分：介绍

Spark相对于其他的大数据和MapReduce技术（如：Hadoop和Storm）有几个优点。
zlEven·2023-09-02 08:39
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他