“MapReduce:

4.hadoop集群扩容与hive异常处理

Errorwritingfile‘/tmp/MYYEBa32’(Errcode:28-NospaceleftondeviceINFOmapreduce.Job:Theurltotrackthejob:http
想成为数据分析师的开发工程师·2023-12-02 00:10

Java核心知识点整理大全25-笔记

Hadoop25.1.1.概念25.1.2.HDFS25.1.2.1.Client25.1.2.2.NameNode25.1.2.3.SecondaryNameNode25.1.2.4.DataNode25.1.3.MapReduce25.1.3.1
希斯奎·2023-12-01 17:31

hadoop完全分布式搭建

远程登录实验前准备安装软件工具关闭防火墙安装JDK和Hadoop创建软件包目录解压软件包配置环境变量集群搭建先创建HDFS工作目录和LOG目录配置集群配置环境配置HDFS主节点信息、持久化和数据文件的主目录配置HDFS默认的数据存放策略配置Mapreduce
撕得失败的标签·2023-12-01 12:24

Hadoop运行原理之shuffle

hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。
Summer_1981·2023-12-01 10:00

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

前言最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。
Alukar·2023-12-01 05:17

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算
奔跑的风2019·2023-12-01 04:34

Hyper-v虚拟机Hadoop集群搭建

(海量数据存储)HDFS为海量的数据提供了存储，而MapReduce**分布式计算**则为海量的数据提供了计算总结：用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF
真.电脑人·2023-11-30 16:16

大数据之 Hadoop

MapReduce对海量数据处理map函数进行数据的提取、排序，实现mapper，四个形参（输入
小裕哥略帅·2023-11-30 13:41

01数仓平台 Hadoop介绍与安装

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
kk_io·2023-11-30 13:38

Spark---SparkSQL介绍

一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部
30岁老阿姨·2023-11-30 13:52

2019-12-11

本质是：将HQL转化成MapReduce程序image.pngimage.png1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程
diedfish_qyf·2023-11-30 11:41

大数据 - Hadoop - HDFS

Hadoop=HDFS（文件系统，数据存储技术相关）+Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力
蒙蒙的林先生·2023-11-30 10:21

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

Map和Reduce在Hadoop与Python中有何异同？

MapReduce是Hadoop众多组件当中的一个。
值得一看的喵·2023-11-30 09:25

MapReduce的基础知识

1、什么是MapReduceHadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）MapReduce
huan1993·2023-11-30 07:44

Hadoop入门+组成学习笔记

Hadoop学习笔记Hadoop的优势（4高）1.高可靠性—Hadoop底层有多个数副本，保存再不同的服务器里，即使一台计算机出现故障，也不会丢失数据2.高扩展性—可以添加多个节点3.高效性—再MapReduce
Fan_Coder·2023-11-30 05:14

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
渣男程序员007·2023-11-30 05:13

Spark on Yarn 模式有哪些优点

1）与其他计算框架共享集群资源（eg.Spark框架与MapReduce框架同时运行，如果不用Yarn进行资源分配，MapReduce分到的内存资源会很少，效率低下）；资源按需分配，进而提高集群资源利用等
浪漫の土狗·2023-11-30 03:26

大数据之HBase教程

Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。
@轻流·2023-11-29 20:00

Module-Spark使用文档

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce
SuperScfan·2023-11-29 17:21

hadoop安装

它的发展背景可以追溯到Google的MapReduce和GoogleFileSystem（GFS）的论文，这两篇论文启发了Hadoop的设计。
necessary653·2023-11-29 14:11

Spark 学习笔记3. spark-submit + spark-shell

spark-submit:相当于hadoopjar命令--->提交MapReduce任务（jar文件）提交Spark的任务（jar文件）Spark提供Example例子：/root/training/spark
aimmon·2023-11-29 12:05

R语言实现MapReduce的协同过滤算法

原文地址：http://www.tuicool.com/articles/63EjqiAuthor：张丹(Conan)Date:2013-04-07Weibo:@Conan_ZEmail:[email protected]:http://www.fens.me/blogAPPs:@晒粉丝http://www.fens.me@每日中国天气http://apps.weibo.com/chin
张小琦·2023-11-29 12:28

RHadoop实践系列之三 R实现MapReduce的协同过滤算法

第三篇R实现MapReduce的协同过滤算法，分为3个章节。
wbj0110·2023-11-29 12:26

R实现MapReduce的协同过滤算法

基于物品推荐的协同过滤算法介绍R本地程序实现R基于Hadoop分布式程序实现1.基于物品推荐的协同过滤算法介绍文字说明部分：越来越多的互联网应用，都开始使用推荐算法(协同过滤算法)。根据用户活跃度和物品流行度，可以分为”基于用户的协同过滤算法”和”基于物品的协同过滤算法”。基于用户的协同过滤算法，是给用户推荐和他兴趣相似的其他用户喜欢的物品。基于物品的协同过滤算法，是给用户推荐和他之前喜欢的物品相
Gold_Spring·2023-11-29 12:46

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

MapReduce 和 Yarn 技术原理【华为HCIA-BigData】

5.1导读本章主要讲述大数据领域中最著名的批处理与离线处理计算框架MapReduce，包括MapReduce的原理、流程、使用场景，以及Hadoop集群中负责统一的资源管理与调度的组件Yarn，包括Yarn
Mengo_x·2023-11-29 08:45

华为认证大数据工程师（HCIA-Big Data）--练习题

BA.FunctionRegistryB.UDFC.MapReduce2、多选1、以下场景中，哪些选项属于华为数据治理中心DataArtsStudio的典型应用场景？
大沙头三马路·2023-11-29 08:05

MapReduce计算任务的步骤

MapReduce计算任务的步骤第1步：InputFormatInputFormat到hdfs上读取数据将数据传给Split第2步：Split//设置读取数据的路径TextInputFormat.addInputPath
未烬丶·2023-11-29 06:47

面试篇spark（spark core，spark sql，spark 优化）

mapreduce的执行框架示意图。spark执行框架示意图spark的执行中间结果是存储在内存当中的，而hdfs的执行中间结果是存储在hdfs中的。
宇智波云·2023-11-29 05:21

大数据实验：MapReduce的编程实践

文章目录前言环境说明Eclipse创建Map-Reduce项目实验代码说明运行演示说明总结前言最近就快要期末考了，大家除开实验，也要顾好课内哟，期待大佬出一下软件测试的期末复习提纲和Oracle的复习提纲！环境说明VMware+Ubantu18.04桌面版本+Hadoop3.2.1+Eclipse2021在开始实验之前，先把hadoop启动起来！！，不然后续程序会有问题！！start-all.sh
jiachengren·2023-11-28 16:46

MapReduce概念

1、概念MapReduce是一种编程模型，用于大规模数据集的并行处理。它是由Google开发的，用于处理大规模数据集的分布式计算框架。
xixingzhe2·2023-11-28 16:29

大数据平台/大数据技术与原理-实验报告--MapReduce编程

实验名称MapReduce编程实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5
jakeonil·2023-11-28 16:26

环境准备（06）YARN环境搭建 & 提交作业到YARN

cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3
乌鲁木齐001号程序员·2023-11-28 15:13

js手写面试题【附带注释】

文章目录前言数组方法手写pushpopshiftunshiftcancatslicespliceforEachmapreducefind手写订阅发布手写单例模式后言前言helloworld欢迎来到前端的新世界当前文章系列专栏
鋜斗·2023-11-28 13:21

MIT 6.824 -- MapReduce Lab

MIT6.824--MapReduceLab环境准备实验背景实验要求测试说明流程说明实验实现GoLand配置代码实现对象介绍协调器启动工作线程启动Map阶段分配任务执行任务Reduce阶段分配任务执行任务终止阶段崩溃恢复注意事项并发安全文件转换
Binary Oracle·2023-11-28 04:18

MapReduce 案例之倒排索引

1.倒排索引倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（InvertedIndex）。2.实例描述通常情况下，倒排索引由一个单词（或词组）以及相关的文档列表组成，文档列表中的文档或者是
piziyang12138·2023-11-27 23:45

Flink入门（一）——Apache Flink介绍

随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎ApacheSpark,基本上已经取代了MapReduce成为当前大数据处理的标准。
大数据流动·2023-11-27 20:03

Hive 常见的数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce
大数据技术架构·2023-11-27 19:44

eclipse中编写MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop

log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARNPleaseinitializethelog4jsystemproperly.log4j:WARNSeehttp://logging.apache.org/log4j/1.2/faq.h
CC小耳朵·2023-11-27 19:59

Spark的部署与使用

1.1与Hadoop区别Spark与Hadoop中的MapReduce相似，都是用于进行并行计算的框架，二者根本差异是多个作业之间的数据通信问题:Spark的多个作业之间数据通信是基于内存，而Hadoop
Vic·Tory·2023-11-27 12:01

Mongodb中Aggregation特性

Mongodb本身也提供了aggregation、mapreduce特性，以支持对大数据的计算、统计、分类等需求。
shift_alt_ctrl·2023-11-27 12:45

2 MapReduce计算的流程-Hadoop

架构图1map端分块针对上传到hdfs上的文件，会针对文件进行分块（物理分块，固定大小64M，多余的则进行分，少的则不变），分块之后存储相应的datanode计算机的磁盘上面；把File划分成Block，这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。一个大文件可以把划分后的所有块存储到同一个
汀沿河·2023-11-27 12:07

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
许志辉Albert·2023-11-27 08:53

Spark入门之五：SparkSQL的原理以及架构

1、SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在
铁猴·2023-11-27 03:03

HBase权威指南

推荐序Google公司提出的MapReduce编程框架、GFS文件系统和BigTable存储系统成为了大数据处理技术的开拓者和领导者，而源于这三项技术的ApacheHadoop等开源项目则成为了大数据处理技术的事实标准
yeedom·2023-11-27 00:52

配置MapReduce的历史服务器查看MR运行日志

配置MapReduce的历史服务器查看MR运行日志前言前面介绍的MapReduce实例，我们会发现无法查看Map函数和Reduce函数的具体执行过程。本文介绍如何配置历史服务器来查看MR的运行日志。
Mekeater·2023-11-26 16:42

分布式计算、云计算与大数据 第十一章

分布式计算、云计算与大数据第十一章大数据技术大数据技术概述大数据存储平台HBash简介HBash的特性MongoDBMongoDB的功能MongoDB数据组织形式MapReduce执行流程MapReduce
铁灵龙QAQ·2023-11-26 15:03

【Spark】Ubuntu16.04 spark 集群安装 （standalone模式）

一、前言目前ApacheSpark支持三种分布式部署方式，分别是：standalonesparkonmesossparkonYARN其中，第一种类似于MapReduce1.0所采用的模式，内部实现了容错性和资源管理
w1992wishes·2023-11-26 11:50

简析Hadoop的三种运行模式

该模式主要用于开发调试MapReduce程序的
我要下东西噢·2023-11-26 08:13
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他