【MapReduce】

外排序与MapReduce的Sort

外排序与MapReduce的Sort数据结构课设——外排序VisualStudio2019QtCreator4.9C++代码地址：DataStructureCourseProject/ExternalSort
Tcoder-l3est·2023-09-17 04:56

Hbase Java客户端连接Hbase运行后长时间卡住，最后报错，这该怎么解决呢

代码如下：packagemapreduceHbase;importjava.io.IOException;importjava.util.ArrayList;im
_火山_·2023-09-16 19:29

Hive

Hive产生背景MapReduce编程的不便性HDFS上的文件缺少SchemaHive是什么1）由Facebook开元，最初用于解决海量结构化的日志数据统计问题2）构建在Hadoop之上的数据仓库3）Hive
捕猎者·2023-09-16 16:51

什么是存储计算分离架构？

1.背景首先我们谈谈Hadoop的背景，说到Hadoop起源，就离不开Google的三辆马车：GoogleFileSystem、MapReduce和BigTable，分别说了分布式文件系统、分布式计算MR
中关村_周某·2023-09-16 12:12

大数据之Hive

Hive本质是一个Hadoop客户端，将HQL转化成MapReduce程序。底层都是hadoop实现的，Hive的主要工作
十七✧ᐦ̤·2023-09-16 08:18

Spark

与HadoopMapReduce相比，Spark具有更高的性能和更丰富的功能，可以处理更复杂的数据处理任务。
山塘小鱼儿·2023-09-16 08:20

MapReduce概述

目录MapReduce概述分布式并行编程MapReduce模型简介MapReduce体系结构MapReduce工作流程MapReduce工作特点Shuffle过程原理MapReduce完成的shuffle
黄乐荣·2023-09-16 07:42

HBASE知识点

利用HDFS作为其文件存储系统，利用MapReduce来处理HBase中的海量数据。利用Zookeeper作为其分布式协同服务。用于存储非结构化和半结构化的松散数据。
小小的人儿居然已存在·2023-09-16 07:10

Hadoop：YARN、MapReduce、Hive操作

分布式计算概述分散->汇总模式：（MapReduce就是这种模式）1.将数据分片，多台服务器各自负责一部分数据处理2.然后将各自的结果，进行汇总处理3.最终得到想要的计算结果中心调度->步骤执行模式：（
独憩·2023-09-16 06:29

Spark 框架概述

二、Spark风雨十年三、SparkVSHadoop(MapReduce)3.1面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Stars.Sky·2023-09-16 02:31

Spark架构原理

首先和MapReduce一个应用一次只运行一个map和一个reduce不同，Spark可以根据应用的复杂程度，分割成更多的计算阶段（stage），这些计算阶段组成一个有向无环图DAG，Spark任务调度器可以根据
do_young·2023-09-15 13:29

基于VM与Hadoop的完全分布式安装

有很多不会的地方查了很多资料也走了很多弯路文章目录基于VM与Hadoop的完全分布式安装完全分布式运行模式环境配置配置JDK与Hadoop集群配置部署规划配置核心文件配置HDFS文件Yarn配置文件配置Mapreduce
凯撒袁六兽·2023-09-15 11:26

《十小时入门大数据》学习笔记之初识Hadoop

笔记内容概括Hadoop概述1.1Hadoop名字的由来1.2Hadoop介绍1.3Hadoop能做什么Hadoop核心组件2.1HDFS(分布式文件系统)2.2YARN(资源调度系统)2.3MapReduce
腊月的梅花·2023-09-15 08:36

Hive 任务限制同时运行的任务数量的配置

MapReduce（MR）引擎Map任务mr引擎使用mapreduce.job.running.map.limit来限制同时执行的map任务数量。如一个hive任务生成1000个map任务。
houzhizhen·2023-09-15 07:29

Spark

Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以缓存在内存中
HikZ.919·2023-09-14 23:29

spark6. 如何设置spark 日志

sparkyarn日志全解一.前言二.开启日志聚合是什么样的2.1开启日志聚合MapReducehistoryserver2.2如何开启Sparkhistoryserver三.不开启日志聚合是什么样的四
笔生花·2023-09-14 10:00

大数据-Hive

因为比直接用MapReduce开发效率更高，Hive的主要作用就是用来做离线数据分析。
HikZ.919·2023-09-14 06:35

Java中的分布式计算框架有哪些?

它包括Hadoop分布式文件系统（HDFS）和MapReduce计算模型。ApacheSpark：一个快速、通用的大规模数据处理框架。它支持内存计算，可以在磁盘和内存中同时进行数
玥沐春风·2023-09-13 23:54

Hadoop单机模式配置

/share/hadoop/mapreduce/hadoop-mapreduce-exa
鸡肋是鸡肋！·2023-09-13 21:11

hive/spark数据倾斜解决方案

Hive数据倾斜以及解决方案1、什么是数据倾斜数据倾斜主要表现在，mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个
临风赏月·2023-09-13 17:48

XShell7 + Xftp7 + IDEA 打包MapReduce程序到集群运行

参考博客【MapReduce打包成jar上传到集群运行】http://t.csdn.cn/2gK1d【Xshell7/Xftp7解决强制更新问题】http://t.csdn.cn/rxiBGIDEA打包
让线程再跑一会·2023-09-13 07:45

Hive调优（SQL）

文章目录SQL优化SQL优化Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率；影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对
飞越石之海·2023-09-13 04:39

Windows下使用Hadoop2.6.0-eclipse-plugin插件

SpringToolSuiteVersion:3.4.0.RELEASEHadoop2.6.0一．简介Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce
热情的蘑菇·2023-09-13 03:01

%2x java_hadoop2x-eclipse插件编译与安装

SpringToolSuiteVersion:3.4.0.RELEASEHadoop2.6.0一．简介Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce
六间仓库的仓老师·2023-09-13 03:01

Hadoop

Hadoop是Google的集群系统的开源实现，Google集群系统:GFS(GoogleFileSystem)、MapReduce、BigTable。
凤舞飘伶·2023-09-12 23:16

map-reduce中的组件

MapReduce作业的执行流程用户提交MapReduce作业到JobTracker。JobTracker将MapReduce作业分割成Map任务和Reduce任务。
demo123567·2023-09-12 15:12

Hadoop生态概述及常见报错

它包含两个模块，一个是MapReduce，另外一个是Hadoop分布式文件系统（HDFS）。MapReduce：它是一种并行编程模型在大型集群普通硬件可用于处理大型结构化，半结构化和非结构化数据。
WilenWu·2023-09-12 08:43

Item-Based Recommendations with Hadoop

Mahout在MapReduce上实现了Item-BasedCollaborativeFiltering，这里我尝试运行一下。
liuyuan185442111·2023-09-12 08:43

MapTask、Shuffle、ReduceTask工作机制

MapReduce整个工作流程：image.pngimage.pngShuffle阶段image.png
数据萌新·2023-09-12 03:14

2023计算机毕设选题 python毕业设计如何选题

四、最后一、python毕设选题推荐以下为学长手动整理python毕业设计项目，完全可以作为当前较新的毕业设计题目选择方向，给各位同学参考1基于MapReduce的气候数据的分析2基于关键词的文本知识的挖掘系统的设计与实现
DanCheng-studio·2023-09-11 14:35

Impala相较于hive的优劣

hive是基于Java编写的开源数据仓库和分析包，目的是将特定的SQL语句编译为MapReducejar包扔给hadoop去执行，本质上是一个代码转换编译的工具，适用于逻辑复杂的查询，简单查询考虑impala
一只当归·2023-09-11 12:27

MapReduce常见问题

1.空指针异常2.exceptioninthread“main”java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z:上面两个问题是因为缺少组件，下载winutils.exe和hadoop.dll到本地；在windows下配置hadoop
在朝阳寺树下·2023-09-11 06:40

map-reduce执行过程

Map阶段Map阶段是MapReduce框架中的一个重要阶段，它负责将输入数据转换为中间数据。Map阶段由一个或多个Map任务组成，每个Map任务负责处理输入数据的一个子集。
demo123567·2023-09-10 18:22

java.lang.IllegalArgumentException: URI scheme is not “file“ 报错解决

java.lang.IllegalArgumentException:URIschemeisnot"file"报错解决近期在实现MapReduce中Map端的Join时遇到了上述错误Map端setup中的代码如下
飝鱻.·2023-09-10 15:12

大数据组件HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别

作者：禅与计算机程序设计艺术1.简介大数据组件是解决大数据的关键组件之一，在Hadoop生态系统中占据着至关重要的地位，它包括了HDFS、MapReduce、Hive等等一系列框架和工具。
禅与计算机程序设计艺术·2023-09-10 14:54

大数据技术之Hadoop：提交MapReduce任务到YARN执行（八）

目录一、前言二、示例程序2.1提交wordcount示例程序2.2提交求圆周率示例程序三、写在最后一、前言我们前面提到了MapReduce，也说了现在几乎没有人再写MapReduce代码了，因为它已经过时了
何苏三月·2023-09-10 13:49

2018-01-10 Hadoop Platform and Application Framework -- Lesson 4 Application Engine and Resource Scheduling

YARNItsupportclassicMapReduceframeworkItalsosupportotheropensource/commercialapplicationsrunningonit,
鸭鸭学语言·2023-09-10 08:58

【大数据毕设】基于Hadoop的音乐推荐系统论文(三)

该系统采用Hadoop生态系统中的组件，包括HDFS、MapReduce、HBase和Mahout等，实现
Maynor996·2023-09-10 07:31

Hive总结

hive是基于hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张表，并提供类sql查询功能本质是：将hql转化成MapReduce程序hive优缺点1．优点1)操作接口采用类SQL语法，提供快速开发的能力
凉介﹊·2023-09-10 06:48

hive解决了什么问题

MapReduce难以使用：MapReduce是一种分布式计算框架，它可以用于处理大规模数据，但MapReduce的编程模型比较复杂，难以使用。
demo123567·2023-09-10 06:15

大数据导论 笔记

一、大数据方向1、技术发展计算机网络云计算大数据时代人工智能（本科：使用，研究生：推导，博士：创新）2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件：HDFS分布式存储、MapReduce
暗托涅瓦·2023-09-10 02:12

大数据面试总结

目录前言一、Hadoop1.简要概念2.组件&作用3.守护线程&作用4.安全模式5.HDFS优缺点6.HDFS读写流程7.HDFS脑裂8.HA&Federation9.Yarn的请求&调度10.MapReduce
起名到半夜·2023-09-09 15:44

ExitCodeException exitCode=-1073741701

在博客windows系统通过eclipse远程MapReduce服务器中部署环境后，有个别机器会出现ExitCodeExceptionexitCode=-1073741701异常，主要原因是windows
东语~·2023-09-09 14:16

Container is running beyond memory limits

问题Hadoop环境中，执行MapReduce程序或者Hive任务时候，任务执行失败，提示内存不足。
东语~·2023-09-09 14:44

Hadoop的第三大组成：YARN框架

、YARN的基本架构组成1、ResourceManager：YARN集群的管理者2、NodeManager3、Container4、ApplicationMaster三、YARN的详细工作流程--运行MapReduce
Augenstern K·2023-09-09 09:58

Apache Spark：了解Apache Spark，Hadoop Distributed File System (HDFS)，Cassandra、HBase等

它最初是加州大学伯克利分校AMPLab于2009年开发的项目之一，旨在解决MapReduce模型的缺陷，提高大数据处理的速度和效率，同时支持更多的
Solitary_孤影照惊鸿·2023-09-09 06:39

Hadoop概述

语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架)：解决资源任务调度HadoopMapReduce
藤藤菜丶·2023-09-09 05:15

大数据技术之Hadoop：Yarn集群部署（七）

目录一、部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS
何苏三月·2023-09-09 04:19

大数据技术之Hadoop：MapReduce与Yarn概述（六）

即HDFS是分布式存储组件，MapReduce是分布式计算组件，Yarn则是资源调度组件。本章我们就分布式计算和资源调度进行简单讲解。一、分布式计算那么什么是分布式
何苏三月·2023-09-09 04:17

Spark Scan大表时任务启动过慢分析

SQLselectasset_inout_ex['asset_inout_1c_sum_1'],dtfromASSET_INOUT_AMTawheredt()|+---[991.715064ms]org.apache.hadoop.mapreduce.lib.input.CombineFileInputFormat
wankunde·2023-09-09 04:05
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他