mapreduc

Python+大数据-hadoop(四)-Hadoop MapReduce、YARN、HA

执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理今日课程内容大纲#1、初识MapReduceMapReduce背后的思想先分再合，分而治之MapReduc
呆猛的呆呆小哥·2024-01-31 06:16

【大数据】Hadoop_MapReduce➕实操（附详细代码）

bean对象实现序列化接口（Writable）三、MapReduce框架原理1.InputFormat数据输入2.TextInputFormat3.CombineTextInputFormat切片机制4.MapReduc
欧叶冲冲冲·2024-01-31 06:37

扩展Hadoop 3.x新特性概述

Hadoop3.x以后将会调整方案架构，将Mapreduc
奋斗的蛐蛐·2024-01-01 20:44

分布式机器学习（上）-并行计算与机器学习

MapReduce，已经如何用MapReduc
差分隐私·2023-12-27 05:33

Go实现MapReduce

MapReduc
ldxxxxll·2023-12-17 05:10

idea本地调试hadoop 遇到的几个问题

的toString调用报错：Methodthrew‘java.lang.IllegalStateException‘exception.Cannotevaluateorg.apache.hadoop.mapreduc
sunweiking·2023-12-14 13:43

Ambari简介&安装

Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduc
月苍.·2023-12-06 17:49

分布式计算 第五章 大数据多机计算：Hadoop

5.2.2HDFS：分布式文件系统5.2.3YARN：调度器5.2.4MapReduc
一只大小菜·2023-11-25 14:42

大数据基础设施搭建 - Hadoop

输入文本信息5.2.2执行程序5.2.3查看结果六、分发压缩包到集群中其他机器6.1分发压缩包6.2解压压缩包6.3配置环境变量七、配置集群7.1核心配置文件7.2HDFS配置文件7.3YARN配置文件7.4MapReduc
m0_46218511·2023-11-19 10:33

Hadoop配置文件_mapred-default.xml

mapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellknownplace.IfNovalueissethere,bydefault,itisinthelocalfilesystemat${hadoop.log.dir}/history.mapreduc
达达呀·2023-11-11 03:30

Hadoop--MapReduce详解（Map、Shuffle、Reduce）

2.1MapReduce常用数据序列化类型2.2MapReduce简单过程图示2.2.1MapReduce进程2.2.2数据切片与MapTask并行度2.2.3分区机制与ReduceTask并行度2.2.4排序2.2.5MapReduc
words8·2023-10-20 18:11

常见的八种分布式文件系统介绍

Google学术论文，这是众多分布式文件系统的起源==================================GoogleFileSystem（大规模分散文件系统）MapReduc
小小哭包·2023-10-18 13:32

spark 与 mapreduce 对比

所以总结Spark比MapReduc
超爱慢·2023-10-12 11:07

大数据分布式处理框架Hadoop

MapReduc
真空零点能·2023-09-23 07:08

大数据之Spark（5）- SparkSql

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spar
jackyan163·2023-08-26 14:07

听阿里P7工程师只分七步讲解HDFS搭建

——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架MAPREDUC
Python大数据工程师·2023-08-20 20:12

MapReduce分布式离线计算框架

介绍:Google发布的三个产品:GoogleFileSystem/MapReduc/BigTable的详细设计论文,奠定了风靡全球的大数据算法的基础.MapReduce分布式离线计算框架用于大规模数据
瓶中怪·2023-06-20 01:25

Hive基本概念

所以，我们使用Hive是因为MapReduc
小财迷，嘻嘻·2023-04-05 22:53

大数据技术原理与应用（第七章 MapReduce）

Master/SlaveMap函数和Reduce函数7.2MapReduce的体系结构Client客户端JobTracker作业跟踪器TaskTracker任务追踪器7.3MapReduce工作流程概述MapReduc
m0_37607242·2023-03-30 23:48

大数据技术原理与应用——大数据处理架构 Hadoop

为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem）和MapReduc
linjiayina·2023-03-30 23:47

hadoop之MapReduce框架原理

FileInputFormat实现类进行虚拟存储（1）虚拟存储过程：Shuffle阶段：排序：Combiner合并：ReduceTask阶段:ReduceJoin：MapJoin：MapReduce框架的简单运行机制：MapReduc
小唐同学(๑>؂<๑）·2023-03-30 03:52

大数据技术之SparkSQL介绍

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
尚硅谷铁粉·2023-01-12 10:46

大数据技术之SparkSQL（一）-spark sql 的介绍，特点，Data Frame,DataSet的介绍

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Sp
2401号行者·2023-01-12 10:44

大数据技术之SparkSQL（一）概述

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
BAO7988·2023-01-12 10:04

大数据技术之SparkSQL（超级详细）

它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以SparkSQL的应运而生，
星川皆无恙·2023-01-12 10:03

Springdata-mongodb的基本使用

MongoDB1.1.2基本CRUD1.1.3连接选项1.2MongoTemplate的基本CRUD1.3MongoTemplate的聚合查询1.3.1Aggregate1.3.2MapReduce1.3.3聚合操作和MapReduc
haptony·2022-09-26 07:53

猿创征文｜Hadoop大数据技术

调度器（Scheduler）FIFOSchedulerCapacityScheduleFairSchedulerMapReduce设计思想编程模型初识MapReduce模型MapReduce模型简单示例MapReduc
啊Q老师·2022-09-08 20:45

大数据进阶之路——Spark SQL基本配置

beeline的使用jdbcMapReduce的局限性：1）代码繁琐；2）只能够支持map和reduce方法；3）执行效率低下；4）不适合迭代多次、交互式、流式的处理；框架多样化：1）批处理（离线）：MapReduc
孙中明·2021-10-02 09:03

MapReduce之WordCount实战——统计某电商网站买家收藏商品数量

实验目的和要求∶二、实验任务∶三、实验准备方案，包括以下内容：实验内容一、实验用仪器、设备：二、实验内容与步骤（过程及数据记录）：1.前置的输入数据准备2.开始编写任务程序1）环境准备（1）创建maven工程，MapReduc
Leokadia Rothschild·2021-05-05 22:43

Java : Stream 数据流 (Collection 接口扩充, Stream基本操作, MapReduce 模型)

MapReduce基础模型范例:编写一个简单的数据统计操作范例:实现订单信息的保存,随后进行一个总量的统计从JDK1.8发起的时候实际上就是世界上大数据兴起的时候,在大数据开发里面有一个最经典的模型:MapReduc
流浪少年的梦·2021-01-30 00:10

大数据框架Hadoop：第二章 计算框架MapReduc（二）分区、排序、归并、分组以及MapTask和ReduceTask

系列文章目录大数据框架Hadoop：第一章HDFS分布式文件系统(一)大数据框架Hadoop：第一章HDFS分布式文件系统(二)大数据框架Hadoop：第二章计算框架MapReduce（一）大数据框架Hadoop：第二章计算框架MapReduce（二）文章目录系列文章目录前言一、MapTask数量及切片机制1.MapTask个数2.如何控制mapTask的个数二、分区、排序、归并、分组1.mapr
BB侠的大数据之旅·2020-12-22 16:30

Hive的高频面试题，你都会了吗？

为什么要有hive很多时候面试以上来就问什么是Hive，有了MapReduc为什么还要有hive呀。很多小伙伴回答的都不是很好，好，那大数据老哥来个大家讲解下。
大数据老哥·2020-11-30 23:35

Hadoop ：Join 操作

三、实验背景3.概述对于RDBMS中的Join操作大伙一定非常熟悉，写SQL的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduc
tangsensan·2020-09-15 23:20

MapReduce的设计思想

对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduc
大数据之小白·2020-09-15 03:32

Spark SQL概述

Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
ITBOY_ITBOX·2020-09-15 02:11

3.Spark基础学习三（Spark_SQL）

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
做个合格的大厂程序员·2020-09-02 16:03

mapreduce maven文件

SNAPSHOTjunitjunit3.8.1testlog4jlog4j1.2.17org.apache.hadoophadoop-common2.6.1org.apache.hadoophadoop-mapreduce-client-jobclient2.6.1org.apache.hadoophadoop-mapreduc
沙漠的飞鱼·2020-08-25 16:54

mongodb的聚合操作

Pipeline查询速度快于MapReduc
故事凌·2020-08-25 08:58

练习mapreduce的案例出现错误Job job_local2058909726_0001 failed with state FAILED due to: NA

org.apache.hadoop.mapreduce.Job]-Jobjob_local2058909726_0001runninginubermode:false2020-03-0614:20:21,068INFO[org.apache.hadoop.mapreduc
weixin_43728831·2020-08-24 17:42

4.推荐系统之Hive

Hive本质:将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据,是一款基于HDFS的MapReduc
Sssssss_A·2020-08-22 01:58

MapReduc面试题：MapReduce的流程

Map端：1：读取输入文件的内容，并解析成键值对（）的形式，输入文件中的每一行被解析成一个对，每个对调用一次map()函数。2：用户写map()函数，对输入的对进行处理，并输出新的对。3：对Step2中得到的进行分区操作。4：不同分区的数据，按照key值进行排序和分组，具有相同key值的value则放到同一个集合中。5（可选）：分组后的数据进行规约。Reduce端1：对于多个map任务的输出，按照
谦卑t·2020-08-21 05:58

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

通过MapReduc
NebulaGraph·2020-08-20 17:59

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

通过MapReduc
NebulaGraph·2020-08-20 17:58

Hadoop框架基础（三）

本节目标：*了解mapreduce原理*编写wordcount的mapreduc
Z尽际·2020-08-19 22:22

hive数据倾斜优化

b)对MapReduc
sun_shang·2020-08-18 11:37

SparkSql详细概述

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
大数据小同学·2020-08-18 10:19

mongodb的聚合操作

Pipeline查询速度快于MapReduc
三月凌空·2020-08-16 23:39

有关python numpy pandas scipy 等 能在YARN集群上 运行PySpark

SparkApplication可以直接运行在YARN集群上，这种运行模式，会将资源的管理与协调统一交给YARN集群去处理，这样能够实现构建于YARN集群之上Application的多样性，比如可以运行MapReduc
weixin_34319999·2020-08-14 21:44

数据分析引擎Pig

其本质是一个翻译器，将PigLatin语句转换为MapReduc
cp_Mark·2020-08-10 15:34

kafka系列-入门篇之安装

前期准备我们知道大数据是从Hadoop发展而来，但是kafka的安装还不是必需使用hdfs、mapreduc
马各马它·2020-08-03 15:35
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他