【MapReduce】

hadoop原理和细节

一、Hadoop概述Hadoop是Google的集群系统开源实现Google的集群系统：GFS、MapReduce、BigTableHadoop的集群系统：HDFS、MapReduce、HBaseHadoop
truezqx·2023-08-26 05:18

Hive面试自学版

Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据文件映射为一张表，同时可以将H-SQL语句转化为MapReduce程序在集群上运行。
叫我莫言鸭·2023-08-26 04:30

HIVE 调优—— hive.fetch.task.conversion

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。启用MapReduceJob是会消耗系统开销的。
Q以梦为马·2023-08-26 04:09

大数据——spark一文全知道

1、spark概述spark是专为大规模数据处理而设计的快速通用计算引擎，与Hadoop的MapReduce功能类似，但它是基于内存的分布式计算框架，存储还是采用HDFS。
AIGC人工智残·2023-08-25 16:20

大数据-Hive

2）Hive本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。
ONLYYD·2023-08-25 13:27

大数据课程K7——Spark的容错&&缓存&&Checkpoint

Spark以前的集群容错处理模型，像MapReduce，将计算转换为一个
伟雄·2023-08-25 10:32

hadoop yarn 报错 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL

运行简单的样例程序报错bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrepinputoutput'dfs
gs80140·2023-08-25 07:21

【分布式系统】前言

现在的心得如下：不知道啥时候能破解哈～～内容包括部分6.824+读的论文+DDIA：DDIAmapreduceGFSVMwareFTRaftzookeeperchainreplication（CR）和CRAQtime
kkzz1x·2023-08-25 07:29

全面解析流式大数据实时处理技术、平台及应用

Hadoop技术体系实现并优化了MapReduce框架。Hadoop技术体系主要
丨程序之道丨·2023-08-24 22:59

Google MapReduce小记

MapReduce的本质可以说是一个模型，一个进行任务分割和结果汇总的模型。其高明之处在于使用于分布式并行计算，将大量的计算资源进行整合调配。
米切尔·2023-08-24 15:12

MongoDB学习（五）：聚合、管道与MapReduce

目录一.聚合&管道1.操作2.例子3.提高管道性能二.Map/Reduce聚合是MongoDB的高级查询框架，实际上在MySQL等关系数据库中，也有GROUPBY这样的类似功能。其主要作用是，从多个文档中提取、转换和整合数据，形成新的信息，可以用来发现文档间的一些关系，或者挖掘单个文档不具备的信息。例如，春节快到了，如果一家商店的店长想统计每月销售额、每种商品销售额、整年销售额，就必须以时间或商品
hbyangland·2023-08-24 05:05

黑猴子的家：MapReduce核心思想

分布式的运算程序往往需要分成至少2个阶段2）第一个阶段的maptask并发实例，完全并行运行，互不相干3）第二个阶段的reducetask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出4）MapReduce
黑猴子的家·2023-08-24 01:55

大数据处理技术导论（8） | Datawhale组队学习46期

10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？
mba1398·2023-08-23 20:35

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

HDFS（对于本文）的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。
大数据学习01·2023-08-23 18:22

腾讯大佬三年大制作，大数据Hadoop和Spark的大集合

本书围绕Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库
金光闪闪耶·2023-08-23 15:47

Hive3新特性

1.执行引擎变更：TEZ不用支持缓慢过时的MapReduce了，14年测试时TEZ比ＭapReduce快100%。
clive0x·2023-08-23 13:20

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台E-MapReduce
·2023-08-23 12:52

大数据平台架构及主流技术栈

Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。
飞鸡起飞·2023-08-23 11:06

大数据架构师之路

这个方法被称作Lambda架构，它通过批量MapReduce作业提供了虽有些延迟但是结果准确的计算，同时通过flink/Storm将最新数据的计算结果初步展示出来。
laogooooog·2023-08-23 11:04

大数据——一文熟悉HBase

Hadoop在已经有一个Hive+MapReduce结构的数据读写功能，为什么还要HBase呢？
AIGC人工智残·2023-08-23 11:02

Hadoop支持LZO压缩

在Hadoop生态系统中，LZO压缩通常用于HadoopMapReduce作业的输入和输出数据，以减少存储空间和数据传输的开销。
贾斯汀玛尔斯·2023-08-23 07:32

Spark 与 Flink 的演进与区别（上）

“Hadoop中的计算框架MapReduce的基本思想。
zhouyanjun_·2023-08-23 05:48

后Hadoop时代的大数据架构

适合处理非结构化数据，包括HDFS，MapReduce基本组件。HDFS：提供了一种跨服务器的弹性数据存储系统。
juan188·2023-08-23 05:46

HDP3.1测试

1：TestDFSIO测试HDFS的IO性能写入：hadoopjar/usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient
docsz·2023-08-23 00:14

LeetCode 刷题集 - 分治、回溯、贪心、二分查找、BFS、DFS(3)

分治算法：谈一谈大规模计算框架MapReduce中的分治思想回溯算法：从电影《蝴蝶效应》中学习回溯算法的核心思想深度和广度优先搜索：如何找出社交网络中的三度好友关系？
Jacob6666·2023-08-22 19:45

大数据 Haddoop（二） 架构与原理

Haddoop架构与原理Hadoop架构架构概述Hadoop经典版本架构HadoopV1.0核心：HDFSMapReduceHadoopV2.0，引入了Yarn。
傅二毛·2023-08-22 17:45

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

Hadoop分布式计算与资源调度：打开专业江湖的魔幻之门

文章目录版权声明一分布式计算概述1.1分布式计算1.2分布式（数据）计算模式1.3小结二MapReduce概述2.1分布式计算框架-MapReduce2.2MapReduce执行原理2.3小结三YARN
缘友一世·2023-08-22 07:45

浅谈Spark的RDD、部署模式

RDD解决了MapReduce在数据共享方面的缺点。当重用数据进行计算时，MapReduce需要写入外部存储（HD
编程小白呀·2023-08-22 03:08

大数据hadoop 新手快速入门经典视频教程

视频下载地址：http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR·2023-08-22 03:20

Hive的计算引擎，你知道哪几种？

大家enjoy~~Hive支持MapReduce、Tez和Spark三种计算引擎。一、MapReduceMR运行的完整过程：Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。
晓之以理的喵~~·2023-08-21 21:45

Hive-架构、执行

本质--SQL解析，将HQL转为MapReduce执行过程。底层的执行引擎有：MapReduce、Tez、Spark一、hive架构组件C/S模式。
风止_·2023-08-21 21:15

Hive的执行引擎Tez、spark出现的问题

HiveonTez中，切换成mr引擎出现以下问题：hadoop版本为2.7.3tez版本为0.9.1因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common
cuichunchi·2023-08-21 21:45

Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Error:Couldnotfindorloadmainclassorg.apache.hadoop.mapreduce.v2.app.MRAppMasterPleasecheckwhetheryouretc
香蕉弦定李·2023-08-21 17:06

yarn伪分布式配置，运行一个

进入/etc/hadoop下复制mapred-site.xml.templatecpmapred-site.xml.templatemapred-site.xml；然后加入mapreduce.framework.nameyarn
Ace_Wang·2023-08-21 12:19

【2019-07-17】discp拷贝文件失败

19/07/1511:35:29INFOmapreduce.Job:TaskId:attempt_1562833599927_0815_m_000010_0,Status:FAILEDApplicationapplication
学师大术·2023-08-21 05:25

大数据hadoop生态体系之MapReduce快速入门(11)

MapReduce：分布式计算系统，hadoop的三大核心功能之一。
welun·2023-08-21 02:55

Hadoop之MapReduce介绍整理

Hadoop之MapReduce介绍整理什么是批处理在了解MapReduce之前，需要了解批处理的概念，批处理模式是一种最早进行大规模数据处理的模式。
王亭_666·2023-08-21 02:39

MapReduce介绍

目录一、什么是MapReduce二、MapReduce的设计思想2.1分而治之2.2构建抽象模型：Map和Reduce2.3隐藏系统层细节三、MapReduce的框架原理3.1MRv1工作原理3.1.1MRv1
夜夜流光相皎洁_小宁·2023-08-21 02:08

Hbase的核心概念、架构、写逻辑详细讲解！

HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制，因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案
套马杆的程序员·2023-08-20 16:08

日志清洗案例

输入数据实现代码:编写LogMapperpackagecom.itstar.mapreduce.weblog;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable
在远方的你等我·2023-08-20 16:16

6.824分布式系统[2]-GFS案例学习

准备工作阅读：GFS论文背景GFS是Google在2003年发出的经典论文，其作为分布式文件系统,实际应用在Google的MapReduce框架实现中,作为原始数据和最终结果存储的基础服务。
唯识相链2·2023-08-20 11:49

HDFS纠删码设计

1.问题陈述当前HDFS每个块有3个副本是出于以下几个方面的考虑：1）预防DataNode的故障2）对MapReduce本地性任务提供更好的支持3）通过在多个副本间选择读取的块，避免DataNodes节点的过载副本是昂贵的
guangdong_18b7·2023-08-20 09:00

hive map数的控制

背景：最近执行一个selectcount(*)，发现mapreduce计算分片数很慢，且分片数的大小对不上确定hive默认开启map任务前进行合并小文件的设置：hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
安申·2023-08-20 06:09

Hadoop YARN的调度器

YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和作业调度框架，负责集群资源的分配、作业的调度和任务的执行，使得在大规模集群上可以高效地运行各种计算框架，如MapReduce
贾斯汀玛尔斯·2023-08-20 04:04

第一天：spark和Hadoop的比较和介绍

从截图中可以看到整个hadoop的架构，Spark只能替代Hadoop的一部分，也就是MapReduce，和Hive查询引擎，spark身是不提供大数据的存储的！
GhostintheCode·2023-08-20 03:00

Spark 为什么比 MapReduce 快100倍？

文章目录1.内存计算与磁盘刷写1.1MapReduce的Shuffle需要频繁IO1.2Spark计算走IO少2.进程和线程2.1基于进程的MapReduce2.2基于线程的Spark2.3基于进程VS
程序终结者·2023-08-20 02:43

大数据spark相关总结

spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。
有文化233·2023-08-19 23:46

大数据Hadoop：MapReduce编程规范与示例编写

大数据Hadoop：MapReduce编程规范与示例编写MapReduce是一种用于处理大数据集的编程模型和计算框架，已成为大数据处理的重要工具之一。
2301_78484069·2023-08-19 22:41

看一眼常见数据处理的产品

另外，Hadoop使用MapReduce处理数据，而Spark使用RDD（弹性分布式数据集），因此Spark在处理多次迭代的任务时比Hadoop更高效。
Walter Sun·2023-08-19 09:47
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他