【MapReduce】

【Hadoop-CosDistcp】通过CosDistcp的方式迁移Cos中的数据至HDFS

使用环境3）下载与安装4）原理说明5）参数说明6）使用示例7）迁移Cos中的数据至HDFS及数据校验7.1.数据迁移7.2.数据校验7.3.数据补充7.4.总结1）功能说明COSDistCp是一款基于MapReduce
bmyyyyyy·2023-04-21 01:56

mapreduce基础: 手写wordcount案例

文章目录一、源代码二、运行截图一、源代码WordCountMapper类packageorg.example.wordcount;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.
三月枫火·2023-04-21 00:53

Sqoop运行报错NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat

Sqoop安装好之后运行报错NoClassDefFoundError:org/apache/hadoop/mapreduce/InputFormat如下：21/01/2708:25:49INFOorm.CompilationManager
天河~·2023-04-20 20:57

MapReduce-API(3)好友推荐FOF

是简单的好友列表的差集吗？最应该推荐的好友TopN，如何排名？思路：推荐者与被推荐者一定有一个或多个相同的好友全局去寻找好友列表中两两关系去除直接好友统计两两关系出现次数API：map：按好友列表输出两俩关系reduce：sum两两关系再设计一个MR生成详细报表熟悉API会分析数据好友数据tomhellohadoopcatworldhadoophellohivecattomhivemrhivehe
geekAppke·2023-04-20 18:53

一文看懂阿里、京东、滴滴大数据架构变迁

上一篇：39岁阿里P9失业了，总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，
互联网架构·2023-04-20 14:39

简单聊下HBase

Google发表了三篇论文，即GFS、MapReduce和BigTable，被誉为“三驾马车”，开启了大数据时代。
·2023-04-20 13:22

简单聊下HBase

Google发表了三篇论文，即GFS、MapReduce和BigTable，被誉为“三驾马车”，开启了大数据时代。
满载星辉·2023-04-20 12:26

Hadoop企业优化

6.1MapReduce跑的慢的原因Mapreduce程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map
码农GG·2023-04-20 11:09

探讨Hive是否转为MapReduce程序

目录前提条件数据准备探讨HQL是否转为MapReduce程序执行1.设置hive.fetch.task.conversion=none2.设置hive.fetch.task.conversion=minimal3
Hadoop_Liang·2023-04-20 09:11

默认配置文件 mapred-default.xml

mapreduce.job.hdfs-servers${fs.defaultFS}mapreduce.job.committer.setup.cleanup.neededtruetrue,ifjobneedsjob-setupandjob-cleanup.false
cpuCode·2023-04-20 08:32

Ubuntu18.04下配置hadoop完全分布式集群

配置静态ip1.1.3更改主机映射1.1.4配置ssh1.2安装jdk和hadoop并配置环境变量2配置集群信息2.1修改core-site.xml2.2HDFS的配置文件：2.3配置YARN文件2.4配置MapReduce
023的小陈·2023-04-20 01:31

【大数据之Hadoop】十五、MapReduce之输出数据OutputFormat

OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。默认输出格式TextOutputFormat。
阿宁呀·2023-04-19 23:32

【大数据之Hadoop】十六、MapReduce之Join

1ReduceJoinMap端：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。Reduce端：在每一个分组当中将那些来源于不同文件的记录（在Map阶段已经打标志）分开，最后进行合并。需求：通过将关联条件作为Map输出的key，将两表满足Join条件的数据并携带数据所来源的文件信息，发往同一个Redu
阿宁呀·2023-04-19 23:30

spark 4种 shuffle机制与mapreduce shuffle机制对比

纵观整个mapreduce过程会发现存在许多的排序和文件合并操作。为什么要排序，主要原因有：1、key的存在combiner操作，排序之后相同的key放到一块显然方便做合并操作。
loukey_j·2023-04-19 23:21

大数据学习之Hadoop环境搭建

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。二、Hadoop组成1）H
栀子花_ef39·2023-04-19 20:28

Hash一致性算法蜻蜓点水般的实现

在分布式中，一个特性被使用到了MapReduce，实现相同key的聚集。应用到redis中，实现数据较平均的分配到redis集群的各个节点。这就是hash值的魅力。
bluedraam_pp·2023-04-19 20:12

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想

38|分治算法:谈一谈大规模计算框架MapReduce中的分治思想MapReduce是Google大数据处理的三驾⻢⻋之一，另外两个是GFS和Bigtable。
爱运动爱学习·2023-04-19 17:02

hive的查询注意事项以及优化总结

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。
达微·2023-04-19 16:41

MapReduce中的InputSplit

在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。Hadoop通过InputSplit映射Blocks，然后交由Mapper处理InputSplit分片例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址：http://stat-comput
liuzx32·2023-04-19 15:12

从Top N 问题窥探MapReduce分组前排序思想

#博学谷IT学习技术支持#关于TopN问题中的排序案例：现有美国2021-1-28号，各个县county的新冠疫情累计案例信息，包括确诊病例和死亡病例，数据格式如下所示：2021-01-28,JuneauCityandBorough,Alaska,02110,1108,32021-01-28,KenaiPeninsulaBorough,Alaska,02122,3866,182021-01-28,
hello_java_noob_go·2023-04-19 09:24

Hadoop学习day02

1.分布式文件系统HDFS1.HDFS的来源HDFS:HadoopDistributedFilesystem(hadoop分布式文件系统)HDFS起源于Google的GFS论文（GFS，Mapreduce
qq_39861620·2023-04-19 03:10

Day41_Hadoop之Yarn

（一）Yarn概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
dogedong·2023-04-19 03:40

Hadoop学习_day01_基础概念

HadoopHDFS分布式文件系统：解决海量数据存储HadoopMAPREDUCE分布式运算编程框架：解决海量数据计算HadoopYARN作业调度和集群资源管理框架：解决集群资源任务调度海量数据如何存储
mango660·2023-04-19 03:39

Day51 HDFS的概述及其操作

目录HDFS概述Java连接HDFS上传文件：下载文件：重命名文件：删除文件：查看文件信息：查看文件是否为目录Hadoop组件介绍HDFS架构：Yarn架构：MapReduce架构：HDFS的读写流程HDFS
Tian-Ys·2023-04-19 03:39

JAVA大数据(二) Hadoop 分布式文件系统HDFS 架构，MapReduce介绍，Yarn资源调度

文章目录1.分布式文件系统HDFS1.HDFS的来源2.HDFS的架构图之基础架构2.1master/slave架构2.2名字空间（NameSpace）2.3文件操作2.4副本机制2.5心跳机制2.6一次写入，多次读出3.NameNode与Datanode的总结概述3.1namenode元数据管理3.2Datanode数据存储4.文件副本机制以及block块存储5.元文件FSImage与edits
DayDayUp-Panda·2023-04-19 03:08

MapReduce实现自定义分区与排序

分区数据排序Hadoop中默认的numReduceTask数量为1，也就是说所有数据将来都会被输出为一个分区。如果想根据自定义的业务逻辑实现分区，则需要继承Partitioner类。@Public@StablepublicabstractclassPartitioner{publicPartitioner(){}publicabstractintgetPartition(KEYvar1,VALUE
DanceDonkey·2023-04-18 15:18

MapReduce原理

MapReduce编程规范MapReduce的开发一共有八个步骤,其中Map阶段分为2个步骤，Shuffle阶段4个步骤，Reduce阶段分为2个步骤Map阶段2个步骤设置InputFormat类,将数据切分为
新时代青年AKA旭爷只认钱·2023-04-18 14:18

Hive安装、配置和测试

Hive本质是：将HQL转化成MapReduce程序。Hive处理的数据存储在HDFS中，分析数据底层的实现可以是MapReduce、tes或者Spark，其执行程序运行在Yarn上。
Dcl_Snow·2023-04-18 13:44

2023年大数据面试开胃菜

RDD中reduceBykey与groupByKey哪个性能好，为什么reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce
风月歌·2023-04-18 11:12

工作流调度系统Azkaban

1、概述1.1、工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序java程序mapreduce程序hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划
悠然予夏·2023-04-18 10:58

浅析工作流调度器Azkaban

title:Azkaban系列第一章概述1.1为什么需要工作流调度器1、一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2、各任务单元之间存在时间先后及前后依赖关系
落叶飘雪2014·2023-04-18 10:55

MapReduce

MapReduce的shuffle（洗牌）机制shuffle过程的解释：两个Map并行进入环形缓冲区默认100M，一边写K,V结构的数据，一边写索引，这个索引目的是用来排序。
LSophia_·2023-04-18 07:18

[2023年2月24日] 关于MapReduce的过程拆解

资料来源https://www.bilibili.com/video/BV1CU4y1N7Sh/?p=46&spm_id_from=pageDriver&vd_source=5371985e16af6ce6b602fd4a4f3d8223
枪枪枪·2023-04-18 04:22

Big Data感想

接触这方面时间不长，深度理解MapReduce的时候确实有些费劲，提前理解各种框架确实有些头疼，感觉近半年来还是多少有些进展，多说无益，继续投身，争取我们团队能在9月后接到外包任务，同时对技术感兴趣的同学可以一起学习
翔战士·2023-04-17 21:15

【大数据之Hadoop】十三、MapReduce之WritableComparable排序

MapReduce框架必须进行排序，MapTask和ReduceTask都会对key按字典顺序排序，是默认的行为（默认使用快速排序），有利于提高效率。任何程序数据都会进行排序，不管逻辑是否需要。
阿宁呀·2023-04-17 20:24

【大数据之Hadoop】十二、MapReduce之Partition分区

Partition分区用于将结果按条件输出到不同文件或者分区中。（分区是在mapper后reduce前）默认分区用户不能通过默认分区控制key存储到哪个分区。自定义分区步骤：（1）自定义类继承Partitioner，重写getPartition()方法。publicclassCustomPartitionerextendsPartitioner{@OverridepublicintgetParti
阿宁呀·2023-04-17 20:54

【大数据之Hadoop】十四、MapReduce之Combiner合并

Combiner是Mapper和Reducer之间的组件，其组件的父类是Reducer。Combiner和Reducer的区别：Combiner是运行在每一个MapTask所在的节点，即对每一个MapTask的输出进行局部汇总，减少网络传输量。Reducer则是接收全局是Mapper的输出结果。Combiner应用前提是不能影响最终的业务逻辑，且Combiner的输出kv对应Reducer输入kv
阿宁呀·2023-04-17 20:51

一篇文章让你理解 大数据所需要的组件

hadoop中有3个核心组件分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台：YARN——帮用户调度大量的
aaaak_·2023-04-17 16:27

MapReduce数据倾斜产生的原因及其解决方案

1、数据倾斜现象数据倾斜就是数据的key的分化严重不均，造成一部分数据很多，一部分数据很少的局面。数据频率倾斜——某一个区域的数据量要远远大于其他区域。数据大小倾斜——部分记录的大小远远大于平均值。2、数据倾斜产生的原因（1）Hadoop框架的特性Job数多的作业运行效率会相对比较低；countdistinct、groupby、join等操作，触发了shuffle动作，导致全部相同key的值聚集在
我是渣渣华·2023-04-17 14:38

ODPS MapReduce入门

MapReduce原理简介以MapReduce中最经典的wordcount应用为例，来分析一下MapReduce的全过程。这里我们要统计文件中每个单词出现的次数。
大号小白兔·2023-04-17 08:12

hive-参数调优

sethive.vectorized.execution.enabled=false;setmapreduce.map.speculative=false;setmapreduce.reduce.speculative
行走荷尔蒙·2023-04-17 06:07

Hadoop之MapReduce And Yarn

第1章MapReduce概述1.1MapReduce定义image.png1.2MapReduce优缺点image.pngimage.pngimage.png1.3MapReduce核心思想image.png1
白纸糊·2023-04-17 00:16

《从0到1学习spark》-- RDD

Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性处理。
小强的进阶之路·2023-04-16 23:20

解决 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z

解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z本地运行mapreduce出现如下报错的原因是因为
李昊哲小课·2023-04-16 22:37

Hadoop 开启 histotryserver

Hadoop开启histotryserverHadoop自带了一个历史服务，可以通过历史服务在web端查看已经运行完的Mapreduce作业记录，默认情况下，Hadoop历史服务是没有启动的，需要自行启动
李昊哲小课·2023-04-16 22:58

HDSF 简介

的设计特点是二、什么零拷贝2.1传统情况：2.2零拷贝技术：三、什么是DMA四、HDFS的关键元素五、HDFS运行原理六、HDFS数据合并原理七、HDFS写的原理八、HDFS读的原理九、分块存储十、安全模式十一、MapReduce
冷艳无情的小妈·2023-04-16 20:26

【大数据之Hadoop】十一、MapReduce之Shuffle、MapTask、ReduceTask工作机制

1Shuffle机制对于排序而言分为两个阶段，MapTask后和ReduceTask前。2MapTask工作机制MapTask并行度由切片个数决定；切片个数由切片大小（切片大小取决于块大小、maxsize（Long的最大值）和minsize（默认为1））以及数据读取方式决定。（1）Read阶段：job的提交流程：待读写的源数据由客户端进行切片划分，划分完成之后提交(切片信息、jar包、xml配置文
阿宁呀·2023-04-16 20:53

大数据 | HBase基本工作原理

前文回顾：MapReduce基本原理目录HBase基本介绍HBase的设计目标和功能特点HBase在Hadoop中的生态环境HBase的数据模型逻辑数据模型物理存储格式HBase基本构架HBase数据存储管理方法
啦啦右一·2023-04-16 20:23

ES、MongoDB、HBase的区别和使用场景

ES、MongoDB、HBase的区别和使用场景技术优点缺点使用场景选型ES支持全文搜索可以自动建立索引复杂查询性能高字段类型无法修改不支持mapReduce写入性能较低、硬件资源消耗高没有细致的权限管理各节点数据的一致性问题日志分析
码农小石头·2023-04-16 19:45

用hadoop计算pi

/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jarpi1010000[hadoop@Masterhadoop]$hadoopjar.
mulinhu·2023-04-16 18:42
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他