Mapreduce

MapReduce执行流程和Shuffle过程

HadoopMapReduce作业执行流程整个HadoopMapReduce的作业执行流程如图1所示，共分为10步。
一粒米_394c·2023-11-21 18:41

大数据与Hadoop，Hadoop核心组件之MapReduce

大数据大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征合起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网和物联网等，数据的类型多样，有结构化数据，有非结构化数据，如视频，文档，音频，有的数据关联性不大，有的
Python大数据工程师·2023-11-21 18:14

生产环境的Hadoop版本比较

Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行制作而成。称为社区版Hadoop。
三名狂客·2023-11-21 15:49

Spark---介绍及安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于
30岁老阿姨·2023-11-21 13:26

四个分布式计算框架MapReduce/Tez/Spark/Storm异同

MapReduceSparkStormTez四个框架的异同离线计算框架，MapReduce是一种将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。
Hanson_Huang·2023-11-21 12:25

hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)

hadoop22机器配置历史服务器的配置文件：文件路径：/opt/module/hadoop-3.3.4/etc/hadoop文件名称：mapred-size.xml新增历史服务器配置，并修改为自己的地址mapreduce.framework.na
不努力就种地~·2023-11-21 11:43

千亿大数据处理能力是如何炼成的？

早在2003年，谷歌发表第一篇论文——谷歌文件系统（GFS）；第二年，谷歌再次发表一篇论文——分布式计算框架MapReduce；2006年，谷歌发表第三篇论文——NoSQL数据库系统BigTable。
@金州拉文·2023-11-21 07:48

MapReduce-WritableComparable排序 （From 尚硅谷）

个人学习整理，所有资料来自尚硅谷B站学习连接：添加链接描述MapReduce-WritableComparable排序1.WritableComparable排序1.1排序概述排序是MapReduce框架中最重要的操作之一
lavineeeen·2023-11-21 00:04

学习篇-Hadoop-MapReduce-流量统计

文章目录一、Hadoop-MapReduce-流量统计-需求分析二、Hadoop-MapReduce-流量统计-代码实现三、Hadoop-MapReduce-流量统计-Partitioner一、Hadoop-MapReduce
东东爱编码·2023-11-21 00:03

hadoop-MapReduce案例流量统计

MapReduce案例-流量统计需求一:统计求和统计每个手机号的上行数据包总和，下行数据包总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字段作为
Xiaoweidumpb·2023-11-21 00:02

MapReduce--Shuffle图解详解

Shuffle图解0、前言1、功能分区：`决定了Map输出的数据会被哪个Reduce进行处理`排序：`决定了Map输出的数据按照Key以什么样的方式进行排序`分组：`实现了对Key进行分组，属于同一组的Value会放入同一个迭代器中`2、过程图解准备Input：`TextInputFormatextendsFileInputFormatextendsInputFormat`Map：`自己定义Map
韩家小志·2023-11-21 00:02

MapReduce--实现手机流量分析

实现手机流量分析1、需求2、分析：逻辑：设计（1）==需求一==step1：`不论是写SQL还是写MR，一般都先把结果的格式先列出来`step2：`有没有分组或者排序：决定Map输出的Key是什么`step3：`Map输出的Value应该是什么？`step4：`验证`（2）==需求二==step1：`结果长什么样？`step2：`有没有分组或者排序？`step3：`Map输出的Value是什么？`
韩家小志·2023-11-21 00:02

MapReduce-流量统计求和-步骤分析

13631579850661372623050300-FD-07-A4-72-B8:CMCC120.196.100.82i02.c.aliimg.com游戏娱乐24272481246812001363157995052138265441015C-0E-8B-C7-F1-E0:CMCC120.197.40.4jd.com京东购物40264020013631579910761392643565620-
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-排序-Mapper和Reducer编写

定义FlowMapperpackagecn.learn.mapreduce_sort;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-分区代码实现

需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开135开头数据到一个分区文件136开头数据到一个分区文件137开头数据到一个分区文件其他分区自定义分区packagecn.learn.mapreduce_flowcount_partition
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-FlowBean和Mapper代码编写

下行总流量四个字段作为value值，然后以这个key，和value作为map阶段的输出，reduce阶段的输入Step1:自定义map的输出value对象FlowBeanpackagecn.learn.mapreduce_flowcount
Leon_Jinhai_Sun·2023-11-21 00:28

MapReduce-流量统计求和-排序-FlowBean编写

需求二:上行流量倒序排序（递减排序）分析，以需求一的输出数据作为排序的输入数据，自定义FlowBean,以FlowBean为map输出的key，以手机号作为Map输出的value，因为MapReduce
Leon_Jinhai_Sun·2023-11-21 00:28

mapreduce--流量统计

FlowBeanpackagecom.atguigu.mr.flow;importorg.apache.hadoop.io.Writable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;publicclassFlowBeanimplementsWritable{//流量privatelongu
芝士小熊饼干·2023-11-21 00:57

关于TEZ引擎的部分缺陷

官网首页也介绍了Tez的2个主要设计主题是：1.通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署2，执行性能与MapReduce相比性能提升最佳资源管理
辅猪之王·2023-11-20 23:50

hive-本地模式设置

前言当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。
马孔多居民·2023-11-20 20:57

Hive本地模式安装（详细）

Hive定义简单的类SQL查询语言（即HQL），可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，允许熟悉MapReduce的开发者开发mappe
i阿极(暂时无法回复版)·2023-11-20 20:48

如何应对大数据分析工程师面试Spark考察，看这一篇就够了

内存计算下，Spark比MapReduce快100倍。Spark使用
AI科技大本营·2023-11-20 18:22

2023.11.19 hadoop之MapReduce

目录1.简介2.分布式计算框架-MapReduce3.mapreduce的步骤4.MapReduce底层原理map阶段shuffle阶段reduce阶段1.简介Mapreduce是一个分布式运算程序的编程框架
白白的wj·2023-11-20 16:07

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFSAPI的RESTful风格–We
一瓢一瓢的饮 alanchan·2023-11-20 13:18

三十分钟学会Hive

Hadoop之上的数据分析工具（Hive没有存储数据的能力，只有使用数据的能力），底层由HDFS来提供数据存储，可以将结构化的数据文件映射为一张数据库表，并且提供类似SQL的查询功能，本质就是将HQL转化成MapReduce
地球魔·2023-11-20 12:11

大数据流处理框架：Spark Streaming与Storm

ApacheSpark流处理Spark框架的出现，是在HadoopMapReduce基础上继承研发而来，本质上来说，还是
成都加米谷大数据·2023-11-20 12:20

浅谈交互式查询⼯工具Impala(一)

HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询(Impala速度快)，Impala是参照⾕谷歌的新三篇论⽂文当中的Dremel实现⽽而来，其中旧三篇论⽂文分别是（BigTable，GFS，MapReduce
顾子豪·2023-11-20 11:14

大数据开发(19)-hash table详解

在MapReduce框架中，每个Map任务都是独立的，它们分别处理输入数据集的不同部分。每个Map任务都会创建一个哈希表，用于存储键值对（key-valuep
viperrrrrrr·2023-11-20 07:36

HDFS、MapReduce原理--学习笔记

（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
祈愿lucky·2023-11-20 06:33

YARN，ZOOKEERPER--学习笔记

1，YARN组件1.1YARN简介YARN表示分布式资源调度，简单地说，就是：以分布式技术完成资源的合理分配，让MapReduce能高效完成计算任务。
祈愿lucky·2023-11-20 06:19

大数据常见面试题及答案

6、Spark任务的执行流程7、Spark和MapReduce8、cache和persist的区别9、什么是宽窄依赖10、spark的shuffle
遐想者csdn·2023-11-20 01:18

linux上java解加密(AES CBC)异常

linux上java解加密(AES/CBC)异常：java.lang.SecurityException:JCEcannotauthenticatetheproviderBC办法用mapreduce做数据清洗的时候
杰哥的技术杂货铺·2023-11-19 20:22

4️⃣Hive

（Hive没有存储数据的能力，只有使用数据的能力）2.Hive本质将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn
WovJf·2023-11-19 17:39

Hadoop词频统计

这里写自定义目录标题前提制作JAR包启动Hadoop将wordfile1.txt上传到HDFS重新上传文件进行词频统计和注意事项HDFS常用命令前提1.安装了Linux系统，并且安装了Hadoop下的两个组件HDFS和Mapreduce
weixin_49670340·2023-11-19 16:29

Hadoop自带WordCount进行词频统计（mapreduce）

Hadoop自带WordCount进行词频统计准备：安装好的Hadoop需要统计词频txt文件（用jieba分过词的链接:pycharm分词jieba结巴分词输出txt.step1启动Hadoopcd/usr/local/hadoop./sbin/start-all.sh用jps命令查看是否开启成功准备好需要统计词频的txt文件（也可以用filezilla传入Ubuntu）链接:如何用filezi
摸仙小蓝是人机·2023-11-19 16:57

在Hadoop中进行简单的词频统计

importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper
CB_creayblack·2023-11-19 16:20

Hadoop调用MapReduce进行词频统计

Hadoop调用MapReduce进行词频统计博客目录一.案例1.实验目的2.分析步骤二.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu
MidnightFancy·2023-11-19 16:17

sqoop hdfs入mysql_sqoop将hdfs下的数据导入到mysql如何去重？

movie–usernameroot–passwordwelcome1–tablemovieRecommend–fields-terminated-by‘,’–export-dir/recommendoutrecommendout是我mapreduce
唉唉唉哒·2023-11-19 14:05

Hive 调优指南

1.内存和资源配置1.1调整内存分配为了提高查询性能，可以调整MapReduce任务的内存分配。
小泽长不胖·2023-11-19 13:41

数仓开发面试题之Hadoop相关

提纲MapReduce原理，map数、reduce数的参数说一下mapjoin与reducejoinhivesql怎么优spark和hive的区别数据倾斜几种解决方式数据如何清洗说一下udf、udtf、
话数Science·2023-11-19 13:39

2023.11.17-hive调优的常见方式

分区裁剪,map端聚合,count(distinct),笛卡尔积)6.1列裁剪:6.2分区裁剪:6.3map端聚合(groupby):6.4count(distinct):6.5笛卡尔积:7.动态分区8.MapReduce
白白的wj·2023-11-19 12:59

05-Hadoop01之HDFS

一、Hadoop介绍Hadoop分为三部分：Common、HDFS、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、
YuPangZa·2023-11-19 10:54

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

Hadoop的设计核心思想来源于GoogleMapReduce论文，灵感来自于函数式语言中的map和reduce方法。
NebulaGraph·2023-11-19 09:22

2023.11.18 Hadoop之 YARN

支持多个数据处理框架（MapReduceSparkStorm等）。具有资源利用率高、运行成本底、数据共享等特点资源调度管理的作用MapReduce是基于yarn运行的,没有y
白白的wj·2023-11-19 08:41

MapReduce(三)：核心框架原理

InputFormat数据输入切片与MapTask并行度决定机制1）问题引出MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？那些因素影响了MapTask并行度？2）MapTask并行度决定机制数
codeMover·2023-11-19 05:40

Hadoop学习笔记——入门基础

高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点高效性：在MapReduced的思想下，Hadoop是并行工作的，以加快任务处理速度。高容错性：能够自动将失败的任务重新分配。
枫落@·2023-11-19 00:40

【学习笔记】大数据技术之Hadoop（入门）

1.2Hadoop发展历史1.3Hadoop的三大发行版本1.4Hadoop优势（4高）1.5Hadoop组成，1.x2.x3.x区别（重点）1.5.1HDFS架构概述1.5.2YARN架构概述1.5.3MapReduce
在学习的王哈哈·2023-11-18 23:38

Spark学习——1.代表性大数据技术

1.代表性的大数据技术HadoopSparkFlinkBeam主要计算模式如图1-11.1HadoopHadoop的生态系统图如图1-2开源谷歌GFS，利用MapReduce分布式并行编程，MapReduce
楓尘林间·2023-11-18 23:37

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理
小美元·2023-11-18 20:06

算法之分治算法

分治思想在海量数据处理中的应用总结：参考资料：前言：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
遇见更好的自己、·2023-11-17 09:22
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他