mapred

MapReduce-WritableComparable排序 （From 尚硅谷）

个人学习整理，所有资料来自尚硅谷B站学习连接：添加链接描述MapReduce-WritableComparable排序1.WritableComparable排序1.1排序概述排序是MapReduce框架中最重要的操作之一
lavineeeen·2023-11-21 00:04

学习篇-Hadoop-MapReduce-流量统计

文章目录一、Hadoop-MapReduce-流量统计-需求分析二、Hadoop-MapReduce-流量统计-代码实现三、Hadoop-MapReduce-流量统计-Partitioner一、Hadoop-MapReduce
东东爱编码·2023-11-21 00:03

hadoop-MapReduce案例流量统计

MapReduce案例-流量统计需求一:统计求和统计每个手机号的上行数据包总和，下行数据包总和，上行总流量之和，下行总流量之和分析：以手机号码作为key值，上行流量，下行流量，上行总流量，下行总流量四个字段作为
Xiaoweidumpb·2023-11-21 00:02

MapReduce--Shuffle图解详解

Shuffle图解0、前言1、功能分区：`决定了Map输出的数据会被哪个Reduce进行处理`排序：`决定了Map输出的数据按照Key以什么样的方式进行排序`分组：`实现了对Key进行分组，属于同一组的Value会放入同一个迭代器中`2、过程图解准备Input：`TextInputFormatextendsFileInputFormatextendsInputFormat`Map：`自己定义Map
韩家小志·2023-11-21 00:02

MapReduce--实现手机流量分析

实现手机流量分析1、需求2、分析：逻辑：设计（1）==需求一==step1：`不论是写SQL还是写MR，一般都先把结果的格式先列出来`step2：`有没有分组或者排序：决定Map输出的Key是什么`step3：`Map输出的Value应该是什么？`step4：`验证`（2）==需求二==step1：`结果长什么样？`step2：`有没有分组或者排序？`step3：`Map输出的Value是什么？`
韩家小志·2023-11-21 00:02

MapReduce-流量统计求和-步骤分析

13631579850661372623050300-FD-07-A4-72-B8:CMCC120.196.100.82i02.c.aliimg.com游戏娱乐24272481246812001363157995052138265441015C-0E-8B-C7-F1-E0:CMCC120.197.40.4jd.com京东购物40264020013631579910761392643565620-
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-排序-Mapper和Reducer编写

定义FlowMapperpackagecn.learn.mapreduce_sort;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-分区代码实现

需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开135开头数据到一个分区文件136开头数据到一个分区文件137开头数据到一个分区文件其他分区自定义分区packagecn.learn.mapreduce_flowcount_partition
Leon_Jinhai_Sun·2023-11-21 00:58

MapReduce-流量统计求和-FlowBean和Mapper代码编写

下行总流量四个字段作为value值，然后以这个key，和value作为map阶段的输出，reduce阶段的输入Step1:自定义map的输出value对象FlowBeanpackagecn.learn.mapreduce_flowcount
Leon_Jinhai_Sun·2023-11-21 00:28

MapReduce-流量统计求和-排序-FlowBean编写

需求二:上行流量倒序排序（递减排序）分析，以需求一的输出数据作为排序的输入数据，自定义FlowBean,以FlowBean为map输出的key，以手机号作为Map输出的value，因为MapReduce
Leon_Jinhai_Sun·2023-11-21 00:28

mapreduce--流量统计

FlowBeanpackagecom.atguigu.mr.flow;importorg.apache.hadoop.io.Writable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;publicclassFlowBeanimplementsWritable{//流量privatelongu
芝士小熊饼干·2023-11-21 00:57

关于TEZ引擎的部分缺陷

官网首页也介绍了Tez的2个主要设计主题是：1.通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署2，执行性能与MapReduce相比性能提升最佳资源管理
辅猪之王·2023-11-20 23:50

hive-本地模式设置

前言当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。
马孔多居民·2023-11-20 20:57

Hive本地模式安装（详细）

Hive定义简单的类SQL查询语言（即HQL），可以将结构化的数据文件映射为一张数据表，允许熟悉SQL的用户查询数据，允许熟悉MapReduce的开发者开发mappe
i阿极(暂时无法回复版)·2023-11-20 20:48

如何应对大数据分析工程师面试Spark考察，看这一篇就够了

内存计算下，Spark比MapReduce快100倍。Spark使用
AI科技大本营·2023-11-20 18:22

2023.11.19 hadoop之MapReduce

目录1.简介2.分布式计算框架-MapReduce3.mapreduce的步骤4.MapReduce底层原理map阶段shuffle阶段reduce阶段1.简介Mapreduce是一个分布式运算程序的编程框架
白白的wj·2023-11-20 16:07

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFSAPI的RESTful风格–We
一瓢一瓢的饮 alanchan·2023-11-20 13:18

三十分钟学会Hive

Hadoop之上的数据分析工具（Hive没有存储数据的能力，只有使用数据的能力），底层由HDFS来提供数据存储，可以将结构化的数据文件映射为一张数据库表，并且提供类似SQL的查询功能，本质就是将HQL转化成MapReduce
地球魔·2023-11-20 12:11

大数据流处理框架：Spark Streaming与Storm

ApacheSpark流处理Spark框架的出现，是在HadoopMapReduce基础上继承研发而来，本质上来说，还是
成都加米谷大数据·2023-11-20 12:20

浅谈交互式查询⼯工具Impala(一)

HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询(Impala速度快)，Impala是参照⾕谷歌的新三篇论⽂文当中的Dremel实现⽽而来，其中旧三篇论⽂文分别是（BigTable，GFS，MapReduce
顾子豪·2023-11-20 11:14

大数据开发(19)-hash table详解

在MapReduce框架中，每个Map任务都是独立的，它们分别处理输入数据集的不同部分。每个Map任务都会创建一个哈希表，用于存储键值对（key-valuep
viperrrrrrr·2023-11-20 07:36

HDFS、MapReduce原理--学习笔记

（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
祈愿lucky·2023-11-20 06:33

YARN，ZOOKEERPER--学习笔记

1，YARN组件1.1YARN简介YARN表示分布式资源调度，简单地说，就是：以分布式技术完成资源的合理分配，让MapReduce能高效完成计算任务。
祈愿lucky·2023-11-20 06:19

大数据常见面试题及答案

6、Spark任务的执行流程7、Spark和MapReduce8、cache和persist的区别9、什么是宽窄依赖10、spark的shuffle
遐想者csdn·2023-11-20 01:18

linux上java解加密(AES CBC)异常

linux上java解加密(AES/CBC)异常：java.lang.SecurityException:JCEcannotauthenticatetheproviderBC办法用mapreduce做数据清洗的时候
杰哥的技术杂货铺·2023-11-19 20:22

4️⃣Hive

（Hive没有存储数据的能力，只有使用数据的能力）2.Hive本质将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn
WovJf·2023-11-19 17:39

Hadoop词频统计

这里写自定义目录标题前提制作JAR包启动Hadoop将wordfile1.txt上传到HDFS重新上传文件进行词频统计和注意事项HDFS常用命令前提1.安装了Linux系统，并且安装了Hadoop下的两个组件HDFS和Mapreduce
weixin_49670340·2023-11-19 16:29

Hadoop自带WordCount进行词频统计（mapreduce）

Hadoop自带WordCount进行词频统计准备：安装好的Hadoop需要统计词频txt文件（用jieba分过词的链接:pycharm分词jieba结巴分词输出txt.step1启动Hadoopcd/usr/local/hadoop./sbin/start-all.sh用jps命令查看是否开启成功准备好需要统计词频的txt文件（也可以用filezilla传入Ubuntu）链接:如何用filezi
摸仙小蓝是人机·2023-11-19 16:57

在Hadoop中进行简单的词频统计

importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Mapper
CB_creayblack·2023-11-19 16:20

Hadoop调用MapReduce进行词频统计

Hadoop调用MapReduce进行词频统计博客目录一.案例1.实验目的2.分析步骤二.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu
MidnightFancy·2023-11-19 16:17

sqoop hdfs入mysql_sqoop将hdfs下的数据导入到mysql如何去重？

movie–usernameroot–passwordwelcome1–tablemovieRecommend–fields-terminated-by‘,’–export-dir/recommendoutrecommendout是我mapreduce
唉唉唉哒·2023-11-19 14:05

3.Apache Hive 查询报错 FAILED: org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

CDH6.2.0Hive2.1.1-cdh6.2.0一、问题执行查询视图的sql报错:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
终回首·2023-11-19 14:18

Hive 调优指南

1.内存和资源配置1.1调整内存分配为了提高查询性能，可以调整MapReduce任务的内存分配。
小泽长不胖·2023-11-19 13:41

数仓开发面试题之Hadoop相关

提纲MapReduce原理，map数、reduce数的参数说一下mapjoin与reducejoinhivesql怎么优spark和hive的区别数据倾斜几种解决方式数据如何清洗说一下udf、udtf、
话数Science·2023-11-19 13:39

2023.11.17-hive调优的常见方式

分区裁剪,map端聚合,count(distinct),笛卡尔积)6.1列裁剪:6.2分区裁剪:6.3map端聚合(groupby):6.4count(distinct):6.5笛卡尔积:7.动态分区8.MapReduce
白白的wj·2023-11-19 12:59

05-Hadoop01之HDFS

一、Hadoop介绍Hadoop分为三部分：Common、HDFS、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、
YuPangZa·2023-11-19 10:54

大数据基础设施搭建 - Hadoop

输入文本信息5.2.2执行程序5.2.3查看结果六、分发压缩包到集群中其他机器6.1分发压缩包6.2解压压缩包6.3配置环境变量七、配置集群7.1核心配置文件7.2HDFS配置文件7.3YARN配置文件7.4MapReduc
m0_46218511·2023-11-19 10:33

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

Hadoop的设计核心思想来源于GoogleMapReduce论文，灵感来自于函数式语言中的map和reduce方法。
NebulaGraph·2023-11-19 09:22

2023.11.18 Hadoop之 YARN

支持多个数据处理框架（MapReduceSparkStorm等）。具有资源利用率高、运行成本底、数据共享等特点资源调度管理的作用MapReduce是基于yarn运行的,没有y
白白的wj·2023-11-19 08:41

MapReduce(三)：核心框架原理

InputFormat数据输入切片与MapTask并行度决定机制1）问题引出MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？那些因素影响了MapTask并行度？2）MapTask并行度决定机制数
codeMover·2023-11-19 05:40

Hadoop学习笔记——入门基础

高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点高效性：在MapReduced的思想下，Hadoop是并行工作的，以加快任务处理速度。高容错性：能够自动将失败的任务重新分配。
枫落@·2023-11-19 00:40

【学习笔记】大数据技术之Hadoop（入门）

1.2Hadoop发展历史1.3Hadoop的三大发行版本1.4Hadoop优势（4高）1.5Hadoop组成，1.x2.x3.x区别（重点）1.5.1HDFS架构概述1.5.2YARN架构概述1.5.3MapReduce
在学习的王哈哈·2023-11-18 23:38

Spark学习——1.代表性大数据技术

1.代表性的大数据技术HadoopSparkFlinkBeam主要计算模式如图1-11.1HadoopHadoop的生态系统图如图1-2开源谷歌GFS，利用MapReduce分布式并行编程，MapReduce
楓尘林间·2023-11-18 23:37

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理
小美元·2023-11-18 20:06

算法之分治算法

分治思想在海量数据处理中的应用总结：参考资料：前言：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
遇见更好的自己、·2023-11-17 09:22

《Data-Intensive Text Processing with mapReduce》读书笔记之二：mapreduce编程、框架及运行...

搜狐视频的屌丝男士第二季大结局了，惊现波多野老师，怀揣着无比鸡冻的心情啊，可惜随着剧情的推进发展，并没有出现期待中的屌丝奇遇，大鹏还是没敢冲破尺度的界线。想百度些种子吧，又不想让电脑留下污点证据，要知道大洋彼岸有个棱镜计划，只好作罢。不如看看书吧，书中自有颜如玉。开始本次读书笔记前，先扯两个哲学观点，提高下境界。第一个就是《Data-IntensiveTextProcessingwithmapRe
weixin_30624825·2023-11-17 09:51

海量数据处理－－从分而治之到Mapreduce

海量数据处理常用技术概述如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面临的问题。所谓海量数据处理，是指基于海量数据的存储、处理和操作等。因为数据量太大无法在短时间迅速解决，或者不能一次性读入内存中。在解决海量数据的问题的时候，我们需要什么样的策略和技术，是每一个人都会关心的问题。今天我们就梳理一下在解决大数据问题的时候需要使用的技术，
xiaoranone·2023-11-17 09:21

38.分治算法：谈一谈大规模计算框架MapReduce中的分治思想

文章目录1.如何理解分治算法？2.分治算法应用举例分析2.1暴力法2.2借助归并排序3.分治思想在海量数据处理中的应用1.如何理解分治算法？分治算法（divideandconquer）的核心思想:分而治之，将原问题划分成n个规模较小，并且结构与原问题相似的子问题，递归地解决这些子问题，然后再合并其结果，就得到原问题的解。与递归区别：分治算法是一种处理问题的思想，递归是一种编程技巧。分治算法的递归实
tobebetter9527·2023-11-17 09:49

算法学习笔记23：分治算法

目录分治算法：谈一谈大规模计算框架MapReduce中的分治思想如何理解分治算法分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结分治算法：谈一谈大规模计算框架MapReduce中的分治思想
_无感·2023-11-17 09:47

分治算法：谈一谈大规模计算框架MapReduce中的分治思想

------本文是学习算法的笔记，《数据结构与算法之美》，极客时间的课程------MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable。
every__day·2023-11-17 09:46
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他