【MapReduce】

2019-06-16

准备写一个大数据HadoopMapreduce教程：如何在不会JAVA语言的情况下快速完成Hadoop的MapReduce大作业，纪念我这学期的生活。
Rosyyyy·2023-10-19 00:51

Hive

同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无
两只手·2023-10-18 20:23

MapReduce

MapReduce介绍在Hadoop中计算模型使用的是MapReduce。
spraysss·2023-10-18 17:18

Hive编程指南：调优

（1）使用explain在查询语句前加上explain，可以帮助看hive如何将查询转化成mapreduce任务：一个hive任务会包含有一个或多个stage(阶段)，不同的stage间会存在着依赖关系
luogps9·2023-10-18 16:41

大数据 | 实验一：大数据系统基本实验 | MapReduce 初级编程

文章目录实验目的实验平台实验内容编程实现文件的合并和去重编程实现对输入文件的排序对指定的表格进行信息挖掘实验目的1）通过实验掌握基本的MapReduce编程方法。
啦啦右一·2023-10-18 14:28

ubuntu16.04 spark连接hadoop配置

share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-service
WJXZ·2023-10-18 13:05

Spark核心概念（一）

1.什么是分布式计算分布式程序：Mapreduce，Spark程序1）多进程：一个程序由多个进程共同实现，不同进程可以运行在不同的机器上2）每个进程负责计算的数据是不一样的，都是整体数据的某一部分分布式资源
在上树的路上·2023-10-18 07:57

[ Spark ] Spark核心概念

Hadoop的MapReduce和Spark同为计算框架,使用时如何选择?
bone_ds·2023-10-18 07:25

MapReduce 运行环境

System.setProperty("HADOOP_USER_NAME","root");MR执行环境有两种：本地测试环境，服务器环境本地测试环境(windows)：在windows的hadoop目录bin目录有一个winutils.exe1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin3、修改hadoop的源码，
qimogao·2023-10-18 06:39

Hadoop3教程（二十）：MapReduce的工作机制总结

文章目录（109）MapTask工作机制（110）ReduceTask工作机制&并行度ReduceTask工作机制MapTask和ReduceTask的并行度决定机制（122）MapReduce开发总结参考文献
经年藏殊·2023-10-18 03:09

Hadoop3教程（二十一）：MapReduce中的压缩

文章目录（123）压缩概述在Map阶段启用在Reduce阶段启用（124）压缩案例实操如何在Map输出端启用压缩如何在Reduce端启用压缩参考文献（123）压缩概述压缩也是MR中比较重要的一环，其可以应用于Map阶段，比如说Map端输出的文件，也可以应用于Reduce阶段，如最终落地的文件。压缩的好处，是减少磁盘的IO以及存储空间。缺点也很明显，就是极大增加了CPU的开销（频繁计算带来的频繁压缩
经年藏殊·2023-10-18 03:09

Hadoop3教程（十八）：MapReduce之MapJoin案例分析

文章目录（118）MapJoin案例需求分析ReduceJoin的问题如何解决ReduceJoin的问题如何将一个文件主动缓存到集群的内存里（119）MapJoin案例代码实现参考文献（118）MapJoin案例需求分析ReduceJoin的问题在ReduceJoin中，合并的操作是在Reduce阶段进行的，所以相比Map阶段，Reduce阶段的处理压力过大。另外，相同的产品ID的数据会进入同一个
经年藏殊·2023-10-18 03:38

大数据之Hadoop(MapReduce)：数据清洗（ETL）

目录1.数据清洗（ETL）2.数据清洗案例实操2.1：需求2.2：需求分析2.3：实现代码1.数据清洗（ETL）在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据
浊酒南街·2023-10-18 03:08

hadoop之mapreduce教程+案例学习(三）之数据清洗案例

3.9数据清洗（ETL）目录3.9数据清洗（ETL）3.9.1数据清洗案例实操-简单解析版3.9.2数据清洗案例实操-复杂解析版3.10MapReduce开发总结在运行核心业务MapReduce程序之前
菜瓜技术联盟·2023-10-18 03:06

【Hadoop学习之MapReduce】_25MR之数据清洗案例（ETL）

数据清洗（ETL）：提取-转换-装载（Extract-Transform-Load）在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。
easy_sir·2023-10-18 03:05

121-124-Hadoop-MapReduce-etl：

121-Hadoop-MapReduce-etl-压缩-总结：ETL“ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform
镇魂Boby·2023-10-18 03:35

【大数据之Hadoop】十七、MapReduce之数据清洗ETL

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为决策提供分析依据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。1ETL体系结构ETL主要是用来实现异构数据源数据集成的。多种数据源的所有原始数据大部分未作修改就被载人ETL。无论数据源在关系型数据库、非关系型数据库，还是外部文件，集成后的数据都将被置于数据库的数据表
阿宁呀·2023-10-18 03:04

MapReduce之数据清洗(ETL)案例,倒排索引案例,ReduceTask 工作机制,Hadoop 数据压缩简介

一：简介在运行核心业务Mapreduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行mapper程序，不需要运行reduce程序。
爱上口袋的天空·2023-10-18 03:33

Hadoop3教程（十九）：MapReduce之ETL清洗案例

文章目录（121）ETL数据清洗案例参考文献（121）ETL数据清洗案例ETL，即Extract-Transform-Load的缩写，用来描述数据从源端，经过抽取（Extract）、转换（transform），最后加载（load）到目标端的处理过程。ETL主要应用于数据仓库，但不只是应用于数据仓库，毕竟这个更像是一类思想。在运行核心的MR程序之前，往往要对数据进行清理，清除掉不符合用户要求的数据，
经年藏殊·2023-10-18 03:01

Hadoop分布式计算框架-MapReduce

本文所有代码链接：https://download.csdn.net/download/shangjg03/884373131.MapReduce概述HadoopMapReduce是一个分布式计算框架，
shangjg3·2023-10-17 19:29

Apache Spark 的基本概念和在大数据分析中的应用

它是基于内存的计算框架，比传统的基于磁盘的HadoopMapReduce框架要快得多。
Roc-xb·2023-10-17 19:38

hadoop初探--性能分析２

MapReduce不是号称是云计算的基石么？性能怎会如此之差？经过分析，发现12G的这个“TestTable”表的数据在4个节点是如下分布的。
weixin_33674976·2023-10-17 15:51

2.3 初探Hadoop世界

处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统2、MapReduce
howard2005·2023-10-17 14:15

大数据开发复习（1）

大数据开发复习课程课程安排day01就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalasparkflinkday05etl
小码上线·2023-10-17 09:55

10. 大数据基础

这里的快一般是指相对mapreduce快，所以这里的为什么主要是和mapreduce进行对比。
_诉说·2023-10-17 07:02

Flink内存管理

Flink内存管理1.简介自从2003-2006年，Google发表了三篇著名的大数据相关论文（GoogleFS，MapReduce，BigTable）后，内存问题一直困扰大数据工程师们。
寇寇寇先森·2023-10-17 04:03

Hadoop3教程（十六）：MapReduce中的OutputFormat

文章目录（105）OutputFormat概述（106）自定义OutputFormat案例需求分析（107/108）自定义OutputFormat案例实现自定义Mapper自定义Reducer自定义OutputFormatDriver参考文献（105）OutputFormat概述我们之前讲过了Map阶段的InputFormat，对应的，Reduce阶段也有自己的OutputFormat。Reduc
经年藏殊·2023-10-17 03:51

Hadoop3教程（十七）：MapReduce之ReduceJoin案例分析

文章目录（113）ReduceJoin案例需求分析（114）ReduceJoin案例代码实操-TableBean（115）ReduceJoin案例代码实操-TableMapper（116）ReduceJoin案例代码实操-Reducer及Driver参考文献（113）ReduceJoin案例需求分析现在有两个文件：orders.txt，存放的是订单ID、产品ID、产品数量pd.txt，这是一个产品
经年藏殊·2023-10-17 03:51

Hadoop3教程（十四）：MapReduce中的排序

文章目录（99）WritableComparable排序什么是排序什么时候需要排序排序有哪些分类如何实现自定义排序（100）全排序案例案例需求思路分析实际代码（101）二次排序案例（102）区内排序案例参考文献（99）WritableComparable排序什么是排序排序是MR中最重要的操作之一，也是面试中可能被问到的重点。MapTask和ReduceTask中都会对数据按照KEY来排序，主要是为
经年藏殊·2023-10-17 03:50

Hadoop3教程（十五）：MapReduce中的Combiner

文章目录（103）Combiner概述什么是CombinerCombiner有什么用处Combiner有什么特点如何自定义Combiner（104）Combiner合并案例实操如何从日志里查看Combiner如果不存在Reduce阶段，会发生什么自定义Combiner的两种方式参考文献（103）Combiner概述什么是CombinerCombiner（即合并）是MR里shuffle的一项可选流程
经年藏殊·2023-10-17 03:45

Mapreduce运行异常Container exited with a non-zero exit code 1

文章目录Hadoop版本3.3.1问题描述解决方案Hadoop版本3.3.1问题描述用idea编写mapreduce读写hbase，并打包jar放到集群服务器上运行时出现下面错误：解决方案hadoopclasspath
寅月十八·2023-10-16 07:50

【大数据】 Hive安装 【学习笔记】

8、Hive-介绍Hive-介绍-Hive教程|编程字典(codingdict.com)8.1Hive-介绍Hive：它是一个用来开发SQL类型脚本来执行MapReduce操作的平台。
一个平凡de人·2023-10-16 06:31

Hive-SQL学习笔记

在Hive中，本质上是将SQL转换成为MapReduce程序。Hive的基本操作与传统的数据库
Sais_Z·2023-10-16 06:00

大数据--hive学习笔记

特性使用HDFS作为数据存储通过MapReduce完成数据运算提供类似SQL的语言（HQL）HQL灵活的可扩展性（UDF、UDAF、UDTF）适合进行离线
TaroLee·2023-10-16 06:29

Hadoop未来展望

本文分为技术篇、产业篇、应用篇、展望篇四部分技术篇2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。
贾诩是也·2023-10-16 06:19

Hadoop3教程（十三）：MapReduce中的分区

文章目录（96）默认HashPartitioner分区（97）自定义分区案例（98）分区数与Reduce个数的总结参考文献（96）默认HashPartitioner分区分区，是Shuffle里核心的一环，不同分区的数据最终会被送进不同的ReduceTask去处理。之前的几个小节里也都讲过分区。Hadoop里默认的分区方式是HashPartitioner分区，核心代码：publicclassHash
经年藏殊·2023-10-16 06:34

Hadoop3教程（十）：MapReduce中的InputFormat

文章目录（87）切片机制与MapTask并行度决定机制（90）切片源码总结（91）FileInputFormat切片机制（92）TextInputFormat及其他实现类一览（93）CombineTextInputFormat切片机制原理案例讲解参考文献（87）切片机制与MapTask并行度决定机制什么是MapTask的并行度？即在一个MR程序里，需要并行开启多少个MapTask，来处理数据。并行
经年藏殊·2023-10-16 06:04

Hadoop3教程（十一）：MapReduce的详细工作流程

文章目录（94）MR工作流程Map阶段Reduce阶段参考文献（94）MR工作流程本小节将展示一下整个MapReduce的全工作流程。
经年藏殊·2023-10-16 06:04

Hadoop3教程（十二）：MapReduce中Shuffle机制的概述

文章目录（95）Shuffle机制什么是shuffle？Map阶段Reduce阶段参考文献（95）Shuffle机制面试的重点什么是shuffle？Map方法之后，Reduce方法之前的这段数据处理过程，就叫做shuffle，中文直译"洗牌"。参考上一小节的MR工作流程，整个shuffle的工作流程如下图，可以理解成shuffle横跨map和reduce阶段：Map阶段1）Map()处理之后的数据
经年藏殊·2023-10-16 06:01

hadoop组成

在hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源调度,耦合性较大;在hadoop2.x时代,新增了yarn,主要负责资源的调度,MapReduce仅负责运算;在hadoop3
jiedaodezhuti·2023-10-16 03:53

一种不同网络环境下HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.mapreduce.Export，该A
莫叫石榴姐·2023-10-15 20:06

记一次Hbase2.1.x历史数据数据迁移方案

的快照snapshot'vaas_dwm:DWM_TRIP_PART','dwm_trip_part_snapshot'3.统计待迁移表数据总数hbaseorg.apache.hadoop.hbase.mapreduce.RowCounter'vaas_dwm
日复一日伐树的熊哥·2023-10-15 20:32

Hive函数

在执行过程中Hive将SQL转换为MapReduce程序，在执行过程当中在执行我们的UDF函数。HiveUDF类型Hive中有3种UDF：UDF：操作
DancingBUG·2023-10-15 18:47

MapReduce Shuffle 和 Spark Shuffle

而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。
longLiveData·2023-10-15 13:55

大数据技术之Hadoop（第3章 MapReduce框架原理）

这里写目录标题3.8计数器应用3.9数据清洗（ETL）3.10数据清洗案例实操3.10.1简单解析版3.10.2复杂解析版3.11MapReduce开发总结第4章Hadoop数据压缩4.1概述4.2MR
西边的虫虫·2023-10-15 13:26

大数据框架之Hadoop：MapReduce（一）MapReduce概述

1.1MapReduce定义MapReduce是一个分布式计算框架，用于编写批处理应用程序，是用户开发“基于Hadoop的数据分析应用”的核心框架。
yiluohan0307·2023-10-15 13:26

Hadoop三大组件之MapReduce

文章目录1.概述2.编程思想3.执行原理4.优缺点1.概述MapReduce是Hadoop内提供的分布式计算的组件，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上
不忘初欣丶·2023-10-15 13:56

Hadoop框架之MapReduce(一) : MapReduce概述

MapReduce概述1.什么是MapReduce呢?
小菠萝的IT之旅·2023-10-15 13:25

大数据之Hadoop(MapReduce): MapReduce概述

目录1:MapReduce定义2:MapReduce优缺点优点缺点1:MapReduce定义MapReduce是一个分布式运算程序的编程框架，将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序
浊酒南街·2023-10-15 13:25

Hadoop：MapReduce总结

MapReduce1、架构MRAppMaster：负责整个成都的过程调度及状态协调；MapTask：负责map阶段的整个数据处理流程；ReduceTask：负责reduce阶段的整个数据处理流程；2、数据类型除了
YF_raaiiid·2023-10-15 13:24
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他