【MapReduce】

大数据的基石Hadoop生态圈——核心组成及解释

大数据的基石Hadoop生态圈——核心组成1、数据收集层：Flume、Sqoop、ython2、数据存储层：HDFS3、数据处理层：Hive、Spark、MapReduce、Storm4、数据缓冲层：Kafka
程崇越·2023-06-08 19:54

大数据基石——Hadoop与MapReduce

本文始发于个人公众号：TechFlow近两年AI成了最火热领域的代名词，各大高校纷纷推出了人工智能专业。但其实，人工智能也好，还是前两年的深度学习或者是机器学习也罢，都离不开底层的数据支持。对于动辄数以TB记级别的数据，显然常规的数据库是满足不了要求的。今天，我们就来看看大数据时代的幕后英雄——Hadoop。Hadoop这个关键词其实有两重含义，最早它其实指的就是单纯的分布式计算系统。但是随着时代
TechFlow·2023-06-08 19:47

【大数据之路4】分布式计算模型 MapReduce

4.分布式计算模型MapReduce1.MapReduce概述1.概念2.程序演示1.计算WordCount2.计算圆周率π3.核心架构组件4.编程流程与规范1.编程流程2.编程规范3.程序主要配置参数
程序员胖五·2023-06-08 19:45

【MapReduce源码分析】

MapReduce源码分析Client任务提交源码分析MapTask源码分析ReduceTask源码分析Client任务提交源码分析客户端通过hadoopjar的命令形式来提交这个jar运行hadoopjarexamples.jarWordCount
Al leng·2023-06-08 18:44

Presto从入门到精通以及案例实操系列

在传统的Hadoop生态圈中，MapReduce作为数据处理框架，虽然能够处理海量数据，但是其查询性能却比较低下，尤其是对于需要进行交互式查询（如数据探索、数据挖掘等）的应用场景，更是不够灵活。
后端技术那点事·2023-06-08 18:38

MapReduce详解

Mapper/***KEYIN:表示mapper数据输入时候KEY的数据类型，在默认的读取数据组件下，叫InputFormat,它的行为是一行一行的读取待处理的数据*读取一行，返回一行给我们的MR程序。这种情况下，KEYIN就表示每一行的起始偏移量，因此数据类型为Long**VALUEIN:表示mapper数据输入时候VALUE的数据类型，在默认的读取数据组件下，valuein就表示读取的这一行内
蒟蒻的工具人·2023-06-08 16:37

MapReduce实现KNN算法分类推测鸢尾花种类

文章目录代码地址一、KNN算法简介二、KNN算法示例：推测鸢尾花种类三、MapReduce+Hadoop实现KNN鸢尾花分类：1.实现环境2.pom.xml3.设计思路及代码1.KNN_Driver类2
宇航员写代码·2023-06-08 16:55

JUC详解-14-ForkJoin详解

大数据：MapReduce，把大任务拆分为小任务ForkJoin特点：工作窃取这个里面维护的都是双端队列ForkJoin操作//求和计算的任务importjava.util.concurrent.RecursiveTask
西西ANO·2023-06-08 12:43

13、JUC：ForkJoin

大数据：MapReduce（把大任务拆分成小任务）13.2、ForkJoin特点工作窃取这个里面维护的都是双端队列现有两个线程A、B，此时B线程已经执行完了，A还没有执行完，这时B就会将A里面的
很皮的皮蛋瘦肉粥·2023-06-08 12:43

JUC之ForkJoin框架

在google的中的大数据处理框架mapreduce就通过类似ForkJoin的思想,通过多线程提高大数据的处理。使用ForkJoin框架,需要创建一个ForkJoin的任务。因为ForkJoin框架
aYuIsAyU·2023-06-08 12:42

JUC - 多线程之ForkJoin；异步调用CompletableFuture（六）

Java7提供的一个用于并行执行任务的框架，ForkJoin从字面上看Fork是分岔的意思，Join是结合的意思，核心思想就是把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果，其实现思想与MapReduce
MinggeQingchun·2023-06-08 12:40

【JUC基础】16. Fork Join

著名的MapReduce也是采取了分而治之的思想。。
有一只柴犬·2023-06-08 12:38

MapReduce介绍及执行过程

文章目录MapReduce介绍MapReduce特点MapReduce缺点及局限性MapReduce实例进程MapReduce阶段组成MapReduce执行流程Map阶段执行流程Reduce阶段执行过程
蜜桃上的小叮当·2023-06-08 11:28

招聘网站—MapReduce数据清洗

招聘网站—MapReduce数据清洗任务描述利用MapReduce数据清洗本关我们主要对爬取到的招聘数据进行清洗，清洗规则如下：判断数据长度是否为9并判断数据字段是否完整，如有不完整字段（字段值为空），
呵呵world·2023-06-08 10:43

大数据：分布式计算，MapReduce，hadoop的计算组件，hive是sql分布式计算框架，底层就是基于MapReduce的

大数据：分布式计算，MapReduce，hadoop的计算组件，hive是sql分布式计算框架，底层就是基于MapReduce的2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发
冰露可乐·2023-06-08 09:12

Hive on Spark环境搭建

MySQLSpark准备HiveonSpark配置HiveonSpark测试Sparkonyarn&sparkonhive配置Hive引擎简介Hive引擎包括：默认MR、tez、spark最底层的引擎就是MR（Mapreduce
蓝鲸123·2023-06-08 04:11

1.Hive系列之简介

1.Hive简介1.1Hive是什么Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL，以及用于将查询转换为MapReduce任务的引擎。
沈健_算法小生·2023-06-07 22:33

Hbase安装指南

HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce
小小哭包·2023-06-07 18:59

Hadoop 实战实例

Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。
小小哭包·2023-06-07 18:24

2020-04-09：对于PipeMapRed.waitOutputThreads(): subprocess failed with code X的报错的记录

最近在写mapreduce程序的时候会遇到了几次ipeMapRed.waitOutputThreads():subprocessfailedwithcodeX的报错，使用python写MapReduce
烂笔头2020·2023-06-07 16:29

基于MapReduce的京东20年口红数据的分析与实现

基于MapReduce的京东20年口红数据的分析与实现文章目录基于MapReduce的京东20年口红数据的分析与实现一、前言二、数据可视化1、安装Python和Flask框架2、创建Flask应用程序3
-北天-·2023-06-07 14:50

【hadoop基础知识】

Hadoop的应用场景主要包括以下几个方面：Hadoop的核心组件Hadoop由多个核心组件构成，主要包括以下几个：Hadoop的发展趋势2.Hadoop核心组件Hadoop分布式文件系统（HDFS）MapReduce
波波的私人笔记·2023-06-07 12:56

Hadoop 之 Yarn

1概述Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
「已注销」·2023-06-07 09:50

Hadoop-YARN介绍

可以把YARN理解为相当于一个分布式的操作系统平台，MapReduce等计算程序相当于运行在操作系统之上的应用程序，YARN为这些应用程序分配资源。资源管理系统：管理集
无敌的小周·2023-06-07 09:48

Hadoop yarn详解

第一代将资源调度交给mapreduce中的jobtracher。二、YARN架构yarn主要由ResourceManager，ApplicationsMaster，N
杨老七·2023-06-07 09:46

【Hadoop系列】（三）YARN的介绍及原理

YARN1，YARN概念YARN（YetAnotherResourceNegotiator）是自Hadoop2.0之后引入的一个新组件，统一负责集群的资源调度和管理，为MapReduce程序分配运算资源
林立可·2023-06-07 09:40

【Hadoop】二、Hadoop MapReduce与Hadoop YARN

文章目录二、HadoopMapReduce与HadoopYARN1、HadoopMapReduce1.1、理解MapReduce思想1.2、HadoopMapReduce设计构思1.3、HadoopMapReduce
陌上人如玉এ·2023-06-07 09:02

HDFS基础架构以及部署

HDFS基础架构以及部署一、HDFS基础简介什么是HDFSHDFS全称：HadoopDistributedFileSystem是Hadoop三大组件（HDFS,MapReduce,YARN）之一可在多台服务器上构建集群
衡权定量·2023-06-07 08:37

大数据套件初识

文章目录HadoophdfsMapReduceYarnHiveSparkSqoopSupersetSupersetHadoophdfs分布式文件存储系统namenode：作为master，负责整个系统的元数据的存储
blissnmx·2023-06-07 07:25

Hadoop的基本概念和架构

Hadoop的基本概念和架构学习路线hadoop的基本概念和架构hadoop的安装和配置（单机安装）（集群安装）hadoop的HDFS文件系统hadoop的MapReduce计算框架hadoop的YARN
陆卿之·2023-06-07 07:13

大数据处理领域的经典框架：MapReduce详解与应用【上进小菜猪大数据】

MapReduce是一个经典的大数据处理框架，可以帮助我们高效地处理庞大的数据集。本文将介绍MapReduce的基本原理和实现方法，并给出一个简单的示例。
上进小菜猪·2023-06-07 05:34

深入理解MapReduce：使用Java编写MapReduce程序【上进小菜猪】

MapReduce是一种用于处理大规模数据集的并行编程模型。由于其高效性和可扩展性，MapReduce已成为许多大型互联网公司处理大数据的首选方案。
上进小菜猪·2023-06-07 05:03

Spark

spark与Hadoop的区别尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop，Spark主要用于替代Hadoop中的MapReduce计算模
不久之·2023-06-07 04:52

Hive

本质是将SQL转换为MapReduce程序。主要用途：用来做离线数据分析，比直接用MapReduce开发效率更高。
不久之·2023-06-07 04:52

spark介绍

1spark介绍大数据处理的统一分析引擎统一：对任意类型的数据进行自定义计算结构化、半结构化、非结构化支持Python、Java、Scala、R、SQL等多种语言——》借鉴了MapReduce的分治思想
UQI-LIUWJ·2023-06-07 03:03

YARN【工作机制】

Yarn概念Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
让线程再跑一会·2023-06-07 02:58

MapReduce序列化【用户流量使用统计】

序列化的主要应用场景MapReduce实现序列化自定义bean对象实现Writable接口1.实现Writable接口2.无参构造3.重写序列化方法4.重写反序列化方法5.顺序一致6.重写toString7
让线程再跑一会·2023-06-07 02:28

尚硅谷大数据hadoop教程_mapReduce

p67课程介绍p68概述p69mapreduce核心思想p70wordcount源码序列化类型mapReduce三类进程p71编程规范用户编写的程序分成三个部分：Mapper、Reducer和Driver
莫等闲 白了少年头·2023-06-07 02:48

用AI学习HIVE

.HIVE是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言——HQL（HiveQueryLanguage），使得开发人员可以使用类SQL的语言来查询和分析大规模的数据集，而无需了解MapReduce
All996·2023-06-06 22:35

Kafka学习笔记

(2)Storm是在线流式计算分布式框架，Mapreduce/spark是离线流式计算分布式框架，离线实时性得不到保障，在线可以。(3)Kafka
学不下了·2023-06-06 22:56

Java编写Mapreduce程序过程浅析

目录Maven项目下所需依赖数据类型一、Mapper类二、Reducer类三、执行类程序执行结果一个Maprduce程序主要包括三部分：Mapper类、Reducer类、执行类。Maven项目下所需依赖org.apache.hadoophadoop-client3.3.0junitjunit4.12testorg.slf4jslf4j-api1.7.30junitjunit3.8.2junitju
·2023-06-06 21:52

HIVE基础

，而使用hive操作大数据其实就是写hivesql，hive是建立在hadoop基础上的数据仓库基础架构它提供一系列工具，进行ETL操作HiveSQL来操作hadoop数据HQL允许开发者开发自定义的mapreduce
February13·2023-04-21 21:48

大数据开发面试重点【2023届秋招总结】

ps：这里仅提供了部分大数据开发面试的相关内容1.MapReduce的原理map阶段：首先通过Inpu
三石大数据·2023-04-21 20:16

sqoop

sqoop底层原理是mapreduce，只不过没有聚合过程，故只有map任务sqoop数据导入(mysql->hdfs)功能：全表导入sqoopimport\/*''表示语句没有结束，换行*/–connectjdbc
February13·2023-04-21 19:19

Hive和HBase比较

Hive和HBase比较Hive：本质上是一个用于进行数据仓库管理的工具，在实际过程中经常用于对数据进行分析和清洗，提供了相对标准的SQL结构，底层会将SQL转化为MapReduce来执行，因此Hive
大风起曦云飞扬·2023-04-21 15:03

hadoop集群基础配置

hadoop1.0mapreduce+HDFShadoop2.0mapreduce+HDFS+YARN加入YARN使得hadoop更加包容，其他的组件也可以在hadoop生态系统中运行hadoop3.0HDFS
February13·2023-04-21 13:11

大数据各组件简述

hadoop分布式生态环境：hdfs分布式文件系统hive数据仓库工具，形成文件与表的映射，可以使用类sql语言操作数据库mapreduce分布式计算框架spark分布式计算框架，减少落盘，作为一个应用在
February13·2023-04-21 13:10

数据架构简析

简单了解大数据Hadoop最初指代的是分布式文件系统HDFS和Mapreduce计算框架，但是它一路高歌猛进，在此基础之上像搭积木一般快速发展成为一个庞大的生态（包括Yarn,Hive,HBase,Spark
熊猫姐姐90·2023-04-21 06:43

海量数据面试题分析策略及对应知识点Blog汇总+10道海量数据面试题解答（仅供参考）

文章一：MapReduce技术的初步了解与学习文章二：从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）文章三：海量数据处理之BloomFilter详解文章四：十道海量数据处理面试题与十个方法大总结文章五
zhongwen7710·2023-04-21 05:30

linux搭建hadoop集群及MapReduce使用

1Hadoop分布式存储介绍2搭建Hadoop集群本次实验将搭建一个含有三节点的hadoop集群。实验环境：宿主机操作系统:Windows10虚拟机软件：VMwareWorkstation虚拟机操作系统1：Ubuntu2004LTS虚拟机操作系统2：Ubuntu2004LTS虚拟机操作系统3：Ubuntu2004LTS2.1创建用户（节点）并配置节点间的免密认证在每个节点上分别进行如下操作：#创建
沐岩:)·2023-04-21 05:17
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他