hadoopmapreduce

大数据技术原理与应用 大作业--------微博精准营销案例设计与实现

微博精准营销案例设计与实现摘要Abstract目录1.概述2.相关技术介绍2.1Hadoop分布式系统2.1.1.Hadoop概述2.3MapReduce分布式计算2.3.1理解MapReduce思想2.3.2HadoopMapReduce
漫天 星辰·2022-12-04 10:52

国科大大数据系统与大规模数据分析课程第二次作业(Graph Coloring)

国科大大数据系统与大规模数据分析第二次作业(GraphColoring)一、Part1作业内容WordCount的变体，主要考察对HadoopMapReduce框架编程的熟练度，几乎无坑点。
程哥哥吖·2022-11-04 17:04

Hadoop系列——Hadoop练手、压测day2-2

Hadoop系列——Hadoop练手、压测day2-2Hadoop练手HadoopHDFS简单使用创建文件夹（目录）命令式UI界面上传文件命令式UI界面HadoopMapReduce简单使用测试计算圆周率词频统计
简明编程·2022-10-13 12:21

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/
@司马懿·2022-09-22 19:12

MapReduce概述及工作流程

mapreduce原语（独创）mapreduce工作流程（重点）MR作业提交流程（重点）YARNRM-HA搭建（熟练）运行自带的wordcount（了解）动手写wordcount（熟练）MapReduce原语hadoopMapReduce
30岁老阿姨·2022-09-21 13:31

Hbase介绍

利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理Hbase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存NoSQL
sanhongbo·2022-09-19 11:35

spark学习day（一）

spark的介绍spark框架是如何处理数据的HadoopMapReduce框架并行计算的思想、分而治之的思想scala集合高阶函数处理数据的思想将要分析的数据放到集合中去，然后调用集合的高阶函数处理数据
不再简简单单·2022-09-19 11:05

第9章 Spark—基于内存的大数据计算框架

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
这里是_uuu·2022-09-16 13:06

Apache Flink 简介

前言计算引擎大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
小波同学·2022-09-12 23:52

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

导语|大数据计算分为离线计算和实时计算，其中离线计算就是我们通常说的批计算，代表技术是HadoopMapReduce、Hive等；实时计算也被称作流计算，代表技术是Storm、SparkStreaming
架构师小秘圈·2022-09-08 10:56

01_大数据导论与Linux基础

贯穿分布式存储技术（HadoopHDFS）分布式计算技术（HadoopMapReduce）、分布式资源调度技术（HadoopYARN）以及数据仓库技术（Hive）。
饮马翰海·2022-08-24 18:36

CVE-2022-33891 Apache Spark 命令注入复现

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
wavesky111·2022-08-16 19:08

漏洞复现：Apache Spark 命令注入（CVE-2022-33891）

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
GreatBug333·2022-08-16 19:06

开源漏洞深度分析|CVE-2022-33891 Apache Spark 命令注入漏洞

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不
棱镜七彩·2022-08-16 19:34

【Hadoop】MapReduce 原理

HadoopMapReduce：基于YARN的系统，用于并行处理大型数据集。之前已经学习过YARN：Yarn
和风与影·2022-08-02 09:04

【Hadoop】HDFS 原理

HadoopMapReduce：基于YARN的系统，用于并行处理大型数据集。之前已经学习过YARN和MapR
和风与影·2022-08-02 09:30

数据湖：流计算处理框架Flink概述

系列专题：数据湖系列文章大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
YoungerChina·2022-08-02 09:29

spark输出rdd数据_使用Spark RDD进行快速数据处理

HadoopMapReduce很好地满足了用户的批处理需求，但由于渴望开发更灵活的大数据工具来进行实时处理，催生了大数据宝贝ApacheSpark。
雯雯呀·2022-07-20 18:26

Spark大数据分析与实战课后习题参考答案

项目一：一、选择题DCCDAD二、简答题1、HadoopMapReduce要求每个步骤间的数据序列化到磁盘，所以I/O成本很高，导致交互分析和迭代算法开销很大；Spark提供了内存计算，把中间结果放到内存中
高校知识店铺合集汇总·2022-07-14 15:44

【大数据开发笔记1】什么是Hadoop?

开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件-HadoopHDFS（分布式文件存储系统）：解决海量数据存储-HadoopYARN（集群资源管理和任务调度框架）：解决资源任务调度-HadoopMapReduce
Lubang_Future·2022-04-26 12:43

离线数据处理工具、准实时数据处理工具与实时数据处理工具

1、离线数据：hiveHive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveSQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上，Hadoop
烧卖攻城·2022-04-24 15:53

大数据Hadoop之——计算引擎Spark

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
大数据老司机·2022-04-17 09:26

Spark启动及提交流程内部核心原理剖析

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，并且拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写
·2022-03-23 12:18

Spark 环境下 Scala 和 Python 两种语言的对比！

而ApacheSpark作为类HadoopMapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人员的青睐。
Python资深程序员·2022-02-07 13:55

day 49 hbase 安装

Iknow,iknow地球另一端有你陪我一、HBaseHBase–HadoopDatabase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统利用HadoopMapReduce
韭菜盒子123·2021-11-30 19:26

Hadoop (MapReduce) 之旅

HadoopMapReduce之旅MapReduce概述定义优缺点优点缺点MapReduce核心思想MapReduce进程WordCount源码常用数据序列化类型MapReduce编程规范Mapper阶段
cpuCode·2021-11-18 19:07

大数据开发之Spark 基础入门学习

指的是在集群上获取资源的外部服务，为每个sparkapplication在集群中调度和分配资源的组件，目前有三种类型：•Standalone：Spark原生的资源管理，由Master负责资源的分配•ApacheMesos：与HadoopMapReduce
·2021-10-26 11:59

2021SC@SDUSC HBase项目分析：安装、配置与分工

HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Z
Yy2002sdu·2021-09-28 21:59

教你用Python 编写 Hadoop MapReduce 程序

本文分享自华为云社区《HadoopStreaming：用Python编写HadoopMapReduce程序》，作者：DonglianLin。
·2021-09-24 15:29

MapReduce 示例：减少 Hadoop MapReduce 中的侧连接

本文分享自华为云社区《MapReduce示例：减少HadoopMapReduce中的侧连接》，作者：DonglianLin。
·2021-09-24 10:03

干货丨Hadoop MapReduce 作业长时间卡死怎么办？

1.问题描述当前，我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。
·2021-07-27 19:49

大数据发展情况

开源大数据1.HadoopHDFS、HadoopMapReduce,HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。2.Hypertable是另类。
kuntoria·2021-06-22 11:01

hadoop 日志

然而，对于hadoop而言，当遇到错误时，第一时间应是查看日志，日志里通产会有详细的错误原因提示，本文将总结HadoopMapReduce日志存放位置，帮助初学者定位自己遇到的错误。
泽林呗·2021-06-22 00:30

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
yoku酱·2021-06-19 18:43

Cascading——针对Hadoop MapReduce的数据处理API

Cascading——针对HadoopMapReduce的数据处理APIhttp://www.infoq.com/cn/news/2008/10/cascading脚本化——CascadingAPI有针对
葡萄喃喃呓语·2021-06-13 08:35

Spark MLlib机器学习库的使用

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
陈坚_1099·2021-06-12 18:09

MapReduce既是编程模型又是计算框架

而HadoopMapReduce的出现，使得大数据计算通用编程成为可能。我们只要遵循MapReduce编程模型编写业务处理逻辑代码，就可以运行在Hadoop分布式集群上，无需
tracy_668·2021-06-07 02:49

hadoop离线day06--Hadoop MapReduce、HDFS高阶

hadoop离线day06--HadoopMapReduce、HDFS高阶今日内容大纲#1.MapReduce数据压缩自定义分组分组在reduce阶段前后key比较相同的在一组一组去调用一次reduce
Vics异地我就·2021-05-31 21:51

hadoop离线day05--Hadoop MapReduce

hadoop离线day05--HadoopMapReduce今日内容大纲#1、MR序列化机制什么叫做序列化使用场景Java中序列化机制Hadoop序列化机制Writable自定义对象类型能否在MR中使用传递
Vics异地我就·2021-05-28 21:37

Hadoop深入浅出MapReduce详解（全网最细）

文章目录前言-MR概述1.HadoopMapReduce设计思想及优缺点设计思想优点：缺点：2.HadoopMapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段
清风画扇·2021-05-28 15:23

2021年大数据Hadoop（十六）：MapReduce计算模型介绍

目录本系列历史文章前言MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思如何对付大数据处理：分而治之构建抽象模型：Map和Reduce统一构架，隐藏系统层细节本系列历史文章
Lansonli·2021-05-28 08:34

分布式计算框架MapReduce

MapReduce概述源自于Google的MapReduce论文，论文发表于2004年2月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据离线处理&
一杯敬朝阳一杯敬月光·2021-05-26 21:27

hadoop离线day04--Hadoop MapReduce

目录hadoop离线day04--HadoopMapReduce今日内容大纲初始MapReduceMapReduce思想HadoopMapReduce设计构思如何面对大数据场景构建了函数式编程模型MapReduce
Vics异地我就·2021-05-26 20:02

hadoop认识与环境部署(版本2.6.4)

Hadoop认识Hadoop包含的模块:HadoopCommon：支持其他hadoop模块的公用工具包；HDFS：高吞吐量访问的分布式文件系统；HadoopYARN：任务调度和集群资源管理的框架；HadoopMapReduce
4762d2980c91·2021-05-17 22:40

spark-2.2.0集群的安装

特点：Speed:在内存中运行程序的速度比HadoopMapReduce快100倍，或者在磁盘上快10倍。ApacheSpark拥有先进的DAG执行引擎，支持非循环数据流和内存计算。
盗梦者_56f2·2021-05-14 00:23

Hadoop概述

Apache所开发的分布式系统基础架构，是适合海量数据的分布式存储和分布式计算的平台，Hadoop目前有四个模块，Hadoopcommon、HadoopDistributedFileSystem（HDFS）、HadoopMapReduce
xiao_小鱼·2021-05-01 19:32

PySpark笔记(一)：Spark简介与安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同MapReduce
Daisy丶·2021-04-30 00:19

Spark优化----开发调优(上)

Saprk在大数据领域的地位Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点;但不同于MapReduce
利伊奥克儿·2021-04-26 16:44

20170928周五开会小结

Hadoopmapreduce：主要是看了mapreduce相关的论文以及实现了一个简单的mapreducemapreduce相关的一篇文章HDFS：对HDFS有了初步的了解，但还没有动手进行相关的实验
泽林呗·2021-04-23 10:11

Scala库：Scalding

Twitter开源软件列表http://www.infoq.com/cn/articles/twitter-open-source-listScala库：ScaldingScalding是一个Scala库，简化了HadoopMapReduce
葡萄喃喃呓语·2021-04-21 15:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他