Map-Reduce

SpringBoot2--Spring Data JPA

前言SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问技术，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
笔记整理·2024-09-03 11:11

探究MapReduce基本原理

MapReduce作业运行流程image.pngMap-Reduce的处理过程主要涉及下面四个部分：客户端Client：用于提交Map-reduce任务jobJobTracker：协调整个job的运行，
tracy_668·2024-02-09 02:57

多核编程（erlang 学习笔记）(二)

1.映射-并归算法在图中，向我们展示了映射-归并(map-reduce)算法的基本思想。开启一定数量的映射进程，让它们负责产生一系列的{
夲撻鲎龇·2024-01-23 10:22

大数据面试题-1

一、map-reduce原理map过程：1.1读取HDFS中的文件。每一行解析成一个。每一个键值对调用一次map函数。1.2覆盖map()，接收1.1产生的，进行处理，转换为新的输出。
edwin1993·2023-12-27 19:29

Elasticsearch Spring Data集成-05

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
渣渣龙_拽得很·2023-12-16 05:34

大数据之 Hadoop

hadoop主要解决：海量数据的存储和海量数据的分析计算hadoop发展历史Google是hadoop的思想之源（Google在大数据方面的三篇论文）2006年3月，Map-reduce和NutchDistributedFileSystem
小裕哥略帅·2023-11-30 13:41

面试篇spark（spark core，spark sql，spark 优化）

相比较map-reduce框架，spark的框架执行效率更加高效。mapreduce的执行框架示意图。
宇智波云·2023-11-29 05:21

大数据实验：MapReduce的编程实践

文章目录前言环境说明Eclipse创建Map-Reduce项目实验代码说明运行演示说明总结前言最近就快要期末考了，大家除开实验，也要顾好课内哟，期待大佬出一下软件测试的期末复习提纲和Oracle的复习提纲
jiachengren·2023-11-28 16:46

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例

一、实验目的本实验考察学生Hadoop平台下的环境配置、分布式文件存储操作和管理以及基于Hadoop的分布式编程的设计与实现。二、实验环境Linux的虚拟机环境、线上操作视频和实验指导手册三、实验任务完成Hadoop开发环境安装、熟悉基本功能和编程方法。四、实验步骤请按照线上操作视频和实验知道手册，完成以下实验内容：实验1-1Hadoop安装部署(1)登录虚拟机(2)主机配置：主机名、网络和免密登
MrNeoJeep·2023-11-28 16:43

hadoop

hadoop主要解决：海量数据的存储和海量数据的分析计算hadoop发展历史Google是hadoop的思想之源（Google在大数据方面的三篇论文）2006年3月，Map-reduce和NutchDistributedFileSystem
yuanjianqiang_0925·2023-11-11 08:01

SpringData、SparkStreaming和Flink集成Elasticsearch

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData可以极大的简
shangjg3·2023-11-11 05:55

Greenplum Hadoop视频教程_Hadoop应用案例剖析

基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：
xiarilove·2023-10-24 08:30

从入门到进阶 之 ElasticSearch SpringData 继承篇

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData可以极大的简化JPA(El
PJ码匠人·2023-10-22 00:13

Hive官方手册翻译(Getting Started)

内容列表Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive配置管理概览运行时配置Hive,Map-Reduce与本地模式错误日志DDL操作元数据存储
weixin_33985679·2023-10-18 20:25

MongoDB官方文档翻译--聚合

MongoDB提供了三种执行聚合的方法：聚合管道，map-reduce函数和单用途聚合方法。聚合管道聚合管道是基于数据处理流水线概念建模的数据聚合框架。文档进入多阶段管道，将文档转换为聚合结果。
dragonriver2017·2023-10-05 02:39

map-reduce中的组件

MapReduce作业的执行流程用户提交MapReduce作业到JobTracker。JobTracker将MapReduce作业分割成Map任务和Reduce任务。JobTracker将Map任务分配给TaskTracker。TaskTracker执行Map任务。Map任务将输出数据写入临时文件。JobTracker将临时文件分发给Reduce任务。JobTracker将Reduce任务分配给T
demo123567·2023-09-12 15:12

map-reduce执行过程

Map阶段Map阶段是MapReduce框架中的一个重要阶段，它负责将输入数据转换为中间数据。Map阶段由一个或多个Map任务组成，每个Map任务负责处理输入数据的一个子集。执行步骤Map阶段的过程可以分为以下几个大步骤：输入数据分配：MapReduce框架会将输入数据分配给每个Map任务。Map函数执行：Map函数会对每个输入数据进行处理，并将处理结果写入一个临时文件。Map函数完成：Map函数
demo123567·2023-09-10 18:22

【Hive】Hive Join 介绍

Hive执行引擎会将HQL“翻译”成为map-reduce任务，在执行表的Join操作时，如果多个表中每个表都使用同一个列进行连接（出现在Joinon子句中），则只会生成一个MRJob：SELECTa.val
w1992wishes·2023-09-07 10:51

MongoDB Aggregation

MongoDB提供了三种执行聚合的方法：聚合管道、map-reduce、单用途聚合聚合管道聚合管道(AggregationPipeline)是基于数据处理管道概念建模的数据聚合框架。
戒糖少盐轻碳水·2023-09-05 13:33

Elasticsearch 集成---框架集成SpringData-集成测试-索引操作

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
Java捡子·2023-08-25 06:26

mongoDB Map Reduce

MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。
爱笑的书生·2023-08-03 19:16

04----深入理解MongoDB聚合（Aggregation ）

MongoDB提供三种方式去执行聚合操作：聚合管道（aggregationpipeline）、Map-Reduce函数以及单一的聚合命令(count、distinct、group)。
wangyongxun1983·2023-07-31 14:44

MongoDB Aggregation（聚合）

MongoDB提供了三种执行聚合的方法:聚合管道、map-reduce函数和单一用途的聚合方法。一、聚合管道聚合管道是基于数据处理管道概念建模的数据聚合框架。
木西爷·2023-07-31 14:44

MongoDB系列--深入理解MongoDB聚合（Aggregation ）

MongoDB提供三种方式去执行聚合操作：聚合管道（aggregationpipeline）、Map-Reduce函数以及单一的聚合命令(count、distinct、group)。1.聚合管道（a
Ccww_·2023-07-31 14:13

Mongodb 多文档聚合操作处理方法三（聚合管道）

要执行聚合操作，您可以使用：聚合管道单一目的聚合方法Map-reduce函数聚合管道聚合管道由一个或多个处理文档的阶段组成：除$out、$merge、$geoNear和$changeStream阶段之外的所有阶段都可以在管道中出现多次
Ethanchen's notes·2023-07-28 10:59

map型字段 mongodb_在MongoDB中使用Map/Reduce

在MongoDB中使用Map/Reduce在mongodb的map-reduce是一个针对大数据的数据处理范式，可将大量数据浓缩成有用的聚合结果。
王亚晖·2023-07-26 12:55

MongoDB Map Reduce 聚合

MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。
我怕天黑却不怕鬼·2023-07-26 12:25

MongoDB 聚合操作Map-Reduce

本篇我们介绍另外一种聚合操作（Map-Reduce），其中Map代表的是文档映射，Reduce代表的
Mointor·2023-07-26 12:24

Mongodb 多文档聚合操作处理方法（Map-reduce 函数）

要执行聚合操作，您可以使用：聚合管道单一目的聚合方法Map-reduce函数Map-reduce函数在mongoshell中，该db.collection.mapReduce()方法是命令的包装器mapReduce
Ethanchen's notes·2023-07-26 12:23

Mongodb 多文档聚合操作处理方法（单一聚合）

要执行聚合操作，您可以使用：聚合管道单一目的聚合方法Map-reduce函数单一目的聚合方法所有这些操作都会聚合来自单个集合的文档。
Ethanchen's notes·2023-07-25 20:52

系列十三、MongoDB聚合查询

MongoDB提供了三种方式来执行聚合（Aggregation）命令，即：聚合管道方法、map-reduce方法、单一目标聚合方法。
YYAugenstern·2023-06-18 07:11

Hadoop Streaming： c++编写uniq程序

1.描述使用Hadoopstreaming对输入数据的第一列进行uniq去重计算，采用c++编写map-reduce程序。
yfk·2023-06-17 23:01

大数据开发之Hive案例篇13：Hive SQL 常见参数调整

指定队列setmapreduce.job.queuename=root.default;#在只有map的作业结束时合并小文件，默认开启true；sethive.merge.mapfile=true;##在Map-Reduce
只是甲·2023-06-14 10:50

基于CDH环境下的Hive数仓配置及优化

MapReduce内存配置HDFS副本数配置Hive配置及优化HiveServer2的Java堆栈Hive动态生成分区的线程数Hive监听输入文件线程数压缩配置Map输出压缩Reduce结果压缩Hive多个Map-Reduce
蜜桃上的小叮当·2023-06-09 10:15

2022-04-13 终于做出来，map-reduce练习题

1.利用map()函数，把用户输入的不规范的英文名字，变为首字母大写，其他小写的规范名字。输入：['adam','LISA','barT']，输出：['Adam','Lisa','Bart']：defnormalize(name):s=name[1:].lower()returnname[0].upper()+s#测试L1=['adam','LISA','barT']L2=list(map(nor
布瓜浩_albert·2023-04-17 01:21

自学大数据第16天~Pig安装与配置及其他

基础设施层:目前，Pig的基础设施层由一个编译器组成，该编译器生成Map-Reduce程序序列，这些程序已经存在大规模的并行实现（例如，Hadoop子项目）。Pig语言层Pig的语
CodeMartain·2023-04-16 16:05

rust中的集合容器（切片和哈希）与错误处理

这些集合容器的共性：可以遍历可以进行map-reduce操作。可以从一种类型转换成另一种类型。主要学一下切片和哈希切片定义：是一组类型相同，但是长度不确定，在内存中连续存放的数据结构。
explore翔·2023-04-13 14:04

SpringData集成Elasticsearch

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
鱼找水需要时间·2023-04-09 14:31

Java8新特性-Stream API实战

map-reduce操作。3.6收集(collect)3.6
风暴计划·2023-04-09 09:05

一夜就把微服务数据架构，数据分类及存储特性，SpringData搞懂了

它使数据访问技术、关系数据库和非关系数据库、Map-Reduce
nuzzzzz·2023-04-07 04:36

Hadoop 文件分片 split的源码分析

split概念split是一个逻辑的分片，在进行map-reduce的之前，将文件按照一定的规则进行分片，把每个分片分发到不同的maptask。
大雄的学习笔记·2023-03-31 03:08

Hadoop基础【HDFS、Yarn、MapReduce框架概述、框架的搭建】

GFS（分布式存储）--->HDFS；Map-Reduce（分布式计算框架）--->MR；BigTable（分布式数
OneTenTwo76·2023-03-09 07:10

使用MongoTemplate操作CURD - MongoDB从入门到删库

涵盖了从集合创建、索引创建和CRUD操作到更高级的功能(如Map-Reduce和聚合)等等。不多说，直接上代码。
DreamsonMa·2023-02-18 04:25

山东大学软件学院数据科学导论2021-2022期末考试回忆版

1.大数据的定义和四个特征2.SQL建立数据库的语法3.给出两个表，写出SQL语句的结果4.写出map-reduce工作的流程5.写出K-means方法的思路6.写出“Shandonguniv
白玉兰路车神·2023-02-01 16:53

Hive碎碎念（9）：HIVE前缀

任务结束后进行文件合并（合并小文件）sethive.merge.mapfiles=true;--在Map-only的任务结束时合并小文件sethive.merge.mapredfiles=true;--在Map-Reduce
xxlee·2023-01-31 00:37

大数据系统——Hive-A Warehousing Solution Over a Map-Reduce Framework论文分享

1.背景这篇文章本身就不长，总共三页半，作者来自Facebook数据基础架构团队。下面正式介绍。传统的数据集存储方案成本过高，Hadoop则可以作为替代方案：在大规模廉价的商用机器上进行大规模数据存储。Hadoop上可以运行MapReduce，但是mapreduce编程模型的级别非常低，难以维护和重用。Hive是一种基于Hadoop构建的开源数据仓库解决方案。Hive支持类似SQL的声明性语言查询
应该叫什么名字·2023-01-17 15:31

海量数据查询方案设计

“流计算”指Flink、Storm实时计算，批计算是Map-Reduce或Spark非实时计算。像点击流、监控和日志
JavaEdge.·2023-01-04 23:08

《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)

转载连接：http://blog.csdn.net/lovemianmian/article/details/9050617首先来看看这一章讲解的整体架构，分别介绍了分布式文件系统、Map-Reduce
逍遥扇·2022-12-21 13:04

Hadoop 分布式计算系统（map-reduce）介绍

Hadoop分布式计算系统（map-reduce）介绍hadoop组成什么是分布式计算hadoop1.x分布式计算总体架构hadoop2.x分布式计算总体架构分布式计算原理JAVA代码实现hadoop组成
ithinking110·2022-12-12 11:37

搭建map-reduce开发环境

##LaunchIntelliJ##createJavaproject-forexample"wordcount"select‘CreateNewProject’->"Javaproject"->select1.8JDKin"ProjectSDK"->Next->Next->enter"wordcount"in"Projectname"->enter"~/work/wordcount"in"Pro
sun_xo·2022-12-04 16:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他