map-reduce

Spark shuffle机制概述

shuffle及Sparkshuffle历史简介shuffle，中文意译“洗牌”，是所有采用map-reduce思想的大数据计算框架的必经阶段，也是最重要的阶段。
LittleMagic·2020-03-28 14:52

Big Data笔记:Hadoop - 初识MapReduce

Map-Reduce是一种可扩展的编程模型，可简化数据的分布式处理。Map-Reduce包括三个主要步骤：Map,shuffle,Reduce。
Yanring_·2020-03-27 21:14

MongoDB Mapreduce详细操作总结

在做聚合运算的时候，Map-reduce是个不错的选择；顾名思义：Map-reduce主要通过实现Map函数与reduce函数来完成聚合操作,函数通过javascript代码来定义；命令方式db.collection.mapReduce
小直·2020-03-26 01:23

Spark学习

Spark学习一、Spark简介1.Hadoop中Map-Reduce计算框架的替代品2.运行在HDFS上，可以与Yarn配合3.将中间结果保存在内存而不是磁盘中4.提供了比Map、Reduce更多的高阶函数
一只小青鸟·2020-03-23 05:58

Spark RDD

以下是map-reduce的
98Future·2020-03-20 02:49

hadoop学习路线

hadoop是一个分布式系统基础架构，主要功能有存储+计算，分别由hdfs和map-reduce模块实现。
柠樂helen·2020-03-13 07:22

输入一个int数组，输出一个int数组，要求：（1）输出数组的元素是输入数组出现数频率大于k次的元素、（2）输出数组需要按照元素出现频率的高低进行排序

这个面试题可能就是需要我们利用分布式、多线程处理这个大数组,计算出结果，这道题大致思路可能就是map-reduce，分而治之，这里我先用多线程处理。
LiuWeiYi·2020-03-09 00:57

七月在线Spark大数据实战班

入门介绍第一课：大数据入门概述知识点1：大数据技术发展史知识点2：大数据的应用以及未来知识点3：hadoop生态圈介绍知识点4：hadoop框架演变与发展知识点5：大数据存储系统hdfs原理解析知识点6：map-reduce
Ot4Wo08D·2020-03-06 12:01

Hadoop（一）—— Hadoop入门

Hadoop介绍思想之源Google是Hadoop的思想之源（Google在大数据方面的三篇论文）GFS====>HDFS（存储）Map-Reduce====>MR（计算）BigTable====>HBase
AuroraDuring·2020-03-04 22:10

SpringData JPA 入门

1.概述SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问技术，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
cqzhangjian·2020-03-04 20:21

MapReduce原理

要知道怎么对MapReduce作业进行调优前提条件是需要对Map-Reduce的过程了然于胸。
在路上很久了·2020-03-02 07:55

Oozie-Coordinator组件

CoordinatorOverview用户在数据处理的过程中可能会使用到map-reduce,hadoop-streaming,hdfs以及Pig任务，这些多个任务可以被组合成为一个任务流。
PunyGod·2020-02-21 03:27

基于swoole的task功能实现Map-Reduce

本文主要介绍使用task/finish功能实现程序内的Map-Reduce并发任务处理。
谁不曾年少轻狂过·2020-02-19 14:29

Spark相关面试问题整理

Spark和MapReduce都是分布式计算框架，都是采用map-reduce的编程模型，map段执行map函数把数据处理成k-v对，reduce阶段聚合相同k的数据，执行reduce函数，他们的不同点如下
lxhao·2020-02-14 21:42

❖ 一篇文章入门MongoDB

MongoDB的特点：NoSQL数据库内存数据库存储基于JSON或BSON支持丰富的高级查询命令基于Javascript语法对数据之间关系的支持比较弱支持map-reduce的运算框架支持GirdFS的
Solomon_Xie·2020-02-08 13:20

MongoDB - 聚合

MongoDB提供了执行聚合的三种方法：AggregationPipeline、Map-Reduce、SinglePurposeAggregationOperations。
yuanzicheng·2020-02-05 13:04

吴裕雄--天生自然HADOOP操作实验学习笔记：hadoop框架认识以及基本操作

mapred和yarn命令实验原理1.hadoop和hadoop生态系统hadoop的思想来源是Google，Google曾经面对一个问题，大量的网页怎么存储，怎么快速搜索的问题，于是三篇论文诞生了GFS、Map-Reduce
吴裕雄·2020-01-07 22:00

HDFS/MapReduce及应用

Hadoop家族HDFS海量分布式文件系统Map-Reduce数据计算RPC序列化，动态代理与反射Hive用SQL的形式来操作数据HBase实时（KV）存储Flume实时日志收集系统zookeeperMahout
千丈·2020-01-03 01:32

hadoop 学习笔记（1） -- 一个例子解释 MapReduce

map-reduce是hadoop的核心概念之一，hadoop权威指南中以一个天气数据处理的例子说明了map-reduce的好处：map阶段将工作划分为可以并行的部分并进行调度；在reduce阶段提供了方便的数据整合方式可以将任务分散到多个机器上并行执行
millions_chan·2020-01-01 12:07

2016-02-2-hadoop-study

什么是hadoop到哪里去学习hadoop目的：这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS
大雪封山十几年·2019-12-30 10:41

Hive与HBase的区别与联系

hive可以认为是map-reduce的一个包装。hive的意义就是把
菜鸟-传奇·2019-12-22 17:00

MongoDB Map Reduce

MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。
xibuhaohao·2019-12-18 10:00

并发包下常见的同步工具类(CountDownLatch,CyclicBarrier,Semaphore)

这正是著名的map-reduce思想,不过map-reduce通常被用在分布式计算的语境下,这里举这个例子只是为了说明对多线程并发执行流程进行控制的重要性,比如某些线程必须等其他线程执行完后才能开始它的工作
莫等、闲·2019-12-10 09:00

SpringBoot系列—Spring Data JPA（十二）

感谢关注什么是SpringData  SpringData是SpringBoot底层默认进行数据访问的技术,为了简化构建基于Spring框架应用的数据访问技术，包括非关系数据库、Map-Reduce框架
海晨忆·2019-12-01 11:03

Hadoop， Spark, map-reduce 学习笔记

本科前几年就学过Hadoop,Spark但是一直没有非常理解原理，今天看BitTiger讲解有一点新的收获。首先要了解背景：在Hadoop出来之前，当时处理大数据情况都是把存储还是计算的机器分开的。要处理数据的时候，ComputingCluster会从存储数据的storage里调取data来处理。但是computing是很expensive的，如果要把大部分能量花在IO读取上就太浪费了。【以前听说
98Future·2019-11-27 18:38

hadoop map-reduce系列文章

map写数据到本地磁盘过程解析----spill和merge：http://www.cnblogs.com/lz3018/p/4940904.htmlInputSplit—>RecordReder—>map(key,value,context)的过程解析：http://www.cnblogs.com/lz3018/p/4927667.htmlMapReduce数据流向分析http://www.cn
晴天哥_374·2019-11-05 16:42

《使用Ambari搭建hadoop技术栈集群》

一.背景hdfs,map-reduce,spark,yarn是大数据处理的基础组件。在发展了几年之后，已经成为了比较通用的数据处理工具。
skywalker·2019-11-03 23:08

ElasticSearch进阶（二）SpringData ElasticSearch整合

Spring+SpringDataElasticSearch的整合操作方法1.概念我们知道，SpringData是持久层通用解决方案，支持关系型数据库Oracle、MySQL、非关系型数据库NoSQL、Map-Reduce
程序猴jwang·2019-10-23 22:12

MongoDB系列--深入理解MongoDB聚合（Aggregation ）

MongoDB提供三种方式去执行聚合操作：聚合管道（aggregationpipeline）、Map-Reduce函数以及单一的聚合命令(count、dist
Ccww·2019-10-15 05:38

MongoDB系列--深入理解MongoDB聚合（Aggregation ）

MongoDB提供三种方式去执行聚合操作：聚合管道（aggregationpipeline）、Map-Reduce函数以及单一的聚合命令(c
Ccwwl·2019-10-13 22:55

YARN作业运行机制及三种资源调度器（FIFO/容量/公平调度器）

HadoopMapReduce框架的问题从上图中可以清楚的看出原MapReduce程序的流程及设计思路：首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
bigbiglife·2019-10-11 16:00

硬货来了！轻松掌握 MongDB 流式聚合操作

MongoDB提供了几种聚合方式：•AggregationPipeline•Map-Reduce•简单聚合接下
VIP_CQCRE·2019-09-30 12:56

MongoDB学习笔记之MapReduce使用示例

一、mapreduce是根据map函数里调用的emit函数的第一个参数来进行分组的Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE
·2019-09-25 03:08

Hadoop执行java版的map-reduce过程及排坑

现在记录win10下运行java版map-reduce的步骤和遇到的问题步骤1、启动hadoopstart-all.cmd如果遇到问题，参见我的文章win10启动hadoop时遇到的坑2、直接在idea
coder_szc·2019-09-21 09:07

BAT面试中的大数据相关问题笔记

大数据Map-Reduce和Hadoop逐渐成为面试热门1.介绍哈希函数哈希函数又叫散列函数1.1典型的哈希函数都有无限的输入值域。1.2输入值相同时，返回值一样。
HenryTien·2019-08-30 14:01

Solr基础理论【倒排索引，模糊查询】

一.简介现有的许多不同类型的技术系统，如关系型数据库、键值存储、操作磁盘文件的map-reduce【映射-规约】引擎、图数据库等，都是为了帮助用户解决颇具挑战性的数据存储与检索问题而设计的。
云山之巅·2019-08-28 20:00

Hadoop中的mapper数量和reducer数量的设定

Hadoop本身提供了map-reduce分布式计算框架，将大文件切块存储、计算，分而治之。在map-reduce框架中，输入数据被划分成等长的小数据块，称为输入分片(inputsplit)。
暁洣·2019-08-26 09:57

认识map-reduce

基本概念map-reduce1.0例子：hadoopstreaming用语言驱动map-reduce的话，使用的hadoopstreaming命令，可以通过python，php，java来驱动；命令参数列表如下
whendream·2019-08-14 19:00

Stream官方文档

1.java.util.stream包的介绍在元素流上支持函数式操作，例如在集合的map-reduce转换：intsum=widgets.stream().filter(b->b.getColor()=
王侦·2019-07-25 10:35

聚合

MongoDB提供了3种方式来执行聚合命令：聚合管道方法、map-reduce方法和单一目标聚合方法。
梁十八·2019-07-23 22:40

[大数据]大数据体系整理

大数据体系整理开发语言分布式存储分布式计算数据仓库技术机器学习开发语言Java大数据框架的编写支持很多开发语言，但是Java在大数据开发方面有很大的优势，目前流行的大数据Hadoop框架、map-reduce
朱同学·2019-07-09 13:26

如何优化hive查询过程

技术#1：使用TEZHive可以使用ApacheTez执行引擎而不是Map-reduce引擎。不会详细介绍
banban_ping·2019-07-01 09:37

初识知识融合

函数，邻近分块Falcon-AO：基于分而治之策略的大型本体匹配方法，包括三个阶段：划分本体，匹配分块，发现实体间的映射（本体是实体的抽象层次，比如人，书，国家）3．均衡块中的实体数目，最简单的方法是map-reduce
奋斗的风格·2019-06-13 15:49

Java8 Stream

stream描述用于支持元素流上的功能样式操作的类，例如集合上的map-reduce转换。
yyg·2019-06-11 11:58

spring data jpa使用详解

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
沙漏半杯·2019-05-29 11:16

大数据 | Hadoop Hive Spark简介

2.1定义2.2解释Map-Reduce的原理2.3MapReduce的优缺点2.4什么是HBase？3Hive是啥？3.1为什么有SQL还要Hive？3.2什么是Hive？
rucleeeeee·2019-05-23 11:16

hive-严格查询模式下set hive.mapred.mode=strict，order by必须加limit有没有系统性能的提升

一、hive严格查询模式下使用orderby必须加limit有没有系统性能的提升，个人认为是没有的(如果不对，欢迎大佬留言打脸)我理解就是加个必填项，让返回的结果集少点，别的在map-reduce阶段，
huobumingbai1234·2019-05-18 21:00

在hadoop的map-reduce框架下实现倒排索引InvertedIndex算法

编程环境：Ubuntu16.4uklinHadoop3.2.0openjdkversion"1.8.0_191"完整代码已经更新至GitHub,欢迎fork~GitHub链接声明：创作不易，未经授权不得复制转载statement:Noreprintingwithoutauthorization二、在本地编写程序和调试1、mapper设计：输入：---------读入文档的每行字符串处理过程1：--
Mr_Relu·2019-05-17 20:50

Yarn~新的 map-reduce 框架

Hadoop新MapReduce框架Yarn详解-zero516cn-博客园http://www.cnblogs.com/gw811/p/4077315.html新的HadoopMapReduce框架命名为MapReduceV2或者叫Yarn，其架构图如下图所示：Hadoop新MapReduce框架Yarn详解http://www.ibm.com/developerworks/cn/opensou
葡萄喃喃呓语·2019-05-11 12:05

Yarn~新的 map-reduce 框架

Hadoop新MapReduce框架Yarn详解-zero516cn-博客园http://www.cnblogs.com/gw811/p/4077315.html新的HadoopMapReduce框架命名为MapReduceV2或者叫Yarn，其架构图如下图所示：Hadoop新MapReduce框架Yarn详解http://www.ibm.com/developerworks/cn/opensou
葡萄喃喃呓语·2019-05-11 12:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他