Map-Reduce

地铁译：Spark for python developers --- 搭建Spark虚拟环境2

理解SparkHadoop随着数据的增长水平扩展，可以运行在普通的硬件上,所以是低成本的.数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据.Hadoop是第一个map-reduce
半吊子全栈工匠·2020-07-09 00:42

hadoop Yarn 和版本1的比较

Paste_Image.png一、V1原理首先用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce框架的中心，他需要与集群中的机器定时通信
lmem·2020-07-08 12:55

搭建Hadoop的Eclipse开发环境

经过一些列繁琐的配置后，hadoop集群终于可以跑起来了，wordcount例子也能正确运行，好了，我们可以进行Map-Reduce开发了。
maolazhu·2020-07-08 12:52

实例说明MapReduce原理

Map-Reduce框架的运作完全基于对，即数据的输入是一批对，生成的结果也是一批对，只是有时候它们的类型不一样而已。
zzl_262·2020-07-08 11:36

Python入门之经典函数实例——第3关：Map-Reduce - 映射与归约的思想

任务描述Python中有两个非常常见的内置函数：map()和reduce()函数。这两个函数都是应用于序列的处理函数，map()用于映射，reduce()用于归并。本关目标就是让读者了解并掌握map()和reduce()函数的相关知识。相关知识map()函数map()函数会根据传入的函数对指定的序列做映射。map()函数接收两个参数，一个是function函数，另一个参数是一个或多个序列。map(
YLeee·2020-07-08 10:16

Hadoop学习总结之三：Map-Reduce入门

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
diebiaosang4496·2020-07-07 06:08

Python之Map-Reduce - 映射与归约的思想【正整数分解质因数】

任务描述Python中有两个非常常见的内置函数：map()和reduce()函数。这两个函数都是应用于序列的处理函数，map()用于映射，reduce()用于归并。本关目标就是让读者了解并掌握map()和reduce()函数的相关知识。相关知识map()函数map()函数会根据传入的函数对指定的序列做映射。map()函数接收两个参数，一个是function函数，另一个参数是一个或多个序列。map(
Andone_hsx·2020-07-06 20:24

Hadoop

Hadoop的思想之源：Google第一遇到大数据计算问题的公司Openstack:NASA面对的数据和计算难题-大量的网页怎么存储-搜索算法带给我们的关键技术和思想（Google三大理论）-GFS文件存储-Map-Reduce
As a layman·2020-07-06 03:59

Hadoop文件存储系统-HDFS详解以及java编程实现

而这两种能力在Hadoop的体现分别就是HDFS以及map-reduce。今天，
henry-hacker·2020-07-05 19:41

MapReduce工作原理

一个Map-Reduce任务的执行过程以及数据输入输
canedy·2020-07-04 12:56

多线程 并发编程与异步方法

并发编程的内容类似于Google的Map-Reduce的算法。多线程的着眼点是线程的互斥，同步等。而并行编程的着眼点是如何提高多个CPU利用率。书中描述了未来的景象，PC机有32个内核。
albertliangyg·2020-07-04 10:24

机器学习之数据与特征工程

大部分算法精进和数据分析所做的工作都是：a)跑数据，各种map-reduce，从数据空中获取数据。b)数据清洗
liuzheng081·2020-07-02 09:21

开源大数据查询分析引擎现状

www.venustech.com.cn/NewsInfo/531/25567.Html引言大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce
stephanieleong912·2020-07-02 08:51

MongoDB：19-MongoDB-Map Reduce

Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。
琦彦·2020-07-02 00:52

大数据下的机器学习

1.随机梯度下降(stochasticgradientdescent)2.小批量梯度下降（Mini-batchgradientdescent）3.在线学习（onlinelearning）4.映射约减(map-reduce
detuo9079·2020-07-01 22:30

学习MongoDB 九： MongoDB聚合（单一用途的聚合方法）（一）

聚合指各种可以处理批量记录并返回计算结果的操作，并MongoDB提供了丰富的聚合操作，MongoDB提供了进行聚合的三种方式：聚集管道（Aggregation）,Map-Reduce方法,和单一用途的聚合方法
zhengcongyi·2020-07-01 20:39

mr中理解分区和分组(转)

原文链接：https://blog.csdn.net/qq_21292551/article/details/502613911.MapReduce中数据流动（1）最简单的过程：map-reduce（2
wwq_vracle·2020-06-29 22:33

基于欧式距离的海量高维向量相似度计算方法综述及局部敏感哈希 Cross-polytope LSH 简介

二是基于map-reduce方法，选择合适个数的中心点，相当于一个聚类操作，将一个中心点定义为一个cell。使用多个计算节点将查找集和被查找集同时映射到距离最近的中心点，也就是对应的cell中。
wonner_·2020-06-29 20:48

Spark简单介绍（二）

所具有的优点但不同于MapReduce的是Job中间输出和结果可以保存在内存中从而不再需要读写HDFS从上面的官方解释中我们可以得到的信息时，spark是一套并行计算的框架，并且性能要比hadoop的map-reduce
Alukar·2020-06-29 16:27

码农的中年危机

IT这行，经典书一出技术就要过时我上学时数据结构钦定用Pascal结果这语言毕业以后我再也没见过前些年，Map-reduce还没焐热Spark就甚嚣尘上了我们做speech时风靡的工具包HTK普及DNN
Rjy,·2020-06-29 07:41

HIVE从入门到精通

Hadoop是一个流行的开源map-reduce实现，用于像yahoo,Facebook一类的公司。来存储和处理商用硬件上的大范围数据集。
weixin_34184158·2020-06-28 13:03

使用Actor模型对词频统计程序进行多线程优化-Anran

但是它却有很大的优化余地，甚至可以分布式到多台机器中（Map-Reduce模型）。但是，在单机中搞这么复杂反而会增加运行时间和内存。我们希望将它改造成多线程。
weixin_33807284·2020-06-28 05:50

oozie基本概念

>>>基础文档工作流不能循环，其中的节点包括：控制流节点(start,end,decision,fork,join,kill)，动作流节点(map-reduce,pig,etc.)。
George_Fal·2020-06-28 03:29

MongoDB学习笔记——聚合操作之group,distinct,count

单独的聚合命令（group,distinct,count）单独聚合命令比aggregate性能低，比Map-reduce灵活度低；但是可以节省几行javascript代码，后面那句话我自己加的，哈哈哈～
weixin_30696427·2020-06-27 23:02

Hadoop 基础架构 详解

一.Hadoop简介Hadoop是Apache基金会下一个分布式大数据开发平台，以Map-Reduce的高效，支持快速检索著称，与其齐名是Spark分布式大数据开发平台。
_Rick_·2020-06-27 07:10

elasticsearch-hadoop使用记录

elasticsearch-hadoop是一个深度集成Hadoop和ElasticSearch的项目，也是ES官方来维护的一个子项目，通过实现Hadoop和ES之间的输入输出，可以在Hadoop里面对ES集群的数据进行读取和写入，充分发挥Map-Reduce
天边tbdp·2020-06-26 18:28

阿里云EMR技术专家 “健身” 浅析Hive/Spark SQL读文件时的输入任务划分

而Hive和SparkSQL作为Map-Reduce模型的分布式执行引擎，其执行过程首先就涉及到如何将输入数据切分成一个个任务，分配给不同的
乔治大哥·2020-06-25 22:52

图相关算法之 PageRank 佩奇排序算法详解

起源●网页数量急剧膨胀，用户需要有效搜索出有用的信息●GoogleCEO拉里佩奇提出的一种算法，来计算互联网里的网站的重要性，以对搜索进行排名●PageRank的计算量很大，因此诞生了Map-Reduce
ROOOOOOM·2020-06-25 19:03

Hadoop/Spark大数据面试总结

1.简答说一下hadoop的map-reduce编程模型首先maptask会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable
什锦甜·2020-06-25 11:37

hadoop环境安装及简单Map-Reduce示例

一.参考书：《hadoop权威指南--第二版（中文）》二.hadoop环境安装1.安装sun-jdk1.6版本1）目前我只在一台服务器（CentOS5.5）上搭建hadoop环境，因此先卸载已安装的java1.4版本卸载命令：yum-yremovejava2）下载sun-jdk1.6，地址：http://download.oracle.com/otn-pub/java/jdk/6u33-b04/j
shane_smile·2020-06-24 10:34

Hadoop(五)——核心编程MapReduce（下）

下边我们再进一步通过几个例子（在hadoop实战中摘取），来加深map-reduce的编程规则，至于具体到map，reduce内部，如何处理数据，则涉
~小龙~·2020-06-24 06:46

spring data jpa使用详解

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支
林老师带你学编程·2020-06-24 05:14

Qt 之 Concurrent Map 和 Map-Reduce

简述QtConcurrent::map()、QtConcurrent::mapped()和QtConcurrent::mappedReduced()函数对一个序列中（例如：QList、QVector）的项目并行地进行计算。QtConcurrent::map()就地修改一个序列，QtConcurrent::mapped()返回一个包含修改内容的新序列，QtConcurrent::mappedRedu
一去丶二三里·2020-06-24 04:19

机器学习特征工程经验总结一

其实大部分人都是在跑数据，各种map-reduce，hiveSQL，数据仓库搬砖，数据清洗、数据清洗、数据清洗，业务分析、分析cas
levy_cui·2020-06-24 03:20

oozie自定义节点注意事项

原因之一就在于，java动作是在Hadoop簇集中作为map-reduce作业执
keepuping·2020-06-24 00:17

机器学习算法收藏

机器学习优秀博客（5.13）朴素贝叶斯分类算法原理与实践(2017.4.18)关联规则挖掘基本概念与Aprior算法(2017.4.19)K-means算法及文本聚类实践(4.28)PageRank算法简介及Map-Reduce
null1106·2020-06-23 20:42

大数据处理相关知识点汇总

大数据处理相关知识点汇总简单统计Map-Reduce概念介绍用Map-Reduce方法统计一篇文章中每个单词出现的个数。
gaoyueace·2020-06-23 09:34

Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
diebiaosang4496·2020-06-23 04:06

使用MongoTemplate操作CURD - MongoDB从入门到删库

涵盖了从集合创建、索引创建和CRUD操作到更高级的功能(如Map-Reduce和聚合)等等。不多说，直接上代码。
chiqiao5151·2020-06-22 22:51

oozie上传实例解读

前些天oozie的安装已经全部完成了，下面我们来看看上传实例，oozie自带的有oozie的几个实例，这里我们以map-reduce为例讲解，初步了解下oozie的使用。
Zwenjun·2020-06-22 10:38

HBase的SQL驱动---Phoenix

Phoenix并不是想HBase那样用于map-reduce
Johnson8702·2020-06-21 23:01

jpa

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
wuysuccess·2020-06-21 14:19

实时流式计算系统中的几个陷阱

这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。
xiangwang2206·2020-05-08 09:44

实时流式计算系统中的几个陷阱

这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。
独孤风·2020-05-08 09:00

第4课书面作业

ncdc.noaa.gov/pub/data/noaa/2001/），求每年的最低温度，部署并运行之，抓图过程2在linux或win下安装eclipse，并且连接到Hadoop集群（关键步骤是编译插件），运行习题1的map-reduce
keon·2020-04-07 09:26

机器学习集训营---第五周总结

本周主要讲大数据分析和处理，包含：hadoop使用，map-reduce概念和使用spark与大数据处理下面详细记录一下知识点：hadoopHDFS分布式文件系统a.主从结构，一个namenoe和多个datanode
sqc·2020-04-05 01:16

Hadoop4-MapReduce2.x-yarn框架

Hadoop-MapReduce2.x-yarn框架1.mapreduce1.0的不足JobTracker是Map-reduce的集中处理点，存在单点故障。
raincoffee·2020-04-04 04:52

MongoDB查询总结

MongoDB查询总结MongoDB查询总结介绍普通查询查询举例聚合查询Map-Reduce接口方法定义参数说明示例说明总结相关资料介绍前面写过一篇关于Mongo�db的例子——浅谈MongoDB数据库
流水不腐小夏·2020-04-04 03:22

Spark shuffle机制概述

shuffle及Sparkshuffle历史简介shuffle，中文意译“洗牌”，是所有采用map-reduce思想的大数据计算框架的必经阶段，也是最重要的阶段。
LittleMagic·2020-03-28 14:52

Big Data笔记:Hadoop - 初识MapReduce

Map-Reduce是一种可扩展的编程模型，可简化数据的分布式处理。Map-Reduce包括三个主要步骤：Map,shuffle,Reduce。
Yanring_·2020-03-27 21:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他