Map-Reduce

[golang] 如何在没有泛型的强类型语言中写一个通用的map-reduce函数

map篇在C语言时代，一个map函数可能长成下面这个样子funcmapF(fIntMapFunc,i...int)[]int{y:=make([]int,len(i),cap(i))forj:=rangei{y[j]=f(i[j])}returny}funcmapFInplace(fIntMapFunc,i...int)[]int{forj:=rangei{i[j]=f(i[j])}returni
Myriad_Dreamin·2020-08-10 14:46

第8周 Pig安装与Pig Latin语言，应用案例

的面向数据流的语言piglatin进行数据处理Piglatin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言Pig可以看做是piglatin到map-reduce
事后诸葛亮·2020-08-10 13:22

猫推荐算法大赛Top 9团队

http://www.csdn.net/article/2014-08-29/2821403-the-top-9-of-ali-bigdata-competition2.特征提取：提取的方式采用map-reduce
bryantao24·2020-08-08 10:50

MongoDB对Javascript的支持

在项目中MongoDB的Map-Reduce功能做了许多统计任务，在重构代码的时候修改了_id对象里面的属性字段名称，当用db.collection.update({$rename:{"_id.a":"
weixin_30367169·2020-08-04 04:22

PageRank算法简介及Map-Reduce实现

本文转自PageRank算法简介及Map-Reduce实现PageRank对网页排名的算法，曾是Google发家致富的法宝。
Maneck·2020-08-04 03:44

Hadoop相关子项目整理

PigHadoop客户端使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce
lskyne·2020-08-01 13:47

hadoop相关知识简单介绍

一、背景：Google首先遇到的大数据存储、计算、搜索问题，在解决这些问题的过程中，发表了GFS、Map-Reduce、Bigtable三篇论文。为后来的大数据提供参考和思想。
fly_sky333·2020-08-01 12:26

Hadoop知识点归纳1

无人驾驶汽车2.课程目标•了解YARN的基本工作原理•了解Hadoop2.0的两大核心模块的工作原理•熟悉Hadoop2.0环境搭建、配置与管理•熟练向Hadoop提交作业以及查询作业运行情况•能书写Map-Reduce
PP_zi·2020-08-01 11:56

BAT机器学习特征工程工作经验总结(一)如何解决数据不平衡问题（附python代码）

其实大部分人都是在跑数据，各种map-reduce，hiveSQL，数据仓库搬砖，数据清洗、数据清洗、数据清洗，业务分析、分析case、找特征、找特征…而复杂的模型都是极少数的数据科学家在做。
weixin_bread2008·2020-08-01 05:44

【机器学习】使用Hadoop Streaming来用Python代码完成MapReduce

比如可以使用python语言来写map-reduce使用“HadoopStreaming”来完成传统mapreduce的功能。如下所示：$HADOOP_
huaibei_北·2020-08-01 02:18

Mapreduce三大组件之一Partitioner——实现自定义分区

MapReduce中数据流动（1）最简单的过程：map-reduce（2）定制了partitioner以将map的结果送往指定reducer的过程：map-partition-reduce（3）增加了在本地先进性一次
❤_Queen·2020-07-30 17:31

MapReduce的两个Job任务的连续执行

有三个文件我们需要统计每个文件中的单词数量但是格式有一定要求最终格式：jeea.txt-->4b.txt-->2c.txt-->2前面是单词中间隔一个\t后面是每个文件中包含该单词的数量不同文件名用一个空格隔开我们可以这样实现使用两次的map-reduce
XXuan_·2020-07-30 13:26

深入剖析FP-Growth原理

接下来介绍并行FP-Growth算法怎么通过3次map-reduce实现了并行化。最后通过分析sparkmlib包中PFP-Growt
zhanht·2020-07-30 06:42

MapReduce初探

Map-Reduce处理过程（分析气象数据的map-reduce过程）图片发自App1，调用标准的input类（默认TextInputFormat），将输入数据转化成标准的样式，成为map的输入。
maolazhu·2020-07-29 16:59

MapReduce

MapReduce1MapReduce计算框架的组成2Mapper–Map-Reduce的思想就好比太极又好比天下大势Mapper负责“分”，即把得到的复杂的任务分解为若干个“简单的任务”执行。
weixin_38423771·2020-07-29 12:58

MapReduce

如何理解map-reduce是干嘛的。。。。。摘自百度百科如果想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？
wanglei2012·2020-07-28 15:47

SpringData详解

SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
泡泡菜叶·2020-07-28 15:04

面试-技术篇

知识点清单：线程和进程用户态和核心态C指针forkDDDmysql-幻读*mysql-死锁秒杀系统（kafaka-分区机制）lru零拷贝分页map-reduce架
lesline·2020-07-28 12:35

谈谈SpringData JPA和Mybatis的优缺点

SpringData简化了基于Spring框架应用的数据库访问，包括对关系型、非关系型、Map-Reduce、云数据服务等都支持，它具备ORM框架的对象关系映射的功能，提供统一的Repository接口实现
worshipme·2020-07-15 20:04

Map-Reduce做矩阵相乘

http://blog.fens.me/hadoop-mapreduce-matrix/k,v表示key和value。1,1A:11表示第一行乘第一列，A矩阵的第一位是1.Example:http://hadoopgeek.com/mapreduce-matrix-multiplication/outputmatrix[0,0]位置上会用0rowofmatrixA*0colofMatrixB.得到
98Future·2020-07-15 16:07

JPA动态查询的实现

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
小小小小肌霸·2020-07-15 12:27

详细介绍springData

SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
开着拖拉机的梦想家·2020-07-15 09:17

MapReduce源码分析之InputFormat

InputFormat描述了一个Map-Reduce作业中的输入规范。
weixin_34370347·2020-07-15 05:58

Spring Data的CrudRepository使用及其遇到的问题和解决方法

2019独角兽企业重金招聘Python工程师标准>>>SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持
weixin_34356555·2020-07-15 05:50

hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
低调的洋仔·2020-07-15 02:21

Spring Boot————Spring Data JPA简介

另外也包含非关系型数据库、Map-Reduce框架、云数据服务等等。SpringData包含的子项目有：SpringDataCommonsSpringDataJPASpringDataKeyVa
圣斗士Morty·2020-07-15 02:50

如何对一个亿的数组进行快速排序

总结概括：1.数据结构归并排序（也是后续排序LRD）2.多线程ForkJoin框架繁重任务的并行计算框架，map-reduce思想计算代码/****@authordongsheng*@date2019/
无怨_无悔·2020-07-14 22:37

Hadoop数据传输工具sqoop

sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop的进一步
斯维特哈特·2020-07-14 17:53

6.MR核心_FilelnputFormat

/***Map-Reduce框架依赖于作业的InputFormat:*1.验证Job的输入规范。*2.将输入文件切分
qq_15014327·2020-07-14 16:17

java网站建设3-spring data讲解

其主要目标是使得数据库的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。对于拥有海量数据的项目，可以用SpringData来简化项目的开发。
超越自己·2020-07-14 15:43

Spring Data JPA 简单介绍

于是就花了点时间了解SpringData，可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍：针对关系型数据库，KV数据库，Document数据库，Graph数据库，Map-Reduce
lijian_nhy·2020-07-14 13:00

java fork join &map-reduce

先介绍一下fork-joinfork/join框架是ExecutorService接口的一种具体实现，目的是为了帮助你更好地利用多处理器带来的好处。它是为那些能够被递归地拆解成子任务的工作类型量身设计的。其目的在于能够使用所有可用的运算能力来提升你的应用的性能。类似于ExecutorService接口的其他实现，fork/join框架会将任务分发给线程池中的工作线程。fork/join框架的独特之
成长中的莫小白·2020-07-14 13:34

hadoop相关(以期为单位）

forfuture1978.iteye.com/blog/615033（2）HDFS读写过程解析地址：http://blog.csdn.net/forfuture1978/article/details/6001302（3）Map-Reduce
this_heart_add_add·2020-07-14 07:54

hadoop mapreduce几种处理方式

1、多map多reduce在某些业务场景中，如找出公共好友的过程中，一组map-reduce任务没办法一次处理得到结果，因此应用两次map-reduce进行处理。
wtysuper6·2020-07-14 07:50

深入浅出学Spring Data JPA

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
LzwGlory·2020-07-14 06:05

MapReduce编程模型2——Mapper简介

Hadoop的Map-Reduce框架会为Job的每个InputSplit产生一个maptask，InputSplit是由InputFormat生成。Mapp
看得出的就是·2020-07-14 04:29

Spring Data JPA的使用

SpringDataJPA1.SpringData简介SpringData项目的目的是为了简化基于Spring框架应用的数据访问技术，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持
tlovet_1314·2020-07-14 02:44

springBoot整合springData Jpa

1、springData是什么SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持
java_esky110·2020-07-14 02:46

PageRank算法简介及Map-Reduce实现

PageRank对网页排名的算法，曾是Google发家致富的法宝。以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。一、什么是pagerankPageRank的Page可是认为是网页，表示网页排名，也可以认为是LarryPage(google产品经理)，因为他是这个算法的发明者之一，还是googleCEO（^_^）。PageRank算法计算每一个网页
cheneypku·2020-07-14 00:00

6.824 Spring 2020 -- Lab 1: MapReduce

6.824/labs/lab-mr.html代码实现：https://github.com/bryson-davis/6.824-golabs-2020(分支lab-1-mr)实现目标根据论文实现一个如下的map-reduce
Bryson Davis·2020-07-13 14:44

Spring Data和Spring Data JPA详解

SpringData是持久层通用解决方案，支持关系型数据库Oracle、MySQL、非关系型数据库NoSQL、Map-Reduce框架、云基础数据服务、搜索服务等等。
机智的豆子·2020-07-13 11:50

java中不太常见的东西(4) - Fork/Join

Fork/Join在JDK1.7的时候引入，它某种程度上可以实现简单的map-reduce操作。笔者目前整理的一些blog针对面试都是超高频出现的。
淳安郭富城·2020-07-12 22:14

NUMA架构的CPU -- 你真的用好了么？

如果每个core的工作性质都是share-nothing（类似于map-reduce的nod
吴毅·2020-07-12 18:36

Hadoop子项目介绍

解决非Java程序员使用Hadoop难题使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce
weixin_34087503·2020-07-12 08:54

Hive-生成一个大文件（小文件合并）

sethive.execution.engine=mr;--在map-reduce作业结束时合并小文件。如启用，将创建map-only作业以合并目标表/分区中的文件。
weixin_30929195·2020-07-12 07:14

常见MongoDB数据库操作产生的锁总结

操作锁类别查询读锁从游标中getMore读锁写入数据写锁删除数据写锁更新数据写锁map-reduce读写锁创建索引写锁，默认的是前台创建索引，将锁住整个db,建议放后台eval全局锁，除非使用noloc
csd753111111·2020-07-11 04:31

使用mongoDB pipeline进行聚合操作

分别是aggregationpipeline，Map-Reduce和SinglePurposeAggregationOperations。今天我们主要来讨论一下关于agg
xusheng__zhang·2020-07-10 13:08

Hive 基础知识

Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类sql查询功能，本质是把sql转换为map-reduce。
谢厂节_编程圈·2020-07-10 13:04

并行计算 & HPC & MPI

2.HPCHPC，highperformancecomputing，高性能计算平台，和map-reduce并行的一种高性能分布式计
_佚名-2018_·2020-07-10 05:20

云计算（五）——Mapreduce 的使用

在执行map-reduce过程中按行
loadding...·2020-07-10 00:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他