map-reduce

大规模数据处理实战--总体概述

目录Map-Reduce淘汰的原因MapReduce的替代者大规模电商热销榜大规模数据处理工具出现的年代到2014年谷歌内部没人用Map-Reduce了2016年谷歌内部培训中，把Map-Reduce替换成了
hixiaoxiaoniao·2019-05-04 14:32

【4.分布式计算】spark

spark和map-reduce(有时候hadoop会指这个，我还是叫hadoop是个整体设计)，flink这三个都是并行计算的方式。
梦想家·2019-04-28 00:00

Hadoop Storm Spark Kafka

Spark是内存分布式计算框架，试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Reduce，但是流处理目前还是弱于
corpse2010·2019-04-16 18:06

612.1.004 ALGS4 | Elementary Sorts - 基础排序算法

sublime编辑器写代码，命令行编译减少对ide的依赖//可以提示缺少什么依赖import所有示例代码动手敲一遍Graham'sScan是经典的计算几何算法shffule与map-reduce有关——
Neo007·2019-03-11 11:00

Spring Data（一）|什么是Spring Data 理解

它使数据访问技术，关系数据库和非关系数据库，map-reduce框架和基于云的数据服务变得简单易用。这是一个伞形项目，其中包含许多特定于给定数据库的子项目。
白衬衫猿·2019-03-07 11:29

直通BAT-大数据

哈希函数Map-Reduce案例1一用map-reduce方法统计一篇文章中每个单词出现的个数海量数据的常见处理技巧案例二请对10亿个IPV4的ip地址进行排序，每个ip只会出现一次考虑到IPV4的ip
带你去网吧里偷耳机·2019-03-03 20:40

MapReduce编程模型1 —— InputFormat简介

Map-Reduce框架依赖作业的InputFormat完成如下工作：1.验证作业的输入规范；2.将输入文件拆分为逻辑InputSplits，然后将每一个分片分配给一个独立的Mapper；3.提供RecordReader
看得出的就是·2019-02-06 22:52

大数据之脚踏实地学11--Spark神器的安装

如果没有她，数据的管理操作都要通过编写Java代码，运行Map-Reduce，那将是一件非常头疼的事。
Sim1480·2019-01-24 09:00

Linux内核load balance(一)

如果每个core的工作性质都是share-nothing（类似于map-reduce的node节点的作业属性），那么也许就不会有NUMA。
不一样的烟火火·2019-01-20 23:44

大数据之脚踏实地学09--Hive嵌入式安装

正如前几期所说，Hadoop的搭建实际上最核心的就是HDFS（文件存储系统）、Map-Reduce（运算系统）和Yarn（资源调配系统）三个组间。
Sim1480·2019-01-10 08:00

入手 Hive 需要知道的一些概念

Hive是一个基于Hadoop的数据仓库平台,Hive可以看成是从SQL到Map-Reduce的映射器。
亚历山大的陀螺·2019-01-04 13:32

Spark下FP-Growth

，对于Hadoop就会产生多次IO操作，严重影响程序运行效率，而Spark这种弹性式内存计算框架可以将中间输出和结果保存在内存中，不需要重复读写HDFS，所以Spark能更好地适用于数据挖掘需要递归的Map-Reduce
answer3lin·2018-11-26 10:12

Fork/Join框架，入门

引言Fork/Join在JDK1.7的时候引入，它某种程度上可以实现简单的map-reduce操作。
不会飞的_假BMX·2018-11-14 18:27

Hive的优化方法

1、join连接时的优化：当超过2个表进行join关联操作时，如果on后面JOIN的key相同，不管有多少个表，都会则会合并为一个Map-Reduce。
蓝星部队·2018-10-31 18:07

大数据之hadoop简介

大数据之hadoop简介一、背景信息Hadoop的思想之源：Google带给我们的关键技术和思想是谷歌的三篇论文GFS（存储）Map-Reduce（计算）BigtableHadoop创始人，Hadoop
Cactus_lrg·2018-10-22 13:04

Hadoop2.x与Hadoop1.x的MapReduce比较

*JobTracker*Map-reduce框架的中心*与集群中的机器定时通信heartbeat*管理哪些程序应该跑在哪些机
Rita楠神·2018-10-18 10:07

分布式HDFS详解

Hadoop的历史：Hadoop的思想起源是Google当年发布三篇论文，GFS,Map-Reduce和BigTable。
Chris_MZJ·2018-10-15 16:22

百战程序员-SpringData视频教程从入门到精通（高薪必备技能）

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。
百战程序员·2018-09-26 18:07

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的
大数据首席数据师·2018-09-17 14:46

Hive和关系数据库的简单区别

关系数据库则是服务器本地的文件系统；2、Hive使用的计算模型是MapReduce，而关系数据库则是自己设计的计算模型；3、关系数据库都是为实时查询的业务进行设计的，而Hive则是为海量数据做数据挖掘设计的，实时性很差，因为用到了Map-Reduce
Chengliangyao·2018-09-02 10:50

mongo aggregate聚合出现没有配置游标问题：The 'cursor' option is required

有时一个月的时间没有写博客了，是最近比较忙，也是自己在学习的阶段，所以花在博客的时间就相对比较少了；最近一个月都是在学mongo的相关内容，包括mongo的map-reduce,聚合管道以及mongo的索引等技术点
eleven十一·2018-08-26 21:57

【小家java】java8新特性之---Stream API 详解 (Map-reduce、Collectors收集器、并行流、groupby多字段分组)

相关阅读【小家java】java5新特性（简述十大新特性）重要一跃【小家java】java6新特性（简述十大新特性）鸡肋升级【小家java】java7新特性（简述八大新特性）不温不火【小家java】java8新特性（简述十大新特性）饱受赞誉【小家java】java9新特性（简述十大新特性）褒贬不一【小家java】java10新特性（简述十大新特性）小步迭代【小家java】java11新特性（简述八
_YourBatman·2018-08-08 19:15

大数据笔记

号开始，在这个目录里面加入大数据算法的内容大数据原理大数据笔记（一）：HDFSIntellijidea下hadoop的开发环境搭建和相应的编程实践（HDFS）大数据笔记（二）：HBase大数据笔记（三）：Map-Reduce
Ding_xiaofei·2018-08-08 00:00

大数据面试题一

1、简答说一下hadoop的map-reduce编程模型首先maptask会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable
franklyna·2018-07-30 10:24

阿里秋招面试

3、Hadoop的Map-Reduce是怎么工作的4、红黑树为什么比平衡二叉树
没有xiaoweiba·2018-07-26 17:05

HDFS理解

namenode启动过程hdfs异常与恢复在配置hbase集群将hdfs挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习;大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce
M.H·2018-07-14 10:12

Spring Data JPA入门简解与XML配置实现

Spring的一个子项目，SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问技术，包括非关系数据库、Map-Reduce框架、云数据服务等等。
流烟默·2018-06-27 18:57

大数据面试题集锦(五)

1、简答说一下hadoop的map-reduce编程模型首先maptask会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable
Zzreal·2018-06-19 16:53

大数据笔记（三）：Map-Reduce

分布式并行编程在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？MapReduce模型简介•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式
Ding_xiaofei·2018-05-25 21:45

SpringData JPA的概念

springData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
霖你唔到·2018-05-15 22:00

hadoop、hbase、hive、spark分布式系统架构原理

全栈工程师开发手册（作者：栾鹏）架构系列文章机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库
数据架构师·2018-05-15 11:50

Spring Data框架详细介绍

SpringData是持久层通用解决方案，支持关系型数据库Oracle、MySQL、非关系型数据库NoSQL、Map-Reduce框架、云基础数据服务、搜索服务如果觉得文章不错，对你有帮助，请作者喝杯咖啡
从放弃到开始·2018-05-11 19:00

Hadoop面试问题和回答3

Hadoop面试问题和回答3[toc]参考：Hadoop/Spark相关面试问题总结1简答说一下hadoop的map-reduce编程模型吧？
小小少年Boy·2018-04-18 17:54

Hadoop Yarn资源管理——Hadoop1.0与Hadoop2.0对比

1、Hadoop1.0缺陷JobTracker是Map-reduce的集中处理点，存在单点故障。JobTrac
雾幻·2018-04-12 20:32

spring data jpa使用详解(推荐)

其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。SpringData包含多个子项目：Commons-提供共享的基础框架，适合各个子项目使用，支
牛奋lch·2018-04-04 15:59

MapReduce框架笔记——Shuffle过程详解

0x0背景map-reduce是hadoop自带的计算框架，虽然现在大多数项目已经不采用该框架进行计算（Spark等基于内存的计算框架效率更高），但是他的原理还是值得进行研究的。
小小Tiny·2018-04-03 16:20

SpringBooot之四：JPA

其主要目标是使得数据库的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。此
大话JAVA的那些事·2018-03-30 08:08

详细介绍springData

SpringData项目的目的是为了简化构建基于Spring框架应用的数据访问计数，包括非关系数据库、Map-Reduce框架、云数据服务等等；另外也包含对关系数据库的访问支持。
TurkeyMiami·2018-03-29 09:17

Hadoop——配置开发环境。

在下面范例中的MavenPOM项目对象模型（ProjectObjectModel）说明了编译和测试Map-Reduce程序时需要的依赖项（dependency）。依赖关系是POM中有趣的一部分。
孤芳不自賞·2018-03-26 15:45

Spring Data Jpa --- 入门

并支持map-reduce框架和云计算数据服务。对于拥有海量数据的项目，可以用SpringData来简化项目的开发。然而针对不同的数据储存访问使用相对的类库来操作访问。
__静禅__·2018-01-22 21:46

hadoop、hive常见问题及解决方式

1、hive查询卡死现象：执行hive查询时，迟迟不能出现map-reduce任务进度原因：空间不足导致，清理掉无用的文件，释放出空间即可。
流火星空·2018-01-03 13:39

numa架构初探--持续更新

如果每个core的工作性质都是share-nothing（类似于map-reduce的node节点的作业属性），那么也许就不会有NUMA。
IRE王一喆·2017-12-07 22:34

MR 运行原理

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
首席撩妹指导官·2017-11-17 14:23

利用Hadoop平台的map-reduce进行词频统计

下述内容操作平台有三个：个人PC，远端阿里云linux服务器，远端Hadoop集群（一）进入本地服务器实验文件目录（二）查看实验步骤说明文档（三）删除前一次操作同样实验的数据，避免实验干扰错误（四）上传数据集到hadoop集群（五）不要直接写完程序去hadoop集群上运行；先小规模数据，本地模拟程序debugmap操作程序reduce操作程序（六）利用hadoopstreaming进行map和re
Young_win·2017-11-02 19:08

简单的map-reduce的java例子

需求是去除一个key为long型，value为元素为integer的list的map的value的值。publicclasstest1{publicstaticvoidmain(String[]args){Mapmap=Maps.newHashMapWithExpectedSize(5);map.put(1l,Objects.hashCode(Lists.newArrayList(1,2,3)))
Stormbreaker1995·2017-10-26 20:09

Python利用hadoop Streaming编写的Map-Reduce程序命令运行和本地调试运行

Python利用hadoopStreaming编写的Map-Reduce程序命令运行和本地调试运行一、Hadoop的Streaming介绍Hadoop本身是用Java开发的，程序也需要用Java编写，但是通过
Data_IT_Farmer·2017-10-24 14:32

Heron：Twitter的新一代流处理引擎

流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。
DemonHunter211·2017-10-13 09:41

Heron：Twitter的新一代流处理引擎

流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。随着互联网业务的发展以及数据规模的持续扩大，传统的批处理计算难以有效地对数据进行快速低延迟处理并返回结果。
csdn郭芮·2017-10-11 11:48

Heron：Twitter的新一代流处理引擎

作者｜吕能，吴惠君，符茂松责编｜郭芮流计算又称实时计算，是继以Map-Reduce为代表的批处理之后的又一重要计算模型。
csdn大数据·2017-10-11 00:00

Hadoop Yarn初探

mapReduce的结构如下：从上图中可以清楚的看出原MapReduce程序的流程及设计思路：1.用户程序(JobClient)提交了一个job，job的信息会发送到JobTracker中，JobTracker是Map-reduce
kevinjqy·2017-10-06 15:50
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他