E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
map-reduce
spring-data-jpa 数据库访问模板框架
其主要目标是使得数据库的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。对于拥有海量数据的项目,可以用SpringData来简化项目的开发。
wbj0110
·
2014-01-06 14:00
DAO
spring
jpa
Data
spring-data-jpa 数据库访问模板框架
其主要目标是使得数据库的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。对于拥有海量数据的项目,可以用SpringData来简化项目的开发。
wbj0110
·
2014-01-06 14:00
Spring
data
jpa
dao
spring-data-jpa 数据库访问模板框架
其主要目标是使得数据库的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。对于拥有海量数据的项目,可以用SpringData来简化项目的开发。
wbj0110
·
2014-01-06 14:00
Spring
data
jpa
dao
spring-data-jpa 数据库访问模板框架
其主要目标是使得数据库的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。对于拥有海量数据的项目,可以用SpringData来简化项目的开发。
wbj0110
·
2014-01-06 14:00
DAO
spring
jpa
Data
spring-data-jpa 数据库访问模板框架
其主要目标是使得数据库的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。对于拥有海量数据的项目,可以用SpringData来简化项目的开发。
wbj0110
·
2014-01-06 14:00
DAO
spring
jpa
Data
Oozie运行Hadoop
2.拷贝examples目录到HDFS上面 hadoop fs –copyFromLocal examples /user/hadoop/ 3.修改oozie目录下examples/apps/
map-reduce
fighting_2013
·
2014-01-01 19:00
hadoop
oozie
Spring Data JPA
其主要目标是使得对数据的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。SpringDat
love_bao
·
2013-12-19 20:57
spring
Web
jpa
Data
Spring Data JPA
其主要目标是使得对数据的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。SpringData包含
love_bao
·
2013-12-19 20:57
web
Spring
Data
JPA
web后台
MapReduce工作原理
Map-Reduce
框架的运作完全基于对,即数据的输入是一批对,生成的结果也是一批对,只是有时候它们的类型不一样而已。
appstore81
·
2013-12-17 17:28
hadoop
深入浅出学Spring Data JPA
其主要目标是使得对数据的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。
a137268431
·
2013-12-17 12:00
spring
spring
jpa
Data
深入浅出学Spring Data JPA
其主要目标是使得对数据的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。
a137268431
·
2013-12-17 12:00
spring
深入浅出学Spring Data JPA
其主要目标是使得对数据的访问变得方便快捷,并支持
map-reduce
框架和云计算数据服务。
LzwGlory
·
2013-12-17 12:00
Spring Data JPA 简单介绍
于是就花了点时间了解SpringData,可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍:针对关系型数据库,KV数据库,Document数据库,Graph数据库,
Map-Reduce
a137268431
·
2013-12-17 11:00
spring
HaLoop——适用于迭代计算的Hadoop
.blog.163.com/blog/static/127776163201211553756914/该文章提出了对Hadoop的修改,使之能够适用于迭代计算,将原生的Hadoop中每一个job中一个
map-reduce
yuexiaodong
·
2013-12-15 10:00
Haloop
迭代计算
Sqoop系列之略懂
sqoop架构非常简单,其整合了Hive、Hbase和Oozie,通过
map-reduce
任务来传
token01
·
2013-12-11 15:00
Hadoop 新 MapReduce 框架 Yarn 详解
developerworks/cn/opensource/os-cn-hadoop-yarn/Hadoop新MapReduce框架Yarn详解唐清原,咨询顾问简介: 本文介绍了Hadoop自0.23.0版本后新的
map-reduce
jmppok
·
2013-12-11 14:00
hadoop
yarn
hadoop经典系列(五)1.x的mapreduce过程图解
reduce的细节从上图中可以清楚的看出原MapReduce程序的流程及设计思路: 1首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker中,JobTracker是
Map-reduce
85977328
·
2013-12-02 23:00
mapreduce
hadoop经典系列(五)1.x的mapreduce过程图解
reduce的细节从上图中可以清楚的看出原MapReduce程序的流程及设计思路: 1首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker中,JobTracker是
Map-reduce
85977328
·
2013-12-02 23:00
mapreduce
hadoop经典系列(五)1.x的mapreduce过程图解
reduce的细节从上图中可以清楚的看出原MapReduce程序的流程及设计思路: 1首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker中,JobTracker是
Map-reduce
85977328
·
2013-12-02 23:00
mapreduce
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
pczhangtl
·
2013-11-24 15:00
[置顶] MongoDB MapReduce 使用(二)
一 MapReduce在分片集合上的使用
Map-reduce
可以在分片集合上使用,而且可以将分片集合作为输入和输出。
Crazy__Programmer
·
2013-11-18 08:00
mapreduce
mongodb
聚合
YARN赋予Hadoop新的能力
通过将集群资源管理这些关注点从数据处理中分离出来,YARN使得Hadoop能应用于
Map-Reduce
以外的数据处理中。因此,这样大量新项目就有可能实现了。
Roopesh Shenoy
·
2013-11-10 00:00
Mapreduce 框架解析
MapReduce过程解析 一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
yueyedeai
·
2013-11-09 15:00
mapreduce
hadoop
基于hadoop创建lucene索引(一)编程模型一
Map-Reduce
模型回顾:Hdfs文件读写、lucene索引读写特点: Hdfs是hadoop的分布式文件存储系统。
A221133
·
2013-11-08 12:00
海量数据
一淘
Hadoop 新 MapReduce 框架 Yarn 详解
简介: 本文介绍了Hadoop自0.23.0版本后新的
map-reduce
框架(Yarn)原理,优势,运作机制和配置方法等;着重介绍新的yarn框架相对于原框架的差异及改进;并通过Demo示例详细描述了在新的
kylt
·
2013-11-02 13:00
mapreduce
Hadoop学习总结之四:
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
wisgood
·
2013-10-30 11:00
如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
要想让Linux命令使用所有的CPU内核,我们需要用到GNUParallel命令,它让我们所有的CPU内核在单机内做神奇的
map-reduce
操作,当然,这还要借助很少用到的–pipes参数(也叫做–spreadstdin
mvpme82
·
2013-10-30 09:00
linux
计算
并行
加速
Map-Reduce
Algorithm Design
记录:
map-reduce
design pattern 初始化应该尽可能放到configure中例子1.wordcount优缺点:===================================
LiFeitengup
·
2013-10-04 21:00
【大数据挖掘学习-1】计算模型:MapReduce
2)分布式/并行编程将会变得很难针对以上的挑战,可以使用
Map-Reduce
来解决。
Map-Reduce
是Google提出的计算模型或数据管理模型,是处理大数据的一种非常优雅的方式。
wuxiaoer717
·
2013-10-02 08:00
Hadoop在Mapper内部获取Input File的文件名
很多时候我们在一个
map-reduce
任务中,会用到Join,这样整个job的输入可能就是两个以上的文件了(换句话说:mapper要处理两个以上的文件)。
疯狂de咸蛋
·
2013-10-01 07:00
hadoop
Hadoop Mapreduce分区、分组、二次排序过程详解[转]
徐海蛟教学用途1、MapReduce中数据流动(1)最简单的过程:
map-reduce
(2)定制了partitioner以将map的结果送往指定reducer的过程:map-partition-reduce
xuhaijiao99
·
2013-09-28 16:21
徐海蛟
徐海蛟博士
大数据
徐海蛟教学
Hadoop Mapreduce分区、分组、二次排序过程详解[转]
徐海蛟教学用途1、MapReduce中数据流动(1)最简单的过程:
map-reduce
(2)定制了partitioner以将map的结果送往指定reducer的过程:map-partition-reduce
xuhaijiao99
·
2013-09-28 16:21
大数据
徐海蛟
徐海蛟博士
hive join
8073608hive(0.9.0):1.支持equalityjoins,outerjoins,andleftsemijoins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为
map-reduce
liou825
·
2013-09-26 11:00
基于
Map-Reduce
的大规模分词服务搭建
目前项目中,分词的主要工作方式可以分为online和offline,online的方式主要是提供服务接口供应用程序来进行调用,比较侧重并发和速度,offline的工作方式主要是一次性的,调用完成就释放,适合一次处理大量文章,较online的工作方式,省去了网络传输的代价,效率要高一些,但是不是很灵活,不能实现良好的易用性。 在数据挖掘任务中,在语料库庞大的条件下,比如千万或者亿级别的文档,单
xyl520
·
2013-09-23 08:00
thrift
分词
map-reduce
Mahout随机森林算法源码分析(1)--Describe
其中BreimanExample是单机版的,而PartialImplementation是可以使用
map-reduce
模式的。
fansy1990
·
2013-09-20 15:00
Mahout
DESCRIBE
随机森林算法
mahout源码分析之Decision Forecast 三部曲之一Describe
其中BreimanExample是单机版的,而PartialImplementation是可以使用
map-reduce
模式的。
fansy1990
·
2013-09-20 15:00
源码
Mahout
分析
mahout源码分析之Decision Forest 三部曲之一Describe
其中BreimanExample是单机版的,而PartialImplementation是可以使用
map-reduce
模式的。
thecloud
·
2013-09-20 07:00
Mahout
map-reduce
优化
map阶段优化 参数:io.sort.mb(default 100) 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。 而是会利用到了内存buffer来进行已经产生的部分结果的缓存, 并在内存buffer中进行一些预排序来优化整个map的性能。 每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该buffer中,
·
2013-09-14 10:00
map-reduce
hadoop学习二:MapReduce源码分析总结
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
SibylY
·
2013-09-13 16:00
Hadoop示例程序WordCount运行及详解
最近在学习云计算,研究Haddop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的
map-reduce
的demo程序WordCount,仔细研究了一下,算做入门了。
dreaminthewind
·
2013-09-09 14:19
hadoop
Hadoop示例程序WordCount运行及详解
最近在学习云计算,研究Haddop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的
map-reduce
的demo程序WordCount,仔细研究了一下,算做入门了。
dreaminthewind
·
2013-09-09 14:19
hadoop
Hadoop
Map-Reduce
天气示例
我们照着Hadoop教程简单的写了一个例子,它可以用于分析天气数据然后找到某年的最高气温。我们是用hadoop0.20的新的API写的,具体代码如下:Mapper类:/* */ packagecom.charles.parseweather; importjava.io.IOException; importorg.apache.hadoop.io.IntWritable; importor
Mrknowledge
·
2013-09-06 10:00
Hadoop
Map-Reduce
天气示例(压缩格式输出)
Hadoop可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为,比如,我们需要进行一个
map-reduce
作业,并且吧最终作业reduce过程的结果输出为压缩的格式,我们可以在一般的
Mrknowledge
·
2013-09-06 10:00
Hbase的环境搭建
目录:[ - ] 一、环境的搭建 二、格式化HDFS 二、启动Hadoop 三、向HDFS中放入文件 四、运行一个
Map-Reduce
程序 在使用hadoop的时候,可能遇到各种各样的问题
不爱不见
·
2013-08-29 14:00
hbase
搭建环境
第二代
map-reduce
架构YARN解析
背景最近开始调研YARN-下一代资源管理系统,hadoop2.0主要由三部分组成Mapreduce,YARN和HDFS,其中HDFS主要增加了HDFSFederation和HDFSHA,Mapreduce是运行在YARN之上的一种编程模型,而YARN是统一资源管理系统,YARN可以认为是HADOOP生态圈的云操作系统,在YARN之上可以运行多种计算编程框架,比如传统的MapReduce,Gigra
lalaguozhe
·
2013-08-19 17:00
hadoop
yarn
(转载)Hadoop --
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
开源中国心理科主任
·
2013-08-13 09:00
hadoop
Map-Reduce的过程解析
(转载)Hadoop --
Map-Reduce
入门
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
开源中国心理科主任
·
2013-08-13 09:00
hadoop
Map-Reduce入门
hadoop1.0 和hadoop2.0 任务处理架构比较
Hadoop1.0 从上图中可以清楚的看出原MapReduce程序的流程及设计思路:首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker中,JobTracker是
Map-reduce
younglibin
·
2013-08-07 14:00
hadoop2
hadoop1.0 和hadoop2.0 任务处理架构比较
Hadoop1.0 从上图中可以清楚的看出原MapReduce程序的流程及设计思路:首先用户程序(JobClient)提交了一个job,job的信息会发送到JobTracker中,JobTracker是
Map-reduce
younglibin
·
2013-08-07 14:00
hadoop2
hadoop源码中的java模式-Builder,建造模式
map-reduce
客户端代码,用Builder模式构造客户端。
geyonghong
·
2013-08-06 15:00
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他