E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoopmapreduce
hbase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
闵开慧
·
2012-08-31 15:00
hbase基本概念和hbase
shell常用命令用法
MongoDB Hadoop Connector 1.0 正式版发布
MongoDBHadoopConnector的核心功能是允许读取MongoDB数据到
HadoopMapReduce
工作中,以及将MapReduce工作的结果写回到MongoDB。
qmkemail
·
2012-07-30 16:00
connector
hadoop基础
在用户使用
HadoopMapReduce
模型进行并行计算时,用户只需要写好Map函数、Reduce函数,之后调用JobCli
ancin
·
2012-07-17 17:00
apache
mapreduce
Hadoop学习笔记
前段时间,学习了一下
HadoopMapReduce
,这里进行简单的总结,主要来自于《HadoopInAction》。
tankles
·
2012-07-12 13:00
mapreduce
hadoop
String
Class
作业
output
Facebook的公平份额调度器FairScheduler
同时满足不同用户提交的作业在计算时间、存储空间、数据流量和响应时间都有不同需求的情况下,使用
Hadoopmapreduce
框架能够应对多种类型作业并行执行,使得用户具有良好的体验,所以Face
xhh198781
·
2012-05-23 19:00
负载均衡
任务调度
Facebook
任务
jobs
作业
【转载】HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
假叶_jaya
·
2012-04-17 10:22
【转载】HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
SMCwwh
·
2012-04-17 10:00
Math
shell
hbase
存储
compression
nosql数据库
【转载】HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
SMCwwh
·
2012-04-17 10:00
Math
shell
hbase
存储
compression
nosql数据库
NativeTask:利用本地执行引擎加速Hadoop
文/常冰琳,杨栋NativeTask是
HadoopMapReduce
的高效执行引擎实现。
yangshuang
·
2012-03-29 11:00
CTO视点
HBase之旅四:HBase MapReduce实例分析(转自:Taobao QA Team)
很好理解本文前提是你对
HadoopMapReduce
有一定的了解,如果你是初次接触
HadoopMapReduce
编程,可以参考http://qa.taobao.com/?
zc0604
·
2012-03-21 07:00
mapreduce
揭秘InputFormat:掌控Map Reduce任务执行的利器
InputFormat类是
HadoopMapReduce
框架中的基础类之一。该类主要用来定义两件事情:数据分割(Datasplits)记录读取器(Recordreader)数据分
曹如进
·
2012-01-17 00:00
下一代Apache Hadoop MapReduce框架的架构
需求当我们对
HadoopMapReduce
框架进行改进时,需要时刻谨记的一个重要原则是用户的
wf1982
·
2012-01-14 11:00
apache
mapreduce
hadoop
框架
集群
作业
揭秘InputFormat:掌控Map Reduce任务执行的利器
InputFormat类是
HadoopMapReduce
框架中的基础类之一。该类主要用来定义两件事情:数据分割(Datasplits)记录读取器(Recordreader)数据分
Boris Lublinsky, Mike Segel
·
2012-01-09 00:00
揭秘InputFormat:掌控Map Reduce任务执行的利器
InputFormat类是
HadoopMapReduce
框架中的基础类之一。该类主要用来定义两件事情:数据分割(Datasplits)记录读取器(Recordreader)数据分
Boris Lublinsky, Mike Segel
·
2012-01-09 00:00
Hadoop Streaming
Hadoop版本:Hadoop-0.20.204Hadoop的Streaming框架允许任何程序语言实现的可执行程序或者脚本在
HadoopMapReduce
中使用,方便已有程序向Hadoop平台移植。
deqingguo
·
2011-12-01 10:00
java
mapreduce
hadoop
脚本
iterator
作业
Hadoop MapReduce 任务执行流程源代码详细解析
读者在阅读之后会对
HadoopMapReduce
0.20.2版本源代码有一个大致的认识。1.2读者范围如果读者想只是想从原理上更加深入了解HadoopMap
yclzh0522
·
2011-11-22 13:00
未来商业智能系统:Hadoop来当家
关键词:
HadoopMapReduce
大数据商业智能数据库NoSQL【TechTarget中国原创】现在,当人们提到大数据的时候首先想起的技术往往是
HadoopMapReduce
,像Hadoop这样的分布式架构在
ccsdba
·
2011-11-12 23:00
mapreduce
hadoop
NoSQL
商业智能
Teradata
nosql数据库
Hadoop运行流程分析
1.概述
HadoopMapReduce
基于“分而治之”的思想,将计算任务抽象成map和reduce两个计算过程,计算流程如下:map过程包括:1).从磁盘读入数据2).运行map任务3).写结果到磁盘reduce
yfkiss
·
2011-10-31 23:00
mapreduce
hadoop
框架
prototype
任务
磁盘
hadoop知识点整理
详情参见
HadoopMapReduce
。 2. Hadoop 运行于什么平台? 1. Java 1.5.x 或更高版本(推荐使用 Sun 的实现版本); 2.
lin75819969
·
2011-09-24 16:00
hadoop
我的云之旅--hadoop集群集成Hive(4)
Hive:可以对数据转换为类SQL执行,调用
hadoopmapreduce
进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后adhoc查询也变成可能。所以该软件还是不错的。
longronglin
·
2011-09-08 20:00
mapreduce
hadoop
集群
测试
分布式计算
Facebook
MapReduce NextGen
Yahoo二月份在博客上发表的一篇关于
HadoopMapReduce
框架改进的文章,大概翻译了一下。
heiliguai
·
2011-08-12 19:00
框架
hadoop
hadoop知识点整理
详情参见
HadoopMapReduce
。2.Hadoop运行于什么平台?1.Java1.5.x或更高版本(推荐使用Sun的实现版本);2.支持Linux与Windows操作系统。
xyz2011
·
2011-07-06 11:19
hadoop
大数据
java
操作系统
hadoop知识点整理
详情参见
HadoopMapReduce
。 2. Hadoop 运行于什么平台? 1. Java 1.5.x 或更高版本(推荐使用 Sun 的实现版本);2.
p_x1984
·
2011-07-06 11:00
hadoop
hadoop知识点整理
详情参见
HadoopMapReduce
。 2. Hadoop 运行于什么平台? 1. Java 1.5.x 或更高版本(推荐使用 Sun 的实现版本);2.
p_x1984
·
2011-07-06 11:00
hadoop
hive执行作业时reduce任务个数设置为多少合适
HadoopMapReduce
程序中,reducer个数的设定极大影响执行效率,这使得Hive怎样决定reducer个数成为一个关键问题。
jiedushi
·
2011-07-04 15:53
mapreduce
hadoop
hive
职场
休闲
hive执行作业时reduce任务个数设置为多少合适
HadoopMapReduce
程序中,reducer个数的设定极大影响执行效率,这使得Hive怎样决定reducer个数成为一个关键问题。
jiedushi
·
2011-07-04 15:53
职场
休闲
hadoop
hive
mapreduc
hadoop
HBase技术简介
上图描述了HadoopEcoSystem中的各层系统,其中HBase位于结构化存储层,HadoopHDFS为HBase提供了高可靠性的底层存储支持,
HadoopMapReduce
为HBase提供了高性能的计算能力
Franklinsun
·
2011-05-24 19:00
hbase
mapreduce
table
hadoop
存储
pig
HBase
HBase技术简介
上图描述了HadoopEcoSystem中的各层系统,其中HBase位于结构化存储层,HadoopHDFS为HBase提供了高可靠性的底层存储支持,
HadoopMapReduce
为HBase提供了高性能的计算能力
FranklySun
·
2011-05-24 19:00
Hadoop Streaming
HadoopMapReduce
和HDFS采用Java实现,默认提供Java编程接口,另外提供了C++编程接口和Streaming框架。
yfkiss
·
2011-05-03 17:00
java
mapreduce
hadoop
Path
任务
作业
Hadoop MapReduce
HadoopMapReduce
是一个用于处理海量数据的分布式计算框架。
yfkiss
·
2011-05-03 16:00
mapreduce
hadoop
分布式计算
任务
分布式存储
程序开发
Hadoop TeraSort 基准测试实验
相关资料
HadoopMapReduce
扩展性的测试: http://cloud.csdn.
zklth
·
2011-04-01 20:00
hadoop
测试
jar
input
library
output
hadoop map reduce 源码阅读
阅读更多今天完成了
hadoopmapreduce
部分的源码阅读。
stephen80
·
2011-02-27 20:00
Hadoop
HCE Benchmark
1.项目背景HadoopC++Extension(HCE)由百度开发的HadoopMapReduceC++扩展框架,其诞生源于baidu/dpf组对
HadoopMapReduce
稳定性、扩展性和高效率的追求
百度技术
·
2011-02-11 11:20
百度
职场
Benchmark
休闲
HCE
Hadoop FAQ
详情参见
HadoopMapReduce
。2.Hadoop运行于什么平台?1.Java1.5.x或更高版本(推荐使用Sun的实现版本);2.支持Linux与Windows操作系统。在BSD、Ma
dy_252
·
2011-01-28 14:00
hive执行作业时reduce任务个数设置为多少合适?
HadoopMapReduce
程序中,reducer个数的设定极大影响执行效率,这使得Hive怎样决定reducer个数成为一个关键问题。
iteye_10679
·
2011-01-12 15:52
hive
HadoopMapReduce
--Map-Reduce具体实现详解
FileSplit:文件的子集--文件分割体 简介: 这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉,请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html Map 由于Ma
·
2010-12-03 13:00
map-reduce
zz 翻译 map reduce操作实际执行
http://wiki.apache.org/hadoop/
HadoopMapReduce
简介: 这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。
badxy
·
2010-06-21 19:00
apache
mapreduce
数据结构
hadoop
Google
zz 翻译 map reduce操作实际执行
阅读更多http://wiki.apache.org/hadoop/
HadoopMapReduce
简介:这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。
badxy
·
2010-06-21 19:00
Hadoop
Mapreduce
Google
数据结构
Apache
Google获得MapReduce专利
专利 [MapReduce介绍][Google利器之MapReduce ][MapReduce深入分析][MapReduce的C语言实现][MapReduce对于Database是否为巨大倒退][
HadoopMapReduce
·
2010-01-21 20:00
mapreduce
关于
HadoopMapReduce
的精彩介绍
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/ http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/ http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/ IBM从来不会让人失
inter999
·
2009-04-15 18:00
Hadoop源代码分析(*IDs类和*Context类)
我们开始来分析
HadoopMapReduce
的内部的运行机制。用户向Hadoop提交Job(作业),作业在JobTracker对象的控制下执行。
caibinbupt
·
2009-03-10 17:00
apache
mapreduce
hadoop
虚拟机
配置管理
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)
前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了
HadoopMapReduce
部分的应用API,用于用户实现自己的MapReduce应用。
caibinbupt
·
2009-03-06 14:00
apache
mapreduce
hadoop
框架
工作
Tutorial Introduction
1、学习到hdfs怎样存储巨大的数据,怎样配置hdfs,怎样使用hdfs存储和检索数据2、给你展示怎样开始一个hadoop环境以做试验3、介绍
hadoopmapreduce
编程模型,怎样写几个Mapreduce
sealbird
·
2009-03-03 10:00
Cascading——针对Hadoop MapReduce的数据处理API
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现
HadoopMapReduce
的算法。
R.J. Lorimer
·
2008-10-13 00:00
基于Hadoop的Map reduce编程(一)
阅读更多翻译的一篇国外的关于
hadoopmapreduce
的文章,文章比较长,先翻译第一部分吧翻译者:pconlin900博客:http://pconline900.iteye.comHadoop是apache
pconline900
·
2008-09-25 14:00
编程
Hadoop
Mapreduce
框架
Google
第一个MapReduce任务
今天将一个日志统计任务用
HadoopMapReduce
框架重新实现了一次,数据量并不大,每天分析一个2G多的日志文件罢了
dennis_zane
·
2008-08-23 11:00
Mapreduce
Hadoop
Ruby
阿里巴巴
游戏
第一个MapReduce任务
今天将一个日志统计任务用
HadoopMapReduce
框架重新实现了一次,数据量并不大,每天分析一个2G多的日志文件罢了
dennis_zane
·
2008-08-23 11:00
Mapreduce
Hadoop
Ruby
阿里巴巴
游戏
第一个MapReduce任务
今天将一个日志统计任务用
HadoopMapReduce
框架重新实现了一次,数据量并不大,每天分析一个2G多的日志文件罢
庄周梦蝶
·
2008-08-23 11:00
上一页
14
15
16
17
18
19
20
21
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他