E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoopmapreduce
HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
javaVSandroid
·
2015-10-18 23:07
Google
HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
javaVSandroid
·
2015-10-18 23:07
Google
HBase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
IT达仁
·
2015-10-18 23:07
google
开源分布式计算系统框架比较
开源分布式计算系统框架(Storm,Spark,MapReduce)目前流行的分布式计算框架主要有
HadoopMapReduce
,SparkStreaming,Storm;这三个框架各有优势,现在都属于
齐晖
·
2015-10-15 21:35
云计算项目整理
Spark:一个高效的分布式计算系统
Spark是UCBerkeleyAMPlab所开源的类
HadoopMapReduce
的通用的并行计算框架,Spark基于mapreduce算法实现的分布式计算,拥有
HadoopMapReduce
所具有的优点
u011414200
·
2015-10-14 07:00
Hadoop 新 MapReduce 框架 Yarn 详解
摘自:http://www.open-open.com/lib/view/open1400054279692.html原
HadoopMapReduce
框架的问题对于业界的大数据存储及分布式处理系统来说,
qi20088
·
2015-10-11 23:00
Spark基础知识学习分享
Spark基于mapreduce算法模式实现的分布式计算,拥有
HadoopMapReduce
所具有的优点;但不同于
HadoopMapReduce
的是Job中间输出和结果可以保存在内存中,从而不再需要读写
m635674608
·
2015-10-08 12:00
Spark:一个高效的分布式计算系统
概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类
HadoopMapReduce
的通用的并行计算框架,Spark基于mapreduce算法实现的分布式计算,拥有
HadoopMapReduce
starshine
·
2015-10-05 20:00
spark
分布式计算
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀
Hadoop/spark安装实战(系列篇4)
HadoopMapReduce
词频统计之小试牛刀运行hadoop自带的例子的MapReduce计算1上传文件到hadoop的hdfs的根目录[root@localhosthadoop
段智华
·
2015-09-12 21:51
Hadoop/spark
安装实战
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀
Hadoop/spark安装实战(系列篇4)
HadoopMapReduce
词频统计之小试牛刀运行hadoop自带的例子的MapReduce计算1上传文件到hadoop的hdfs的根目录[root@localhosthadoop
duan_zhihua
·
2015-09-12 21:00
使用Python实现Hadoop MapReduce程序
转自:使用Python实现
HadoopMapReduce
程序英文原文:WritinganHadoopMapReducePrograminPython根据上面两篇文章,下面是我在自己的ubuntu上的运行过程
u013719780
·
2015-09-11 22:00
使用Python实现Hadoop MapReduce程序
转自:使用Python实现
HadoopMapReduce
程序英文原文:WritinganHadoopMapReducePrograminPython根据上面两篇文章,下面是我在自己的ubuntu上的运行过程
u013719780
·
2015-09-11 22:00
Spark入门实战系列--4.Spark运行架构
1、Spark运行架构1.1术语定义lApplication:SparkApplication的概念和
HadoopMapReduce
中的类似,指的是用户编写的Spark应用程序,包含了一个Driver功能的代码和分布在集群中多个节点上运行的
下雨天uu
·
2015-09-09 14:54
spark
hadoop
spark
spark简介
概述什么是SparkSpark是UCBerkeleyAMPlab所开源的类
HadoopMapReduce
的通用的并行计算框架,Spark基于mapreduce算法实现的分布式计算,拥有
HadoopMapReduce
lmh12506
·
2015-08-31 11:00
ODPS简介
DAG编程模型:类似
HadoopMapReduce
,相对SQL更加灵活,但需要一定的
Listron
·
2015-08-24 16:46
odps
数据
MapReduce手册(官网)
综述
HadoopMapReduce
是一个软件框架。它能够很容易的创建以一种可靠,容错的方式在商用机器上的大集群上并行的处理大量的数据。 一个MapReducejob通常将输入的数据集拆分成独立的块。
Allenalex
·
2015-08-24 16:00
mapreduce
hadoop
Spark入门实战系列--4.Spark运行架构
【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Spark运行架构1.1术语定义Application:SparkApplication的概念和
HadoopMapReduce
yirenboy
·
2015-08-19 08:00
hadoop
spark
大数据
Spark入门实战系列--4.Spark运行架构
【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取 1、Spark运行架构1.1 术语定义lApplication:SparkApplication的概念和
HadoopMapReduce
shishanyuan
·
2015-08-19 06:00
HBASE
HBase利用HadoopHDFS作为文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协调工具。
程序员明月
·
2015-08-18 22:00
2015.6.1
1对Jstorm的认识与理解:jstorm是一个类似于
HadoopMapReduce
的分布式处理系统,用户向Jstorm提交一个任务,Jstorm将这个任务按7×24小时跑起来,如果运行过程中有一个worker
UP19910522
·
2015-08-16 15:00
Hive JOIN使用详解
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
Rainmt_水战
·
2015-08-06 16:56
hive
分布式存储系统-HBASE
HBase利用HadoopHDFS作为文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协调工具。
FlinkMe
·
2015-07-26 22:00
hadoop MapReduce - 从作业、任务(task)、管理员角度调优
hadoopMapReduce
-从作业、任务(task)、管理员角度调优http://www.aboutyun.com/thread-10557-1-1.html问题导读1.Combiner的作用是什么
yanhan_huang
·
2015-07-21 10:00
hbase shell基础和常用命令详解
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量
jamesjxin
·
2015-07-14 10:00
大数据
hbase
Cloudera Impala架构设计要点
http://shiyanjun.cn/archives/507.html我们知道,在实时性要求不是很高的应用场景中,比如,月度统计报表生成等,我们基于传统的
HadoopMapReduce
来处理海量大数据
kavy
·
2015-06-30 14:00
impala
[置顶] Spark实战
Spark是UCBerkeleyAmp实验室开源的类
HadoopMapReduce
的通用并行计算框架
oDaiLiDong
·
2015-06-24 16:00
spark讲义
spark实战
Spark基础知识学习分享
Spark基于mapreduce算法模式实现的分布式计算,拥有
HadoopMapReduce
所具有的优点;但不同于
HadoopMapReduce
的是Job中间输出和结果可以保存在内存中,从而不再需要读写
cjun1990
·
2015-06-23 11:00
Hadoop执行MR Job的基本过程
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
jiangshouzhuang
·
2015-06-21 15:00
Hive JOIN使用详解
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
王书兴
·
2015-06-11 18:00
hive
Hive JOIN使用详解
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
王书兴
·
2015-06-11 10:00
JOIN
hive
如何获取Hadoop MapReduce下的日志
如何获取
HadoopMapReduce
中在Yarn下运行的map任务和reduce任务的日志输出:1、首先,需要明确一个概念,就是map任务和reduce任务是在clusternode上运行的,因而,要找出这些任务的输出
DSLZTX
·
2015-06-10 15:00
Hive JOIN使用详解
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
鲍礼彬
·
2015-05-30 21:41
Bigdatda-Hive
Hive JOIN使用详解
有了Hive,如果使用过SQL语言,并且不理解
HadoopMapReduce
运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定查询分析的HQL语句,通过使用类似SQL的语法,将HQL
baolibin528
·
2015-05-30 21:00
hive
JOIN使用详解
Drill中实现HTTP storage plugin
Drill并不会试图取代已有的大数据批处理框架(BigDatabatchprocessingframework),如
HadoopMapReduce
或流处理框架(streamprocessingframework
kevinlynx
·
2015-05-30 20:00
Hadoop源代码分析(*IDs类和*Context类)
我们开始来分析
HadoopMapReduce
的内部的运行机制。用户向Hadoop提交Job(作业),作业在JobTracker对象的控制下执行。
超人学院
·
2015-05-26 11:00
hadoop
超人学院
Hadoop源代码分析(*IDs类和*Context类)
我们开始来分析
HadoopMapReduce
的内部的运行机制。用户向Hadoop提交Job(作业),作业在JobTracker对象的控制下执行。
超人学院66
·
2015-05-26 10:03
hadoop
源代码分析
超人学院
Hadoop源代码分析(*IDs类和*Context类)
我们开始来分析
HadoopMapReduce
的内部的运行机制。用户向Hadoop提交Job(作业),作业在JobTracker对象的控制下执行。
超人学院66
·
2015-05-26 10:03
hadoop
源代码分析
超人学院
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)
前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了
HadoopMapReduce
部分的应用API,用于用户实现自己的MapReduce应用。
超人学院66
·
2015-05-25 14:24
hadoop
源代码分析
超人学院
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)
前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了
HadoopMapReduce
部分的应用API,用于用户实现自己的MapReduce应用。
超人学院66
·
2015-05-25 14:24
hadoop
源代码分析
超人学院
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)
前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了
HadoopMapReduce
部分的应用API,用于用户实现自己的MapReduce应用。
超人学院
·
2015-05-25 14:00
hadoop
超人学院
基于Eclipse的Hadoop应用开发环境配置
启动eclipse,打开窗口 window-->preferences,配置
HadoopMapReduce
的安装路径,在实验环境为/usr/local/hadoop,如下图所示:2.2.5打开MapReduce
天下杰论
·
2015-05-20 15:00
在Windows上使用Eclipse配置Hadoop MapReduce开发环境
在Windows上使用Eclipse配置
HadoopMapReduce
开发环境1.系统环境及所需文件windows8.164bitEclipse(Version:LunaRelease4.4.0)hadoop-eclipse-plugin
yew1eb
·
2015-05-19 15:00
eclipse
mapreduce
hadoop
plugin
Spark(二) -- Spark简单介绍
spark开源的类
HadoopMapReduce
的通用的并行计算框架spark基于mapreduce算法实现的分布式计算拥有
HadoopMapReduce
所具有的优点但不同于MapReduce的是Job
qq1010885678
·
2015-05-11 20:00
spark
Spark基础知识学习分享
Spark基于mapreduce算法模式实现的分布式计算,拥有
HadoopMapReduce
所具有的优点;但不同于
HadoopMapReduce
的是Job中间输出和结果可以保存在内存中,从而不再需要读写
wwwxxdddx
·
2015-05-07 17:00
spark
处理hadoop发送的文件到后台并解析存储到数据库策略
阅读更多处理hadoop发送的文件到后台并解析存储到数据库策略主要实现:首先
hadoopmapreduce
处理好的文件,一个个放到指定的文件目录下,然后通过在Linux下通过定时任务打包发到web服务器的指定目录下
knight_black_bob
·
2015-05-01 17:00
文件
解析
存储
数据库
hadoop
处理hadoop发送的文件到后台并解析存储到数据库策略
阅读更多处理hadoop发送的文件到后台并解析存储到数据库策略主要实现:首先
hadoopmapreduce
处理好的文件,一个个放到指定的文件目录下,然后通过在Linux下通过定时任务打包发到web服务器的指定目录下
knight_black_bob
·
2015-05-01 17:00
文件
解析
存储
数据库
hadoop
与Hadoop相比,如何看待Spark技术?
但是最近的风评已经变化,尤其是14年10月他们完成了Petasort的实验,这标志着Spark越来越接近替代
HadoopMapReduce
了。
shenmanli
·
2015-04-29 09:00
spark
大数据
it培训
内训
BDAS
hbase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用HadoopHDFS作为其文件存储系统,利用
HadoopMapReduce
来处理HBase中的海量数据,利用Zookeeper作为协同服务。
wwwxxdddx
·
2015-04-24 15:00
java
hbase
oozie工作流相关入门整理
通过最简单的一个例子来了解oozie是如何运行的,运行oozie的服务器必须能够访问HDFS,可以提交
hadoopmapreduce
任务
brandNewUser
·
2015-04-16 11:00
oozie
job
oozie工作流相关入门整理
通过最简单的一个例子来了解oozie是如何运行的,运行oozie的服务器必须能够访问HDFS,可以提交
hadoopmapreduce
任务
brandNewUser
·
2015-04-16 11:00
oozie
job
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他