E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop技术
hadoop常见问题解答
因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如
Hadoop技术
,因此可以利用
Hadoop技术
来构建电子政务云平台
qindongliang1922
·
2015-05-11 20:00
hadoop
hadoop常见问题解答
因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如
Hadoop技术
,因此可以利用
Hadoop技术
来构建电子政务云平台
qindongliang1922
·
2015-05-11 20:00
hadoop
hadoop常见问题解答
因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如
Hadoop技术
,因此可以利用
Hadoop技术
来构建电子政务云平台
qindongliang1922
·
2015-05-11 20:00
hadoop
hadoop常见问题解答
因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如
Hadoop技术
,因此可以利用
Hadoop技术
来构建电子政务云平台
qindongliang1922
·
2015-05-11 20:00
hadoop
Hadoop学习资源
《
Hadoop技术
内幕》系列:语言清晰易懂,叙述细致,校印精确,强烈推荐有志于Hadoop的同学人手一套。
严爬爬
·
2015-05-04 13:00
hadoop
大数据
资源整理
Hadoop学习资源
《
Hadoop技术
内幕》系列:语言清晰易懂,叙述细致,校
非典型程序员00
·
2015-04-17 13:45
Hadoop技术
内幕(YARN)第4章问题部分答案
问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上)。问题2:改写DistributedShell程序,使得某个用户指定的命令可以在集群的每个节点上仅执行一次。参考http://tech.ddvip.com/2014-04/1396616894209607.htmlhttp://mail-archives.apache.
逸云丫丫
·
2015-03-30 16:00
Hadoop技术
一句话介绍
Hadoop是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。MapReduce是Google提出的一种算法,用于超大型数据集的并行运算。它是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapredu
lvwenwenjava
·
2015-03-18 11:57
Hadoop
Hadoop技术
一句话介绍
Hadoop 是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。 MapReduce 是Google提出的一种算法,用于超大型数据集的并行运算。它是hadoo
lvwenwen
·
2015-03-18 11:00
hadoop
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
转载处:http://www.linuxidc.com/Linux/2014-03/98978.htm初接触
Hadoop技术
的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase
u012965373
·
2015-01-15 15:00
基于Hadoop2.0、YARN技术的大数据高阶应用实战、
越来越多的企业急需引入
hadoop技术
人才。由于掌握
Hadoop技术
的开发人员并不多,直接导致了这几年
hadoop技术
的薪水远高于JavaEE及Android程序员。
双层牛堡
·
2015-01-14 11:22
android
云计算
解决方案
工作经验
技术人才
基于Hadoop2.0、YARN技术的大数据高阶应用实战、
越来越多的企业急需引入
hadoop技术
人才。由于掌握
Hadoop技术
的开发人员并不多,直接导致了这几年
hadoop技术
的薪水远高于JavaEE及Android程序员。
双层牛堡
·
2015-01-14 11:22
android
云计算
解决方案
工作经验
技术人才
基于Hadoop2.0、YARN技术的大数据高阶应用实战、
越来越多的企业急需引入
hadoop技术
人才。由于掌握
Hadoop技术
的开发人员并不多,直接导致了这几年
hadoop技术
的薪水远高于JavaEE及Android程序员。
双层牛堡
·
2015-01-14 11:22
解决方案
工作经验
技术人才
对于公司组建Hadoop基础框架的推荐分析
初接触
Hadoop技术
的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,whentouseHbaseandwhentouseHive
yimi
·
2015-01-09 17:00
利用sqoop将hive数据导入导出数据到mysql
转自:http://blog.csdn.net/jiedushi/article/details/6663177运行环境 centos5.6 hadoop hivesqoop是让
hadoop技术
支持的
czw698
·
2015-01-09 16:00
Hadoop文档整理
1、《
Hadoop技术
内幕:深入解析HadoopCommon和HDFS》下载地址:http://download.csdn.net/detail/w397090770/66432592、《
Hadoop技术
内幕
daiyelang
·
2015-01-08 17:00
MapReduce学习笔记 —— Map的中间结果
《
Hadoop技术
内幕——深入解析MapReduce架构设计与实现原理》(董西城著)一书中,第8章《Task运行过程分析》中第3小结详细介绍了MapTask的内部实现,过程如图所示:在Spill阶段,当环形缓冲区满后
sorcici
·
2015-01-07 16:57
2014年大数据年终工作总结
经过这段时间的学习和了解,发现
Hadoop技术
复杂,架构复杂,社
山水佳音
·
2014-12-25 10:35
系统架构
大数据
云计算
技术心得
数据建模
MapReduce学习笔记 —— Map的中间结果
《
Hadoop技术
内幕——深入解析MapReduce架构设计与实现原理》(董西城著)一书中,第8章《Task运行过程分析》中第3小结详细介绍了MapTask的内部实现,过程如图所示:在Spill阶段,当环形缓冲区满后
武斌_小米
·
2014-12-25 00:00
mapreduce
hadoop
Hadoop技术
原理总结
1、Hadoop运行原理 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,其最核心的设计包括:MapReduce和HDFS。基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。 基于MapReduce计算模型编写分布式并行程序相对简单,程序员的主要工作就是设计实现Map和Reduce类,其它的并
lwaif
·
2014-12-15 16:00
Hadoop的辉煌还能延续多久?
Hadoop技术
已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准
tanglong8848
·
2014-11-29 23:00
hadoop
第十次 EasyHadoop公益免费技术分享
第十次EasyHadoop公益免费技术分享(互联网大数据与基因大数据交流活动)2014年11月10日技术活动Easy
Hadoop技术
分享,重新起航。
azhao_dn
·
2014-11-11 15:28
hadoop
data
mining
2本
Hadoop技术
内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理
《
Hadoop技术
内幕:深入理解MapReduce架构设计与实现原理》董西成著 机械工业出版社2013年5月出版 2.
u013149325
·
2014-11-03 18:00
mapreduce
hadoop
hadoop
hdfs
common
技术内幕
17、《
hadoop技术
内幕》
hadoop csdn中文社区:http://hadoop.csdn.net/ 教材:《
Hadoop技术
内幕-深入解析MapReduce架构设计与实现原理》 董西成 机械工业出版社2013.5
nickfover
·
2014-10-28 23:00
hadoop
《
Hadoop技术
内幕》读书笔记——Task运行过程分析
本文是董西成的
Hadoop技术
内幕一书的读书章节总结。
brandNewUser
·
2014-10-19 20:00
hadoop
task运行
MapReduce编程模型简介和总结
本文是董西成《
Hadoop技术
内幕》一书的读书总结。
clamaa
·
2014-10-06 23:04
读书笔记
MapReduce编程模型简介和总结
本文是董西成《
Hadoop技术
内幕》一书的读书总结。
brandNewUser
·
2014-10-06 23:00
mapreduce
hadoop
开源日志系统比较
search-engine/log-systems/本博客的文章集合:http://dongxicheng.org/recommend/ 本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享
hadoop
yzyzero
·
2014-09-03 21:00
日志系统
yarn中的container之我见
下面只是帮助理解的说法,有什么错误希望大家指正之前一直很困惑,为什么在yarn上能执行storm,spark这样的框架呢,他们是怎么运行的呢,我想对这个有困惑的朋友应该不止我一个,在这里向大家推荐一本书:
hadoop
hao707822882
·
2014-08-30 00:00
yarn
Hadoop 技术在电信运营商上网日志处理中的应用架构
Hadoop技术
在电信运营商上网日志处理中的应用架构一、电信运营商上网日志处理的现状在移动互联网如此普及的今天,每天会产生大量的上网日志,这些上网日志由于数据量巨大,产生后只能被保留3天,就因为存储空间等原因被丢弃
broadview2006
·
2014-08-29 16:00
Hadoop技术
内幕读书笔记-mapreduce架构
HadoopMapReduce也采用了Master/Slave(M/S)架构。它主要由以下几个组件组成:Client、JobTracker、TaskTracker和Task。下面分别对这几个组件进行介绍。(1)Client用户编写的mapReduce程序通过client提交到JobTracker;同时可以通过Client提供的一些接口查看作业运行状态。(2)JobTrackerJob
qicq611le
·
2014-08-06 15:00
mapreduce
hadoop
架构
Hadoop的辉煌还能延续多久?
Hadoop技术
已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。
Big-Data
·
2014-08-05 17:00
试读《Hadoop基础教程》
自2012年起本人接触
hadoop技术
,到现在算起来也有两年了,也断断续续的在CSDN上面发表了一些文章,主要是自己兴趣使然,从网上找到相关资料进行自学
tenght
·
2014-07-23 20:00
hadoop
大数据分析- 基于Hadoop/Mahout的大数据挖掘
3,有一定的
Hadoop技术
的基础知识。 三、师资由业界知名大
shenmanli
·
2014-06-30 11:00
大数据
数据中心
HADOOP集群
精心收集的Hadoop学习资料(持续更新)
1、《
Hadoop技术
内幕:深入解析HadoopCommon和HDFS》下载地址:http://download.csdn.net/detail/w39
qq1987924
·
2014-06-29 21:00
hadoop
分布式文件系统
design
patterns
大数据技术大会
Hadoop生态系统
本文所属图书 >
Hadoop技术
内幕:深入解析HadoopCommon和HDFS架构设计与实现原理
Hadoop技术
内幕共两册,分别从源代码的角度对Common+HDFS和MapReduce的架构设计与实现原理进行了极为详细的分析
ticojj
·
2014-06-24 14:00
hadoop
《大数据时代的IT架构设计》试读
第1部分主要简述了Hadoop平台应用架构,3个实际架构分析来很好的描述了
Hadoop技术
架构的应用。 什么是Hadoop?
gdjbj2008
·
2014-06-21 21:00
架构设计
《大数据时代的IT架构设计》试读
第1部分主要简述了Hadoop平台应用架构,3个实际架构分析来很好的描述了
Hadoop技术
架构的应用。 什么是Hadoop?
gdjbj2008
·
2014-06-21 21:00
架构设计
《大数据时代的IT架构设计》试读
第1部分主要简述了Hadoop平台应用架构,3个实际架构分析来很好的描述了
Hadoop技术
架构的应用。什么是Hadoop?
gdjbj2008
·
2014-06-21 21:00
大数据时代的IT架构设计
从某种意义上说,
hadoop技术
已经成为大数据的一种标识。 记得2011-2013在给移动做云平台时,用户的访
mark_5528
·
2014-06-12 15:00
架构设计
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触
Hadoop技术
的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,whentouseHbaseandwhentouseHive
Rayn-瑞恩
·
2014-05-29 16:00
hadoop
hive
pig
hbase
5月11日上海交大免费公开课――源码级专家现场剖析云计算大数据的现在和未来
越来越多的企业急需引入
hadoop技术
人才。同时一股新的不可阻挡的云计算大数据力量正在
羽凡欧普
·
2014-05-07 11:40
云计算
解决方案
上海交大
技术人才
免费公开课
Hadoop技术
一句话介绍
Hadoop 是一种分布式系统的平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其它的相关子项目,也就是对它的功能的极大扩充,包括Zookeeper,Hive,Hbase等。 MapReduce 是Google提出的
myhadoop
·
2014-05-04 20:00
hadoop
hadoop技术
基本架构
一、Hadoop概述hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce则构建在分布式文件系统之上,对存储在分布式文件系统中的数据进行分布式计算。2、在Hadoop中,MapReduce底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单的配置后,存储在该
u011067360
·
2014-04-30 12:00
mapreduce
hadoop
分布式文件系统
分布式计算
Debian7.4 安装及配置
学习
Hadoop技术
,首先要做的就是搭建Hadoop环境,由于手里只有一台古董级笔记本,也只能用这个笔记本通过VMWareWorkStation10虚拟出4个Linux操作系统,最早接触的Linux发行版本就是
RickyLau
·
2014-04-28 00:00
linux
Debian
伪分布式
安装 Hadoop
Hadoop资源感知调度器
Hadoop教育平台—小象学院,推荐给Hadoop初学者和实践者,网址是:http://www.chinahadoop.cn/本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享
hadoop
myhadoop
·
2014-04-03 23:00
hadoop
如何编写Hadoop调度器
Hadoop教育平台—小象学院,推荐给Hadoop初学者和实践者,网址是:http://www.chinahadoop.cn/本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享
hadoop
myhadoop
·
2014-04-03 23:00
hadoop
Hadoop MapReduce作业的生命周期----
Hadoop技术
内幕学习笔记
1、作业提交与初始化。用户提交作业后,首先由JobClient实例将作业相关信息,比如将程序jar包、作业配置文件、分片元信息等上传到分布式文件系统,其中,分片元信息文件记录了每个输入分片的逻辑位置信息。然后JobClient通过RPC通知JobTracker。JobTracker收到新作业提交请求后,有作业调度模块对作业进行初始化:为作业创建一个JobInProgress对象以跟踪作业运动状况,
fmz
·
2014-04-01 23:00
Hadoop Mapreduce架构--
Hadoop技术
内幕读书笔记
1、Client用户编写的MapReduce程序通过Client提交到JobTracker端;同时,用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用“作业”Job表示MapReduce程序。一个MapReduce程序可对应若干个作业,而每个作业会被分解成若干个Map/Reduce任务(Task)。2、JobTrackerJobTracker主要负责作业调度和资源监控。作业
fmz
·
2014-04-01 22:00
HDFS架构--
Hadoop技术
内幕读书笔记
HDFS的架构如上图,总体采用master/slave架构,主要有Client、NameNode、DataNode、SecondaryNameNode组成。1、ClientClient代表用户,通过与NameNode和DataNode交互从而访问HDFS中的文件。Client提供了一个类似POSIX的文件系统接口供用户调用。2、NameNode整个Hadoop集群中只有一个NameNode。负责管
fmz
·
2014-04-01 20:00
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他