E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop-HDFS
Hadoop2.6.0学习笔记（三）HDFS架构
HDFSArchitecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/
hadoop-hdfs
/HdfsDesign.html
luchunli1985
·
2015-11-25 21:50
hdfs
Architecture
Hadoop2.6.0学习笔记（三）HDFS架构
HDFSArchitecture见：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/
hadoop-hdfs
/HdfsDesign.html
luchunli1985
·
2015-11-25 21:50
hdfs
Architecture
hadoop官方hdfs操作说明
-->Current3.点击hdfs-->HDFSCommandsReferencehttp://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
江中炼
·
2015-11-19 16:00
“undefined JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析
lib/libhdfs.a(jni_helper.c.o):Infunction`getGlobalJNIEnv':/root/hadoop-2.4.0-src/hadoop-hdfs-project/
hadoop-hdfs
一见
·
2015-11-13 17:42
linux
C/C++
hadoop2.5.2学习及实践笔记（三）—— HDFS概念及体系结构
附： HDFS用户指南官方介绍： http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/
hadoop-hdfs
·
2015-11-11 00:49
hadoop2
Ubuntu下配置安装Hadoop 2.2
Installing single node Hadoop 2.2.0 on Ubuntu： http://bigdatahandler.com/
hadoop-hdfs
/
·
2015-11-10 22:28
ubuntu
Eclipse下运行Hadoop程序（以WordCount为例，使用Maven）
可以很轻松地配置新建一个Maven项目，然后在pom.xml中添加如下依赖项后，update即可 org.apache.hadoop hadoop-common 2.7.1 org.apache.hadoop
hadoop-hdfs
luo123n
·
2015-10-24 16:00
hadoop
HDFS 2.7.1 所有shell命令
http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/
hadoop-hdfs
/HDFSCommands.htmlhttp://hadoop.apache.org
guotong1988
·
2015-09-26 11:00
HDFS 2.7.1 所有配置项
hadoop-project-dist/hadoop-common/core-default.xmlhttp://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/
hadoop-hdfs
guotong1988
·
2015-09-26 11:00
Hadoop常见错误之HDFS
1，Datanode启动失败错误现象在启动Datanode时，/var/log/
hadoop-hdfs
/hadoop-cmf-hdfs-DATANODE-cdh-node12.grc.log.out日志文件中有如下错误
邹中凡
·
2015-08-13 14:48
Hadoop
HDFS Balancer（翻译）
官方文档：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/
hadoop-hdfs
/HdfsUserGuide.html#BalancerBalancerHDFSdatamightnotalwaysbebeplaceduniformlyacrosstheDataNode.OnecommonreasonisadditionofnewDa
maomaosi2009
·
2015-07-29 10:00
hadoop
hdfs
balancer
NameNode HA（翻译）
官方文档：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/
hadoop-hdfs
/HDFSHighAvailabilityWithQJM.html1
maomaosi2009
·
2015-07-27 23:00
hadoop
HA
qjm
hadoop2.x HDFS快照介绍
所以可能有些翻译和用法不是很正确，莫要介意~~原文地址：（Apachehadoop的官方文档）https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/
hadoop-hdfs
amber_amber
·
2015-07-23 14:50
Hadoop学习分享
使用Maven开发Hadoop
org.apache.hadoop hadoop-common 2.5.2 org.apache.hadoop
hadoop-hdfs
2.5.2
爱兔一生
·
2015-07-08 10:00
hadoop2.6.0部署好环境后写的一个简单的test
实用maven创建java工程，引入hadoop的依赖 junit junit 3.8.1 test org.apache.hadoop
hadoop-hdfs
2.6.0 org.apache.hadoop
qq_22929803
·
2015-05-20 15:00
Hadoop-HDFS
Hadoop介绍作者:DougCutting是Nutch搜素引擎的一个模块 基础模块Hbase:Nosql数据库keyvalue最大化利用内存HDFS: 分布式文件系统，最大化利用磁盘MapReduce:编程模式，主要作数据分析，最大化利用CPU HDFSHDFS设计原则:1.文件以块block方式存储2.内个块带下远比多数文件系统来的大3.通过副本机制提高可靠度和读取吞吐量4.每个区块至少分
dingsai88
·
2015-03-19 16:00
hadoop
hdfs
初学Hadoop（三） HDFS 命令
官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/HDFSCommands.html 1.
xinyeyouxiang
·
2015-03-16 14:00
hadoop
hadoop 2.8.5完全分布式环境搭建
doc/r3.4.13/zookeeperAdmin.htmlnamenodeHA文档:https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/
hadoop-hdfs
cny0120
·
2015-03-09 11:45
004、
Hadoop-HDFS
分布式文件系统详解
原文链接：http://www.cnblogs.com/hiter-java/p/4131986.html官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？HDFS(Hadoopdistributedfilesystem):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Hado
diaojiao1307
·
2014-11-30 00:00
JournalNode 和 Secondary NameNode
http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/HDFSHighAvailabilityWithQJM.html
zhouchaofei2010
·
2014-09-04 14:00
hdfs-ha热备原理
阅读更多下面的总结来自于：http://dongxicheng.org/
hadoop-hdfs
/hdfs-ha-federation-deploy/Hadoop2.0中的HDFS增加了两个重大特性，HA
dengqsintyt
·
2014-06-21 22:00
Hadoop
hdfs
ha
namenode
datanode
hdfs-ha热备原理
阅读更多下面的总结来自于：http://dongxicheng.org/
hadoop-hdfs
/hdfs-ha-federation-deploy/Hadoop2.0中的HDFS增加了两个重大特性，HA
dengqsintyt
·
2014-06-21 22:00
Hadoop
hdfs
ha
namenode
datanode
hdfs-ha热备原理
下面的总结来自于：http://dongxicheng.org/
hadoop-hdfs
/hdfs-ha-federation-deploy/
dengqsintyt
·
2014-06-21 22:00
hadoop
hdfs
NameNode
HA
datanode
hdfs-ha热备原理
下面的总结来自于：http://dongxicheng.org/
hadoop-hdfs
/hdfs-ha-federation-deploy/ Hadoop2.0中的HDFS增加了两个重大特性
dengqsintyt
·
2014-06-21 14:00
原理
hdfs
HA
No FileSystem for scheme: hdfs,No FileSystem for scheme: file
这两个jar分别 hadoop-common和
hadoop-hdfs
这两个包，assembly打包的时候对应每个jar里面的META-INFO/services/org.apache.hadoop.fs.FileS
map_lixiupeng
·
2014-06-18 18:00
hadoop-hdfs
整体结构剖析
阅读更多这篇文章，大约在2011年在原来的博客中写的。今天突然看到再写到这篇文章中，就当日记啦。一：Hadoop整体模块交互分布式文件系统，思想是，把数据放到一个服务器集群上面，分为：主控服务器Master/NameNode），数据服务器（ChunkServer/DataNode），和客户服务器Client.HDFS和GFS都是按照这个架构模式搭建的。最核心内容是：文件的目录结构独立存储在一个Na
dengqsintyt
·
2014-06-15 16:00
hadoop
hdfs
文件读写
hadoop架构
hadoop-hdfs
整体结构剖析
阅读更多这篇文章，大约在2011年在原来的博客中写的。今天突然看到再写到这篇文章中，就当日记啦。一：Hadoop整体模块交互分布式文件系统，思想是，把数据放到一个服务器集群上面，分为：主控服务器Master/NameNode），数据服务器（ChunkServer/DataNode），和客户服务器Client.HDFS和GFS都是按照这个架构模式搭建的。最核心内容是：文件的目录结构独立存储在一个Na
dengqsintyt
·
2014-06-15 16:00
hadoop
hdfs
文件读写
hadoop架构
hadoop-hdfs
整体结构剖析
这篇文章，大约在2011年在原来的博客中写的。今天突然看到再写到这篇文章中，就当日记啦。 一：Hadoop整体模块交互 分布式文件系统，思想是，把数据放到一个服务器集群上面，分为：主控服务器Master/NameNode），数据服务器（ChunkServer/DataNode），和客户服务器Client.HDFS和GFS都是按照这个架构模式搭建的。 最核心内容是：文件的目录结构独立存储
dengqsintyt
·
2014-06-15 16:00
hadoop
hdfs
文件读写
hadoop架构
编译hadoop-2.4.0之HDFS的64位C++库
C++库的源代码位于：hadoop-2.4.0-src/hadoop-hdfs-project/
hadoop-hdfs
/src/main/native/libhdfs这里提供一个直接对这些源文件进行编译的
Hipercomer
·
2014-05-26 12:00
hdfs
64位
编译
c++库
C++接口
hadoop配置选项的默认值-官方链接
hadoop-project-dist/hadoop-common/core-default.xmlhttp://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
ljq32
·
2014-05-08 21:00
hadoop
hadoop 2.2.0 fuse 编译及安装
(HADOOP_SOURCE_DIR/hadoop-hdfs-project/
hadoop-hdfs
/target/native/main/native/fuse-dfs/fuse_dfs)2.在本地创建
Mrknowledge
·
2014-04-08 15:00
YARN异常: we cannot start a localDataXceiverServer because libhadoop cannot解决方法
RuntimeException，信息如下： java.lang.RuntimeException: Although a UNIX domain socket path is configured as /var/run/
hadoop-hdfs
小网客
·
2014-03-13 14:00
hadoop
YARN异常: we cannot start a localDataXceiverServer because libhadoop cannot解决方法
RuntimeException，信息如下： java.lang.RuntimeException: Although a UNIX domain socket path is configured as /var/run/
hadoop-hdfs
小网客
·
2014-03-13 14:00
hadoop
HDFS架构(Apache Hadoop 2.1.1-beta)
（ApacheHadoop2.1.1-beta，摘自http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/HdfsDesign.html
guxch
·
2014-01-16 15:00
HDFS 用户手册（Apache Hadoop 2.1.1-beta）
（ApacheHadoop2.1.1-beta，摘自http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/HdfsUserGuide.html
guxch
·
2014-01-13 10:00
cdh4 hadoop,hive,impala,hbase本地库搭建及安装
--hadoop文件位置：log目录:/var/log/
hadoop-hdfs
/var/log/hadoop-mapreduce /var/log/hbase /var/log/hive /var
齐百超
·
2014-01-05 12:00
hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"
启动dfs client时候报错：“java.io.IOException: No FileSystem for scheme: hdfs"” 出现这个错误是因为缺少
hadoop-hdfs
heipark
·
2013-12-31 12:00
exception
cloudera cdh中hadoop-client包的作用
阅读更多hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/
hadoop-hdfs
”、“/usr/lib/hadoop-mapreduce
heipark
·
2013-11-22 22:00
cloudera cdh中hadoop-client包的作用
hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/
hadoop-hdfs
”、“/usr/lib/hadoop-mapreduce
heipark
·
2013-11-22 22:00
hadoop
HDFS Federation客户端(viewfs)配置攻略
作者:Dong|新浪微博：西成懂|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/
hadoop-hdfs
/hdfs-federation-viewfs
Dong
·
2013-10-24 11:00
Hadoop
HDFS
federation
HDFS
viewfs
HDFS 用户手册
翻译自 ApacheHadoop2.1.0-beta，HDFSUserGuide,原文：http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
wyswlp
·
2013-09-05 20:00
Hadoop学习二十九：
Hadoop-hdfs
NameNode源码 成员变量
阅读更多一.NameNode概述*TheNameNodecontrolstwocriticaltables:*1)filename->blocksequence(namespace)*2)block->machinelist("inodes")**Thefirsttableisstoredondiskandisveryprecious.*Thesecondtableisrebuilteveryti
zy19982004
·
2013-08-03 15:00
Hadoop学习二十九：
Hadoop-hdfs
NameNode源码 成员变量
阅读更多一.NameNode概述*TheNameNodecontrolstwocriticaltables:*1)filename->blocksequence(namespace)*2)block->machinelist("inodes")**Thefirsttableisstoredondiskandisveryprecious.*Thesecondtableisrebuilteveryti
zy19982004
·
2013-08-03 15:00
Hadoop学习二十九：
Hadoop-hdfs
NameNode源码 成员变量
一. NameNode概述 * The NameNode controls two critical tables: * 1) filename->blocksequence (namespace) * 2) block->machinelist ("inode
zy19982004
·
2013-08-03 15:00
NameNode
Hadoop学习二十八：
Hadoop-hdfs
FSNamesystem源码 成员变量
阅读更多一.FSNamesystem概述FSNamesystem为DataNode做簿记工作，直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。文件名->数据块(存放在FSImage和日志中)合法的数据块列表(上面关系的逆关系)数据块->DataNode(只保存在内存中，根据DataNode发过来的信息动态建立)DataN
zy19982004
·
2013-08-03 14:00
Hadoop学习二十八：
Hadoop-hdfs
FSNamesystem源码 成员变量
一. FSNamesystem概述 FSNamesystem为DataNode做簿记工作，直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。 文件名 -> 数据块(存放在FSImage和日志中) 合法的数据块列表(上面关系的逆关系) 数据块
zy19982004
·
2013-08-03 14:00
hadoop
Hadoop学习二十八：
Hadoop-hdfs
FSNamesystem源码 成员变量
阅读更多一.FSNamesystem概述FSNamesystem为DataNode做簿记工作，直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。文件名->数据块(存放在FSImage和日志中)合法的数据块列表(上面关系的逆关系)数据块->DataNode(只保存在内存中，根据DataNode发过来的信息动态建立)DataN
zy19982004
·
2013-08-03 14:00
Hadoop-HDFS
DFSClient的严重bug
来源：http://dongyajun.iteye.com/blog/628028，对原作者表示感谢此文章的hadoop版本可能较低，涉及的问题描述仅作参考上一篇说到Shell对自身DN造成的性能影响，本篇说一下它对DFSClient的冲击。不知道有没有朋友像我这样病态的使用Hadoop，我的DFSClient总是一直Running的，因为我需要它时刻为我做事，所以我不会轻意重新创建一个与NN相连
xqj198404
·
2013-07-19 16:00
hadoop
hdfs
Hadoop-HDFS
对性能造成重大影响的神秘杀手-Shell.
来源：http://dongyajun.iteye.com/blog/627905对原作者表示感谢，此文章的hadoop版本可能较低，仅作参考关于想了解HDFS的源码的朋友,可以到蔡斌大哥那读读他的javaeye.很抱歉,我用了神秘杀手一词,因为它实在害我太惨,又花了好大精力才把它给拎出来。 近来在测试Hadoop时,使用NameNode身上的dfshealth.jsp管理页面发现,DataNod
xqj198404
·
2013-07-19 15:00
hadoop
hdfs
hadoop-HDFS
抛出错误 (java.io.IOException: config())
DEBUG[main]Configuration.(211)|java.io.IOException:config()atorg.apache.hadoop.conf.Configuration.(Configuration.java:211)atcom.netqin.hdfs.MyHdfs.isExists(MyHdfs.java:20)atcom.netqin.hdfs.MyHdfs.main
Mrknowledge
·
2013-07-18 09:00
上一页
1
2
3
4
5
6
7
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他