E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop-HDFS
Linux 中定时执行MapReduce任务
var/spool/cron路径，用hdfs用户上传到服务器chownhdfs:hdfsOperateAyx-1.3.1.jar4）启用Linux定时任务crontab-e017***/var/lib/
hadoop-hdfs
强子no2
·
2018-09-18 15:03
Linux系统问题
启动HDFS
配置的修改pom文件hdfs代码在hadoop-hdfs-project/
hadoop-hdfs
中，pom中关于依赖的其他hadoop模块的scope都设置为了provided，但我们需要在IDEA里启动
GoofyWang
·
2018-09-11 19:24
HDFS架构
老规矩，先上官网链接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/
hadoop-hdfs
/HdfsDesign.html1.HadoopDistributeFileSystem
qq_33361080
·
2018-09-10 16:30
hadoop-hdfs
简介包括：0）hadoopCommon1）分布式存储系统HDFS。2）分布式计算框架MapReduce3）分布式资源管理框架YARNHDFS存储模型：字节1）文件线性切割成块(block):偏移量offset(byte)偏移量指切割后的文件第一个字节在源文件中的角标。例如：12字节的文件切割乘2个文件每个文件6个字节，那么，第一个文件offset为0，第二文件offset为72）block分散存储
helloWorldAndYou
·
2018-09-04 18:30
hadoop
Hbase数据模型与存储结构
依托
Hadoop-HDFS
作为其文件存储系统，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）。
LiryZlian
·
2018-09-02 00:10
Bigdata
Hbase
大数据学习路线+Java转行大数据最新最全的必备第一手资料
学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（
hadoop-hdfs
理论
hadoop-hdfs
集群搭建hadoop-hdfs2
weixin--yxxy1919
·
2018-08-26 09:29
中国大数据的发展趋势，这就是转行学习大数据的原因！
学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（
hadoop-hdfs
理论hadoop
大数据客栈i
·
2018-08-13 15:54
解决cannot be read or is not a valid ZIP file问题
DescriptionResourcePathLocationTypeArchiveforrequiredlibrary:'C:/Users/Administrator/.m2/repository/org/apache/hadoop/
hadoop-hdfs
asdud
·
2018-07-09 23:44
Maven
pom.xml
eclipse
解决cannot be read or is not a valid ZIP file问题
DescriptionResourcePathLocationTypeArchiveforrequiredlibrary:'C:/Users/Administrator/.m2/repository/org/apache/hadoop/
hadoop-hdfs
asdud
·
2018-07-09 23:44
Maven
pom.xml
eclipse
HDFS缓存管理
官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/CentralizedCacheManagement.htmlHDFS
scottzcw
·
2018-06-03 23:48
MapReduce 实验 (一) 原理
//hadoop.apache.org/hadoop三大组件HDFS：分布式存储系统https://hadoop.apache.org/docs/stable/hadoop-project-dist/
hadoop-hdfs
pcdog
·
2018-04-15 11:00
大数据
Hadoop
HDFS 实验 (四) 集群操作
hadoop-project-dist/hadoop-common/ClusterSetup.html用户手册http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
pcdog
·
2018-04-13 22:27
大数据
Hadoop
关于hadoop中的FUSE安装编译
在CDH5.13.0这个版本里的hadoop中/opt/hadoop-2.6.0-cdh5.13.0/src/hadoop-hdfs-project/
hadoop-hdfs
/src/main/native
糕福社
·
2018-04-13 15:41
大数据|java API读取HDFS文件
第2步：创建HDFS测试类文件image.png第3步：copy文件core-site.xmlhdfs-site.xml到/opt/tools/workspace/
hadoop-hdfs
/src/main
明明德撩码
·
2018-02-08 17:59
hadoop 2.7.5, hadoop 2.8.2, hadoop 2.9.0 proto 文件大小对比
/hadoop-2.7.5-src/hadoop-hdfs-project/
hadoop-hdfs
/src/main/proto/acl.proto-rw-r--r--.1houzhizhenroot263610
houzhizhen
·
2018-01-05 16:22
hadoop
cent0S 7 安装 cdh5.13 笔记之三： 安装
hadoop-hdfs
cent0S7安装cdh5.13笔记之三：安装hadoop-hdfs------------------------------------------------------------------------pkgname|n1|n2|n3|pkgtype----------------------------------------------------------------------
cheungmine
·
2017-12-13 23:01
hadoop
Intellij IDEA提交远程Hadoop MapReduce任务
2.配置依赖编辑pom.xml文件，添加apache源和hadoop依赖基础依赖hadoop-core和hadoop-common；读写HDFS，需要依赖
hadoop-hdfs
和hadoop-client
Chowkin
·
2017-08-14 10:17
HDFS的存储策略
本文介绍hdfs的存储策略内容译自：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/
hadoop-hdfs
/ArchivalStorage.html
正在战斗中
·
2017-06-26 10:00
构建高可靠hadoop集群之4-权限指引
此文翻译自http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/
hadoop-hdfs
/HdfsPermissionsGuide.html译注
正在战斗中
·
2017-06-17 23:00
构建高可靠hadoop集群之3- Quorum Journal Manager
本文主要是对http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/
hadoop-hdfs
/HDFSHighAvailabilityWithQJM.html
正在战斗中
·
2017-06-16 17:00
构建高可靠hadoop集群之0-hadoop用户向导
本文翻译自：http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/
hadoop-hdfs
/HdfsUserGuide.html基于2.8.0文档
正在战斗中
·
2017-06-14 16:00
构建高可靠hadoop集群之1-理解hdfs架构
本文主要参考http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/
hadoop-hdfs
/HdfsDesign.html主要内容是对该文章的翻译
正在战斗中
·
2017-06-13 11:00
IDEA 打jar，提交spark集群运行
projectstructure,点击Artifacts,如下图选择addJAREmpty然后点击OK2、选择bulidArtifacts点击bulid就会打成jar3、通过winSCP把jar上传到服务器/var/lib/
hadoop-hdfs
花羽
·
2017-05-15 14:11
[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用
topics/cdh_ig_ports_cdh5.htmlHadoop官方介绍webhdfs：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/
hadoop-hdfs
highfei2011
·
2017-02-23 10:35
Hadoop
Hadoop实践学习——初级2.2[实分布集群的使用]
，重新认识hadoop并学习hadoop的使用参考资料：HDFSUsersGuidehttp://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
heikenz
·
2016-12-25 12:42
CentOS
Hadoop-HDFS
一、Hadoop概述Hadoop是Google的集群系统的开源实现。Google的集群系统：GFS、MapReduce、BigTableHadoop的集群系统：HDFS、MapReduce、HBaseHadoop的设计初衷是为了解决Nutch海量数据存储和处理需求，可以解决大数据场景下的海量数据的存储和处理问题。传统数据和大数据的区别：①.传统数据GB、TB级别的数据数据增长不快主要为结构化的数据
HaigLee
·
2016-10-18 20:01
大数据
hadoop
hdfs
NameNode
DataNode
Hadoop开发
CDH安装和使用时碰到的各种错误记录（基于5.8）
诸如：cloudera-scm-agent、
hadoop-hdfs
、hadoop-yarn、hbase等等目录下都记录着各种日志。状况1：有一个DataNode没有启动。
jd29323
·
2016-10-07 22:27
hadoop
cdh
hadoop 配置文件说明
hadoop-mapreduce-client-core/mapred-default.xmlhttp://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/
hadoop-hdfs
BusyMonkey
·
2016-07-28 16:49
BigData
Hadoop整合Hive之API封装及操作
maven.apache.org UTF-8 4.12 1.1.2 2.6.2 junit junit ${junit.version} test org.apache.hadoop
hadoop-hdfs
tanggao1314
·
2016-05-27 20:00
hadoop
hive
Hadoop2.6.0版本MapReudce示例之WordCount
一、准备测试数据 1、在本地Linux系统/var/lib/
hadoop-hdfs
/file/路径下准备两个文件file1.txt和file2.txt，文件列表及各自内容如下图所示：
lipeng_bigdata
·
2016-04-18 16:00
Hadoop学习八：
Hadoop-Hdfs
RPC源码 Client
Hadoop学习八：Hadoop-HdfsRPC源码Client博客分类： Hadoop个人笔记：从该文章中可以看出，整个RPC的设计核心在于Connection。其中它的设计思路是这样的： 1.有JAVA最基本的Socket，InetSocketAddress网络接口。2.建立自己的IO流：DataInputStream，DataOutputStream3.引入自己的封装类： Connect
u010666884
·
2016-04-14 18:00
Hadoop学习六：
Hadoop-Hdfs
源码 classification包
Hadoop学习六：
Hadoop-Hdfs
源码classification包博客分类： Hadoop 一.org.apache.hadoop.classification.* 二.解释 InterfaceAudience
u010666884
·
2016-04-14 18:00
Hadoop学习七：
Hadoop-Hdfs
源码 conf包
Hadoop学习七：
Hadoop-Hdfs
源码conf包博客分类： Hadoop 一.conf包下四个类 二.详细描述 Configurable接口：Somethingthatmaybeconfiguredwitha
u010666884
·
2016-04-14 18:00
Hadoop学习五：
Hadoop-Hdfs
DataNode
Hadoop学习五：Hadoop-HdfsDataNode博客分类： Hadoop 一.数据块HDFS默认数据块大小64M。文件大于64M，将被分为若干份64M+其它M存储；文件小于64M，并不会占用整个64M大小，对于小文件，HDFS提供了几种解决方案：HadoopArchive，Sequencefile和CombineFileInputFormat，后面看源码时详解。 二.DataNode
u010666884
·
2016-04-14 18:00
Hadoop学习四：
Hadoop-Hdfs
NameNode
Hadoop学习四：Hadoop-HdfsNameNode博客分类： Hadoop 一.NameNode概述 NameNode存放了所有文件和文件夹的元数据信息内存中：在系统启动时，会把fsimage和editlog记录的元数据信息加装到内存中；在系统启动时，NameNode收集DataNode心跳，在内存中形成file->blocks的对应关系。硬盘上：操作日志以fsimage和editlog的
u010666884
·
2016-04-14 18:00
Hadoop学习三：
Hadoop-Hdfs
物理文件夹
Hadoop学习三：
Hadoop-Hdfs
物理文件夹博客分类： Hadoop 一.NameNode物理文件夹 二.DataNode物理文件夹
u010666884
·
2016-04-14 18:00
Eclipse远程调试HDP源代码
在/usr/hdp/2.3.0.0-2557/
hadoop-hdfs
/bin/hdfs.distro目录下，添加如下内容，这个内容是让namenode在启动的时候，打开调试模式： 图片中的代码是
justinzhang
·
2016-03-21 11:00
【Hadoop 2.7.x】HA 配置
一、http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
/HDFSHighAvailabilityWithQJM.html
wilbur
·
2016-03-18 15:00
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
目前查到的资料里面显示HDFSNFSGateWay的挂载方式为：参考：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/
hadoop-hdfs
wojiushiwo987
·
2016-03-17 22:00
hadoop
hdfs
gateway
nfs
其他机器
Hadoop-HDFS
分布式环境
HDFS简单介绍HDFS的英文全称是HadoopDistributedFileSystem，顾名思义，就是Hadoop分布式文件系统，是根据Google的GFS的论文，由DougCutting使用Java开发的开源项目。HDFS本身是Hadoop项目的一部分，为Hadoop提供了底层的数据存储，以供上层的各种实际应用使用（如Map/Reduce）。HDFS是典型的Master/Slave集群架构，
zhongchengbin
·
2016-02-26 10:00
通过NFSv3挂载HDFS到本地目录 -- 2安装配置hdfs-nfs网关
安装配置hdfs-nfs网关4.透过NFS访问hdfs最重要的参考文档是这篇，来自官方http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
xuyongshi02
·
2016-01-25 15:12
hdfs-nfs网关
通过NFSv3挂载HDFS到本地目录 -- 2安装配置hdfs-nfs网关
安装配置hdfs-nfs网关4.透过NFS访问hdfs最重要的参考文档是这篇，来自官方http://hadoop.apache.org/docs/current/hadoop-project-dist/
hadoop-hdfs
XuYongshi02
·
2016-01-25 15:00
linux
配置
hdfs
nfs
Hadoop 2.7.1 使用minicluster进行单元测试
目的是要跑通这个单元测试:
hadoop-hdfs
/src/test/java/org/apache/hadoop/hdfs/TestClose.java这个Java文件比较简单：/** *LicensedtotheApacheSoftwareFoundation
justinzhang
·
2016-01-21 16:00
Maven引入hadoop依赖包出错解决办法
错误：ArtifactTransferException:Failuretotransferorg.apache.hadoop:
hadoop-hdfs
:jar:2.6.0fromhttp://localhost
MOBIN-F
·
2016-01-21 11:00
HDFS Federation客户端(viewfs)配置攻略
http://dongxicheng.org/
hadoop-hdfs
/hdfs-federation-viewfs/主要讲解的就是当使用HDFS的Federation的时候，有多个NameNode，我们想访问
u011955252
·
2016-01-19 13:00
hdfs
Hadoop2.0.
Hadoop-HDFS
架构
HDFS(hadoopdistributefilesystem)包含如下3个模块:NameNode、DataNode、SecondaryNameNode1.NameNodenamenode是整个文件系统的管理节点,它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表,接收用户的操作请求。文件包括：fsimage:元数据镜像文件,存储某一时段NameNode内存元数据信息。
jiangpeng59
·
2016-01-13 16:00
hadoop
存储
文件系统
Hadoop Maven pom文件示例
HadoopMavenpom文件示例@(Hadoop) 4.0.0 Chinasofti Bigdata 1.0-SNAPSHOT org.apache.hadoop
hadoop-hdfs
qq1010885678
·
2016-01-12 16:00
maven
hadoop
HDFS High Availability Using the Quorum Journal Manager
HDFSHighAvailabilityUsingtheQuorumJournalManager》http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/
hadoop-hdfs
该昵称已经被占用
·
2016-01-01 11:06
Hadoop学习专辑
HDFS High Availability Using the Quorum Journal Manager
HDFSHighAvailabilityUsingtheQuorumJournalManager》http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/
hadoop-hdfs
u011414200
·
2016-01-01 11:00
namenode metadata 备份与恢复实验
https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/
hadoop-hdfs
/HDFSCommands.html#dfsadmin-metasavefilename
tneduts
·
2015-12-14 15:00
上一页
1
2
3
4
5
6
7
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他