E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
pvfs
AdaM: An Adaptive Fine-Grained Scheme for Distributed Metadata Management——泛读论文
现有方法缺陷基于哈希的方法:zFS[16],CalvinFS[21],DROP[24],AngleCut[8]静态子树划分:HDFS[6],NFS[14],
PVFS
2[25],CXFS[10]andCoda
妙BOOK言
·
2024-01-12 21:41
论文阅读
论文阅读
pvfs
提高性能的方法
请教
PVFS
2性能提升的问题,请高手帮忙!!!!!!请教
PVFS
2性能提升的问题,请高手帮忙!!!!!!
yfw418
·
2020-09-12 14:02
pvfs
2 mount: No route to host
pvfs
2mount:Noroutetohost这时候可能是由于你的iptables设置的问题,尝试以下方法:stoptheiptablesinioserver#serviceiptablesstopor
frank0712105003
·
2020-08-21 19:31
pvfs2使用
PVFS
并行虚拟文件系统的优缺点介绍
PVFS
并行虚拟文件系统的优缺点介绍2009-11-0510:37来源:Watchstor.com我要评论(0)摘要:
PVFS
并行虚拟文件系统是浪潮并行文件系统的开发原型,它采用客户-服务器架构,提供集群范围内的一致命名空间
维博
·
2020-07-09 16:50
centos6上安装libdb4.6
因为
pvfs
2.7.1的原因,想在centos安装libdb4.6现在是libdb4.7通过ldd/usr/local/sbin/
pvfs
2-server可以看出来原来的包是libdb4.7如何安装libdb4.6
frank0712105003
·
2020-06-23 08:57
centos
Z_HPC_存储
根据应用领域的不同,目前主流的分布式并行文件系统可分为2类:面向高性能计算(HPC:HighPerformanceComputing)应用的并行文件系统,典型代表如Luster、Panasas和
PVFS
sxlw
·
2016-08-15 23:04
PVFS
2 1.4.0的安装、配置与性能测试
PVFS
2 1.4.0说实在话,做的很不错,起码在安装配置这方面很简单-无需重新编译kernel,安装手册也写的很不错,安装很顺利,所以,不再赘述了,直接参考这篇Quick Start,很详细:
·
2015-11-10 23:11
性能测试
PVFS
2 Failover Policy - 当一块硬盘坏了以后,
PVFS
如何应对?数据会丢失么?
很不幸,当
PVFS
集群中一块硬盘坏了以后,数据会全部丢失。
PVFS
的建议是每个节点用两块硬盘,做硬件RAID1,然后就可以避免这样的问题,在软件 层次上,
PVFS
不提供RAID相关的功能。
·
2015-11-10 23:09
policy
struct sqlite3
struct sqlite3{ sqlite3_vfs*
pVfs
; /*OSInterface*/ structVdbe*pVdbe; /*Listofactivevirtualmachines
yqllong
·
2014-08-06 00:25
sqlite
struct sqlite3
struct sqlite3{sqlite3_vfs*
pVfs
;/*OSInterface*/structVdbe*pVdbe;/*Listofactivevirtualmachines*/CollSeq
yqllong
·
2014-08-06 00:25
sqlite
向
PVFS
工程中添加新文件
PVFS
是一个分布式文件系统,位于ext3之上,向上支持hadoop等应用。整个系统都由C语言实现。回到主题,如果写了一个新的文件,如何编译通过?首先,得让系统知道添加了这个文件。
bsdcfp
·
2013-12-11 16:00
makefile
PVFS
pvfs
2.8集群安装(客户端内核模块安装)和编程
文章包括如下几个部分:(1)linux2.6.32内核编译过程,(2)
pvfs
2.8内核模块编译,(3)
pvfs
2.8集群安装,(4)
pvfs
2.8编程使用。
luo6620378xu
·
2013-04-02 21:00
pvfs2.8集群安装
linux2.6内核重编译
pvfs2.8编程
高性能计算和数据密集型计算的存储需要差异分析
根据应用领域的不同,目前主流的分布式并行文件系统可分为2类:面向高性能计算(HPC:HighPerformanceComputing)应用的并行文件系统,典型代表如Luster、Panasas和
PVFS
changtao381
·
2013-03-22 12:00
PVFS
2安装(单机版)
pvfs
2与
pvfs
1有比较大的不同。
pvfs
1系统中只可有单台元数据服务器,系统运行明显的分为iod,mgr,client。
luo6620378xu
·
2013-03-06 13:00
单机版
pvfs2安装
pvfs
2.8.2与
pvfs
2.7.1的操作的状态机流程已经由很大的区别了
pvfs
2.8.2与
pvfs
2.7.1的操作的状态机流程已经由很大的区别了,这个需要研究一下,其实当时选择
pvfs
2.7.1主要是看中其状态机比较清晰,没有太多的优化措施在里面。
frank0712105003
·
2012-12-24 09:00
pvfs
2 有什么特点呢?
pvfs
2相对于
pvfs
有什么特点呢?1.将网络与存储子系统组件化在
pvfs
2中BMI为各种各样的网络提供统一接口,Trove为各种存储系统提供接口,这样模块化的设置可以容易扩展支持新技术。
frank0712105003
·
2012-12-21 16:00
pvfs
2 frame解析
structPINT_frame_s { inttask_id; void*frame; interror; structqlist_headlink; };帧保存状态机所需的额外数据,通常与状态机实例一一对应,它的行为伴随着状态机的产生和撤销。当一个状态机启动嵌套状态机时,它会在帧栈中压入新帧。帧栈使用quicklist实现。
frank0712105003
·
2012-12-20 19:00
关于
PVFS
状态机的声明和定义---src/common/misc/state-machine.h
/*Statemachinecontrolblock-oneperrunninginstanceofastate *machine */ typedefstructPINT_smcb { /*statemachineexecutionvariables*/ intstackptr; structPINT_state_s*current_state; structPINT_state_stack_s
buaa_shang
·
2012-11-22 13:00
centos6上安装libdb4.6
因为
pvfs
2.7.1的原因,想在centos安装libdb4.6现在是libdb4.7通过ldd/usr/local/sbin/
pvfs
2-server可以看出来原来的包是libdb4.7如何安装libdb4.6
frank0712105003
·
2012-10-29 19:00
[
PVFS
_ERROR]:Protocol version mismatch: received major version 6 when expecting 5.
root@xieke:/home/xieke#
pvfs
2-ls[E11:02:43.405235]Error:poorlyformattedprotocolmessagereceived.
frank0712105003
·
2012-10-26 11:00
[置顶]
pvfs
2.7.1的基本操作
enumPVFS_server_op {
PVFS
_SERV_INVALID=0,
PVFS
_SERV_CREATE=1,
PVFS
_SERV_REMOVE=2,
PVFS
_SERV_IO=3,
PVFS
_SERV_GETATTR
frank0712105003
·
2012-10-16 14:00
timer
object
struct
服务器
insert
nested
ubuntu 如何将libdb4.8 换成libdb4.6[
pvfs
2.7.1与Berkeley DB4.8不兼容,需要使用DB4.6]
在ubuntu10.04中安装完成
pvfs
2.7.1后[
pvfs
2.7.1与BerkeleyDB4.8不兼容,需要使用DB4.6]运行
pvfs
2-server/etc/
pvfs
2-fs.conf-f出现了这样的错误
frank0712105003
·
2012-10-15 16:00
ubuntu
pvfs
2.7.1 ubuntu11.10 fail to link lio-listio
configure的时候出现上面的问题,怎么解决呢?算了,没有用ubuntu11.10,还是用了ubuntu10.04,并不是说什么都是最新的就没有问题了。。。。
frank0712105003
·
2012-10-15 10:00
ubuntu
[置顶]
PVFS
2中目录的存储方式
在linux文件系统中,目录和文件最终在文件系统中都是文件,在linux中包括inode(存储元数据)以及数据块(存储数据)在
pvfs
2中,文件包括元数据文件(metafile)以及数据文件(数据文件可能分散到不同的数据服务器上
frank0712105003
·
2012-10-09 17:00
struct
function
server
服务器
存储
filenames
[置顶]
pvfs
2.8.2元数据操作
相关于元数据I/O的主要操作包括以下:创建文件第一步C->P就是指客户端发给父目录服务器;获取父目录属性信息,这个过程隐藏了查找父目录路径的过程,如果没有查找到父目录在文件系统的handle,就无法获得其属性了,所以这一步隐藏了一个lookup的过程。第二步C->M客户端发给指定元数据服务器,创建元数据文件,这个意思是每个文件都对应了一个metadataobject,需要先创建这个metadata
frank0712105003
·
2012-09-26 16:00
object
服务器
pvfs
2 代码
pvfs
2-ls.c
entry_buffer) { inti=0,printed_dot_info=0; intret=-1; intpvfs_dirent_incount; char*name=NULL,*cur_file=NULL;
PVFS
_handlecur_h
frank0712105003
·
2012-09-25 22:00
File
null
buffer
Path
token
credentials
pvfs
2 读代码感悟
近期在读
pvfs
2的代码。感悟一:感觉里面的精髓就在状态机上了,读代码使我对于元数据的操作有了更进一步的了解,真的不错。
frank0712105003
·
2012-09-13 09:00
pvfs
2
pvfs
2-ls命令使用
要学会看帮助文档,在linux使用中一般命令在后面加上 --help 比如
pvfs
2-ls--help就可以看到相关的命令。
frank0712105003
·
2012-09-12 19:00
分布式文件系统比较
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。适合做通用文件系统的有MooseFS,GlusterFS,Lustre。==
zhyuxuan_lan
·
2012-06-21 15:26
分布式
文件系统
hdfs
gfs
mf
linux集群高可用
分布式文件系统比较
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。适合做通用文件系统的有MooseFS,GlusterFS,Lustre。==
zhyuxuan_lan
·
2012-06-21 15:26
分布式
GFS
hdfs
文件系统
MFS
pvfs
2 mount: No route to host
pvfs
2 mount:Noroutetohost这时候可能是由于你的iptables设置的问题,尝试以下方法:stoptheiptablesinioserver#serviceiptablesstopor
frank0712105003
·
2012-06-15 11:00
基于
PVFS
(并行虚拟文件系统)的并行网络存储系统 _浪潮
浪潮并行文件系统以
PVFS
作为开发原型,并在此基础上进行改进,使其与并行网络存储系统紧密结合。在这里,将对基于
PVFS
的浪潮并行文件系统作一个简单的介绍。
amaowolf
·
2012-04-05 12:00
并行虚拟文件系统(
PVFS
) _曹强
并行虚拟文件系统(
PVFS
)
PVFS
[2](ParallelVirtualFileSystem)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,因此,
PVFS
也无需特别的硬件设备。
amaowolf
·
2012-04-05 11:00
linux
集群
System
存储
parallel
磁盘
通过socket的sendfile向
pvfs
的挂载client端写文件
(1)node15,node16为dataserver,node14为client端,在node14上安装了
pvfs
的内核模块,启动了
pvfs
2-client、
pvfs
2-client-core,将tcp
amaowolf
·
2012-04-05 11:00
基于
PVFS
的并行网络存储系统
浪潮并行文件系统以
PVFS
作为开发原型,并在此基础上进行改进,使其与并行网络存储系统紧密结合。在这里,将对基于
PVFS
的浪潮并行文件系统作一个简单的介
amaowolf
·
2012-03-28 09:00
网络
服务器
存储
存储系统
磁盘
浪潮
PVFS
2支持RIMIO,最终支持MPICH2应用程序
//=====================================要使
PVFS
2支持ROMIO,最终支持MPICH2,其主要是在安装MPICH2时指定
PVFS
2的安装位置如此之后,应用程序(
amaowolf
·
2012-03-21 10:00
patch
PVFS
2日志配置与排错
======================================================服务器端的日志配置(1)常规排错可查看日志文件/var/log/messages和/tmp/
pvfs
2
amaowolf
·
2012-03-20 11:00
tcp
server
File
服务器
buffer
NetWork
在client端安装
PVFS
2内核模块
(1)编译、拷贝
PVFS
2内核模块[root@node16
pvfs
-2.8.2]#makekmod (编译内核模块,完成后会在src/kernel/linux-2.6/发现
pvfs
2.ko文件)[root
amaowolf
·
2012-03-20 10:00
linux
tcp
cache
ssh
File
application
Redhat5.4安装
pvfs
-2.8.2全过程(集群)
1.配置环境 (root用户)(1)在两台机器上分别配置/etc/hosts202.117.10.37 amao991 202.117.10.50 amao992 (2)配置无密码登录(在amao991上)[root@amao991~]#ssh-keygen-trsa [root@amao991~]#cp~/.ssh/id_rsa.pub~/.ssh/authorized_keys[r
amaowolf
·
2011-12-23 17:00
redhat
集群
server
tcp
File
Parsing
RHEL5.4安装
pvfs
-2.8.2(单节点)
1.配置环境 (root用户)配置/etc/hosts 202.117.10.37 amao991//amao991作为metadataserver,I/Oserver,client 2.安装
pvfs
-
amaowolf
·
2011-12-23 16:00
MFS分布式文件系统
6、
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。以上评价,非个人评价,是从CHINAUNIX中,
325232100
·
2011-08-25 15:28
分布式
mfs
服务相关
MFS分布式文件系统
6、
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。 以上评价,非个人评价,是从CHINA
325232100
·
2011-08-25 15:28
分布式
MFS
分布式文件系统比较
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。 适合做通用文件系统的有MooseFS,GlusterFS,Lu
zjl19861203
·
2011-02-28 10:48
分布式
职场
文件系统
休闲
分布式文件系统比较
PVFS
2搭配定制应用会很好,据说曙光的并行文件系统就是基于
PVFS
。适合做通用文件系统的有MooseFS,GlusterFS,Lustre。==
zjl19861203
·
2011-02-28 10:48
职场
文件系统
休闲
分布式文件系统
PVFS
2 源代码分析之输入输出src/io/job/thread-mgr线程管理器
线程管理器(threadmanager)是用于job线程管理的基础结构,但针对bmi、trove和dev三个主要组件提供不同的接口和实现。它们各有特点,也颇具共性,如下列表展示了三类各自的主要接口: PINT_thread_mgr_bmi: _start _stop _cancel _getcontext _unexp_handlerPINT_thread_mgr_trove:
basicthinker
·
2010-10-01 11:00
PVFS
2源代码分析之输入输出src/io/job/job任务
任务(job)为相关组件和操作提供了一个异步执行的框架,该框架是有状态的(记录于任务描述符jobdescriptor),可以记录异步调用执行到哪里等信息,并决定进一步操作;而下层函数调用不记录任务相关的状态(某些具体实现内部可能保存自身的状态),只通过函数参数输入输出任务状态信息。 job.c文件中定义的函数很多,因为要涵盖BMI、trove、flow、dev等多个组件的使用,但是不同组件具有相近
basicthinker
·
2010-09-27 10:00
thread
list
user
null
任务
代码分析
PVFS
2 源代码分析之输入输出src/io/job/job-desc-queue任务描述符队列
任务描述符队列(jobdescriptorqueue)是job文件夹下比较简单的模块,但是提供了任务管理的基础结构。数据结构核心的数据结构是队列中链入的对象——结构体job_desc,定义如下。structjob_desc{enumjob_typetype;/*typeofjob*/job_id_tjob_id;/*jobinterfaceidentifier*/void*job_user_ptr
basicthinker
·
2010-08-08 19:00
数据结构
struct
callback
任务
Descriptor
代码分析
PVFS
2源代码分析之输入输出src/io/bmi/reference-list引用表
本组件负责BMI的地址映射,该地址是一个64位整型值,通过它可以方便地定位到对应的引用(reference),每个引用代表一个BMI操作实例。数据结构主要是reference-list.h头文件中定义的引用结构体(ref_st),如下。引用用于定位BMI操作实例,并存储相关信息。structref_st{BMI_addr_tbmi_addr;/*theidentifierpassedoutofth
basicthinker
·
2010-07-29 14:00
数据结构
list
struct
table
reference
代码分析
PVFS
2 源代码分析之输入输出src/io/job/job-time-mgr任务时间管理器
PVFS
2发布的某些类型的任务(job)设置了超时,需要任务时间管理器(jobtimemanager)统一记录和管理这些任务。
basicthinker
·
2010-07-27 10:00
struct
null
iterator
任务
Descriptor
代码分析
PVFS
2 源代码分析之用户系统接口src/client/sysint/client-state-machine状态机生命周期和上下文
通过分析状态机的执行逻辑,状态机状态转移和触发嵌套/子状态机的执行过程已经基本清楚,但是一个状态机从创建、启动,到挂起、终止的完整生命周期还需进一步分析。本文涉及多个文件,但主要接口函数包含在src/client/sysint目录下的client-state-machine.h和client-state-machine.c文件中,这些接口函数会调用src/common/id-generator和s
basicthinker
·
2010-07-23 03:00
list
struct
null
jobs
代码分析
credentials
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他