基于Hadoop1.0.4的分布式云网盘(转载)

基于Hadoop1.0.4的分布式云网盘


基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘,整个架构由一个服务器节点(Master)以及若干数据节点(Slave/DataNode)组成小型云集群,具有低成本,高可扩展性等优势,能基本满足一个实验室的使用需求。


主要实现技术:Struct2.0+Servlet+Log4j+HDFS API,在Master主节点上使用Tomcat进行部署。
功能简介:
1、上传/下载各类型文件,文件类型、大小不限,不超过账号所属容量即可。
2、可多文件上传,暂不支持文件夹上传。
3、支持在线文档转pdf格式,能够在线预览(整合OpenOffice.org、SWFTools和FlexPaperViewer)
4、支持在线播放音频文件,在线预览图片
5、由于转码等问题,目前只支持在线播放flv视频文件
6、支持各类型文件查看(加入了正则表达式遍历文件夹),例如:我的图片、我的音乐。
7、支持二维码下载文件(手机或者平板需使用内网接入)


暂时未实现的功能:
1、暂时未使用MD5进行文件校验,因此上传相同的文件到同一文件夹下使用的是覆盖操作,也没有“文件秒传”的功能(进行判断是否该文件已存在系统中)
2、由于没有使用数据库,因此暂无在线注册功能,目前采用的是xml文件进行用户账户和密码的配存储。
3、由于没有使用数据库,“我的分享”、“我的收藏”模块暂未完成。


性能/安全分析:
1、由于目前集群中的Slave节点采用的是静态IP(受限于广西大学大学的DHCP机制,如果使用DHCP进行或者172的IP有可能动态变化,不利于Hadoop集群进行联网工作),因此,目前采取在Master节点上进行双IP的配置,静态IP负责
与内部Slave各节点通信,外部172打头的IP提供web访问服务,因此,造成的瓶颈是:所有数据的存储流量都走Master节点。
2、由于都走Master节点进行存储,无法做负载均衡机制。
3、目前还未对数据进行加密处理,管理人员可通过后台管理入口访问用户数据。


注:由于集群部署在广西大学内网,因此只有是在内网环境的主机,手机,平板才可正常使用。



以下是网盘的功能展示截图:
电脑访问:
1、网盘首页
基于Hadoop1.0.4的分布式云网盘(转载)_第1张图片

2、网盘登陆页
基于Hadoop1.0.4的分布式云网盘(转载)_第2张图片


3、网盘用户初始界面
基于Hadoop1.0.4的分布式云网盘(转载)_第3张图片

4、网盘上传页面
基于Hadoop1.0.4的分布式云网盘(转载)_第4张图片

5、正在上传多个文件
基于Hadoop1.0.4的分布式云网盘(转载)_第5张图片

6、在线预览网盘图片
基于Hadoop1.0.4的分布式云网盘(转载)_第6张图片

7、我的图片(按文件类型查询)
基于Hadoop1.0.4的分布式云网盘(转载)_第7张图片

8、二维码下载
基于Hadoop1.0.4的分布式云网盘(转载)_第8张图片

手机访问:
1、网盘首页
基于Hadoop1.0.4的分布式云网盘(转载)_第9张图片

2、网盘登陆页
基于Hadoop1.0.4的分布式云网盘(转载)_第10张图片

3、网盘用户初始界面
基于Hadoop1.0.4的分布式云网盘(转载)_第11张图片

4、在线预览网盘图片

基于Hadoop1.0.4的分布式云网盘(转载)_第12张图片


本网盘由广西大学计算机与电子信息学院308A实验室提供.
团队成员:Blank(Email:[email protected],Website:http://xlblank.duapp.com)

你可能感兴趣的:(基于Hadoop1.0.4的分布式云网盘(转载))