昆明理工大学计算中心系统

1：项目背景：

昆明理工大学一共有师生40000多人，分为三个校区

呈贡校区，莲华校区，新迎校区 ，现在学校为了构建一个系统，目的是为了让全校师生共享数据，该系统上功能有如下：

1：电影（下载好的）

2：推荐学习书籍（可下载）

3：常用软件下载

4：视屏学习（a本校教师视屏b学习视屏）

5：二手市场

6：技术交流

7: 理工文库（类百度文库）

8：留言板

历史数据有3000多G，学校的数据越来越多，而数据的价值越来越大，学校为了数据的安全性重新构建此系统。

2：项目要求

1：为了数据的安全性，易扩行，使用分布式系统

2：理工文库是本系统的重点内容，我们实现的方式要跟百度文库的方式一模一样，使用lucene，并且使用redis数据库做搜索预测。

3：电影，推荐数据，常用软件，视屏学习，技术交流的搜索框都要实现搜索预测的功能。

3：项目组

项目组人数：5人

组长：本人

周期：3个月

本人在项目中的职责：负责召集成员开发程序，提供技术支持，搭建好分布式系统，搭建好项目，实现搜索预测的功能和理工文库的功能。

4：使用技术

Hadoop Lucene Reids   Flume  mysql SSH  easyUI

操作系统：linux

5:实现思路

1：使用hadoop搭建好分布式系统，搭建好redis数据库

2：搭建好项目，使用SSH框架实现

1：电影（下载好的）

2：推荐学习书籍（可下载）

3：常用软件下载

4：视屏学习（a本校教师视屏b学习视屏）

5：二手市场（注意以上的数据我都是存到hdfs当中的）

6：技术交流

8：留言板（用的mysql数据库）

9：学校公告通知

这七个的基本功能，比如上传，下载，留言

3：实现需要搜索预测的功能的框，但是我搜索预测的数据是通过日志分析得来的，所以我使用了flume的搜集日志，并写了定时任务，两天分析一次日志，看用户需要查询的内容，并把结果定制输出到redis数据库。

4：清理历史数据，对书籍，技术交流，学校公告通知里面的文档，添加用lucene索引，为了后面实现的类百度文库的效果。

5：实现理工文库，完全模仿百度，提供了搜索预测，在线阅读，下载等功能，使用的是中文的分词器，万能文档格式解析，非传统方式解析各种文档格式（.txt，.pdf，.doc，.xls，.docx，.xlsx，.htm……）,而是采用Apache Tika – 文档解析工具包，这个是我们整个项目的亮点。