网络媒体大数据平台项目第一阶段验收心得

首先。本项目开展时长已有20天了，每天非常充实又忙碌的过着，一直忽略了记录一些东西。比如说新学到的知识，新接触的技术，新解决的问题，这些对我而言都是进步的印迹。

1.mongodb数据库的使用，具体用法需要在项目中重温。

2.jsp直接写action和sevlet，我觉得这方便极了。也容易修改。

3.大数据读取问题：

（1）本项目数据量极大，二十多亿条，在没有分布式和机械硬盘的情况下， 就要尽可能改善读写速度。

（2）利用翻页加limit避免一次性读完所有数据再前台显示，可以几秒内出结果。

（3）利用list<类名> 存储每次翻页读到的100条数据，我们通过语料标题点进去原文，就可以不需要从数据库里面存储，极大提升了耗时问题

（4）调用腾讯api进行语义分析。

（5）对于新闻语料进行检索，检索结果在前端要进行伪分页，优化查看效果

4.注意事项：

（1）同一个jsp页面，只能做一次request传值，所以我用REQUEST传页面数，再利用session传递list.

int hash=Integer.parseInt(request.getParameter("fid"));

List list=(List)session.getAttribute("forumlist");

……未完待续，具体代码以后附上。