panjf2000

协同过滤Item-based算法实现电影推荐系统

系统详细设计

离线计算推荐电影模块

: 系统所用算法:
　本系统采用协同过滤（Collaborative Filtering）推荐算法。协同过滤推荐算法分为预测过程和推荐过程，其包括Item-based算法和User-based算法，但经查阅相关资料发现User-based算法存在两个问题：1. 数据的稀疏性：一个大型的电影推荐系统会有大量的电影信息，用户已打分的电影可能只占总量的很少一部分，不同用户之间电影打分的重叠性较低，导致算法无法找到一个兴趣用户；2. 算法的扩展性：最近邻算法的计算量会随着用户和电影信息数量的增加而增加，不适合信息量大的情况。所以本系统采用了Item-based协同过滤算法，并对其做了适当修改。

: 计算过程：
计算过程分两步：
1.计算电影相似度：利用调整的余弦相似度计算方法，公式如下图：
这里写图片描述
2.电影相似度加权求和：使用用户已打分电影的分数进行加权求和，权值为用户未打分的各电影与打分的各电影的相似度，然后求平均，公式如下图：

以上部分均采用了多线程技术计算，值得注意的是相似度计算存在很大的冗余，必须去除冗余计算，不然计算量很大，这需要在数据库中建立一个sim表来记录已经计算的的sim(i,j),当下次需要计算sim(i,j)或sim(j,i)可直接从数据库读取而无需重复计算。并且我认为如果R（u，N）值如果比较低，说明用户不喜欢此电影，这条相似度信息可以忽略，这需要设置一个打分阀值。
: 计算模块流程图：
　　由于计算量较大，计算模块采用了多线程技术，来提升系统运行效率，如下图为计算模块主线程和子线程的流程图，如图ａ，图ｂ：
　　
　　　　　　　　　　　　　　　　　图ａ
　　
这里写图片描述
　　　　　　　　　　　　　　　　图ｂ
: 关键代码分析

计算模块采用多线程技术，主线程通过创建子线程来实现大量数据的计算，其中线程状态的监测很有必要，如下面为主线程实现代码：

sql="SELECT uid FROM user group by uid";
        uidItems=uiddb.executeQuery(sql);   
        for(int i=0;i<threadNum;i++){
            thCom[i]=new Thread(new thComp(uidItems,i));    
            thCom[i].start();
        }//for i
        boolean thFinished=false;
        while(!thFinished){
            try{
                Thread.sleep(sleepTime);
            }catch(Exception e){//try
                e.printStackTrace();
            }//catch();
            thFinished=true;
            for(int i=0;i<threadNum;i++){
                if(thCom[i].isAlive()){
                    //System.out.println(thCom[i].getName()+":"+thCom[i].getState());
                    thFinished=false;
                    break;
                }//if
            }//for i
        }//while(!thFinished)

由于子线程是从主线程创建的ResultSet中读取数据，这就需要子线程互斥的访问临界资源ResultSet，如下面代码所示：

public synchronized int getUserID(ResultSet uidItems){
        int uid=0;//0 shows that no usrid needs to process
        try{
            if(uidItems.next()){
                uid=uidItems.getInt("uid");
            }//if
        }catch(Exception e){
            e.printStackTrace();
        }//catch
        return uid;
    }//getUserID()

在为用户A计算要推荐的电影，计算电影i与电影j的相似度sim(i,j)时，可能在为用户B计算要推荐的电影已经计算过，如果再计算一次，会造成计算的冗余，降低了计算效率，使系统性能下降，这需要将将计算的sim(i,j)保存下来，然后需要计算sim(i,j)先判断是否已经计算过sim(i,j)或sim(j,i)，如果计算过直接读取，否则计算，本系统中是将sim(i,j)的计算值保存到数据库的sim表中，主要实现代码如下：

String sql="SELECT sim FROM sim WHERE midi='"+midi+"' and midj='"+midj+"' or midi='"+midj+"' and midj='"+midi+"'";  
        uidItems=uiddb.executeQuery(sql);
        //select and fllaowing insert may have problems
        try{
            if(uidItems.next()){
                return uidItems.getDouble("sim");
            }//if(uidItems.next())
        }catch(Exception e){
            e.printStackTrace();
        }//catch()
    public synchronized void insertSim(String sql){
        //here may have some problems
        recSimdb.executeUpdate(sql);
    }//insertSim

浏览推荐电影模块

: 浏览用户推荐电影流程图
这里写图片描述
: 关键代码分析
　　该模块主要是按推荐指数降序排序显示推荐给每个用户的电影，来满足用户的娱乐需求，提高用户的满意率，此功能主要代码如下所示：

public synchronized int getUserID(ResultSet uidItems){
        int uid=0;//0 shows that no usrid needs to process
        try{
            if(uidItems.next()){
                uid=uidItems.getInt("uid");
            }//if
        }catch(Exception e){
            e.printStackTrace();
        }//catch
        return uid;
    }//getUserID()

数据库设计模块

　　由于电影和用户信息数据量比较大，本系统将数据文件中的数据导入到mysql数据库中，同时增加了一些额外数据表来满足系统的要求，比如保存用户平均打分的avgrating表和降低计算电影相似性冗余的sim表。在经常查询的字段添加了索引，以提高查询速度，在group by字段也添加了索引。下面简单介绍下数据库中各个表结构如下几张图所示。
　　电影信息表

　　用户信息表

　　用户打分信息表

　　用户平均打分表

　　 sim表

　　这里写图片描述