csdn开源夏令营-ospaf中期报告

1.背景

        随着将中期的代码托管到CSDN的平台上，ospaf（开源项目成熟度分析工具）已经有了小小的雏形，当然还远远不够。

      首先还是要感谢这次活动组织方CSDN，感觉挺有Google Summer Code 中国版的味道。还有就是我的夏令营导师David，给了我很多指导和帮助，线下的交流也很让我长见识。

     接着来说ospaf这个项目（有兴趣的tx可以去看题案，地址）。按照之前的计划，在中期答辩之前要完成对于github相关api的了解，将github的一些数据clone到本地的数据库，利用一些机器学习算法训练模型，然后可以利用这个模型对其它项目进行评价。到今天为止这些功能都已经简单实现了，不过都是很初级的版本（代码地址）。下面简单介绍下项目流程。

2.项目流程

     第一步：github api调用

         调研三种跟github有关的api，分别是github官方api、github archive、GHTorrent。其中GHTorrent提供的数据最全（包含commits等信息），但是因为数据量实在过于庞大，在没有服务器之前只好舍弃。剩下两种其实提供的数据是一样的，只不过github官方的api有一定的流量限制。最终还是选定了官方api。

         首先就是获得github上面的项目的api地址，要做一些json格式解析工作，还有就是一些正则匹配。存入到数据库大致是如下所示，

图 2-1 url

        之后就可以读取每个每一个url地址，获得相关项目的详细信息，存到数据库。

图2-2 repo info

    第二步：处理数据，构建训练集

       把数据放到数据库之后，剩下就是机器学习的内容了。因为受限于流量限制，每小时只能clone下来43个项目的数据，所以训练集不足，就没有对特征进行扩维操作（下一期会重点解决这一块）。特征方面只是对时间进行了调整，把年月日的格式换成了对于距离当天的日期差，如：created_at=500,也就是说这个项目是500天前建立的。

      因为算法采用的是监督学习的，所以需要设定目标队列。目标队列的获取方法是提取了一些github showcase的项目作为正样本，其它的项目为负样本。

      这样就简单的组成了训练集，正样本和负样本的比例大概是1：6。总数据量有六十多个训练样本（少的可怜）。

   第三步：机器学习

       因为训练集较小，目前用到的算法比较少。用到了归一化算法、采样算法对数据进行处理，计算模型使用的是逻辑回归。下图是每个特征的回归因子。大于零的特征对于样本是正面影响，小于零的是负面影响。

图 2-3 feature

  第四步：评测（对项目打分）

     下面选用了四个项目对模型进行检验，前三个是github上的热门项目，第四个是我自己的一个项目。

  

图 2-4 PreSet

图 2-4 结果图

        得分大于零为成熟度高的项目，分数越高，成熟度越高。

项目地址：https://code.csdn.net/davidmain/ospaf       

  

 

/********************************

* 本文来自博客  “李博Garvin“

* 转载请标明出处:http://blog.csdn.net/buptgshengod

******************************************/