对大数据信息挖掘、分析的浅显认识

大数据是复杂多样的，更新速度异常之快，规模更加庞大。但具有高度分析的新价值，所以研究大数据对我们的未来发展趋势起着决定性的影响，所以我们团队研究了一些关于数据浅显分析的理论。通过这些分析我们可以了解到如何去筛选用户群，如何去决策改善我们的特征，以迎接未来发展的趋势。

1）、余弦相似度的删选方式

  在我们生活中，我们可以发现有很多相似的问题或其他事物，这样我们可以通过这种方法来删选有效信息。

例如我们南校区学生对食堂的态度：

句子A：我喜欢在二楼吃饭，不喜欢在一楼吃饭。

句子B：我不喜欢在二楼吃饭，也不喜欢在一楼吃饭。

可以看出，两句话用词越相似，他们的内容就应该越相似。所以，我们可以从用词的频率去着手计算他们的相似程度。

（1）、分词

     句子A：我 /喜欢 / 在 / 二楼/ 吃饭，不 / 喜欢 / 在 / 一楼 / 吃饭。

     句子B：我 / 不 / 喜欢 / 在 / 二楼 / 吃饭， 也 / 不 / 喜欢 / 在 / 一楼 / 吃饭。

（2）、列出所有的词

          我，喜欢，在，二楼，一楼，吃饭，不，也

（3）、计算词频

     句子A：我 1，喜欢 2，在 2，二楼 1，一楼 1，吃饭 2，不 1，也0

     句子B：我 1，喜欢 2，在 2，二楼 1，一楼 1，吃饭 2，不 2，也1

（4）、构造词频向量

      句子A：【1,2,2,1,1,2,1,0】

      句子B：【1,2,2,1,1,2,2,1】

通过以上步骤，我们可以将两个句子变成我们正在学的线性代数里面的简单的矩阵，也可以叫做横向量，然后通过计算这两个向量的相似度，就可以得出这两个句子的相似度。

向量的相似度也就是我们高中所学的两向量的夹角，夹角越小表明相似度越大。下面我们就利用求余弦的方式来求夹角。

求得cos(A,B)=0.95032889

值越趋近1，则表明夹角越小，所以说上面两句话的相似度还是比较高的。

可以通过这种方法计算很多方面的数据（比如文章，新闻等）的相似度。

未完待续......