斯坦福NLP笔记71 —— Term-Document Incidence Matrices

这一节主要讲的是Term-Document矩阵的稀疏性（sparsity）

考虑这样一个大的文本集collection：

一共有N=100万篇文档，平均每篇文档包含一千个词，存下这些文档大约需要6GB的空间，这还好。

但是当你要存下Term-Document矩阵的时候，文档集一共使用过的不同的词汇是50万，所以你的矩阵是：50万×100万，这是不可接受的。但由于这个矩阵非常稀疏，所以只存“1”就可以了。