这一节主要讲的是Term-Document矩阵的稀疏性(sparsity)
考虑这样一个大的文本集collection:
一共有N=100万篇文档,平均每篇文档包含一千个词,存下这些文档大约需要6GB的空间,这还好。
但是当你要存下Term-Document矩阵的时候,文档集一共使用过的不同的词汇是50万,所以你的矩阵是:50万×100万,这是不可接受的。但由于这个矩阵非常稀疏,所以只存“1”就可以了。
本文共 255 字,大约阅读时间需要 1 分钟。
这一节主要讲的是Term-Document矩阵的稀疏性(sparsity)
考虑这样一个大的文本集collection:
一共有N=100万篇文档,平均每篇文档包含一千个词,存下这些文档大约需要6GB的空间,这还好。
但是当你要存下Term-Document矩阵的时候,文档集一共使用过的不同的词汇是50万,所以你的矩阵是:50万×100万,这是不可接受的。但由于这个矩阵非常稀疏,所以只存“1”就可以了。
转载于:https://my.oschina.net/silverhammer/blog/293713