1.介绍
gemsim是一个免费python库，设计目的是，从文档中有效地自动抽取语义主题。
gensim可以处理原始的，非结构化的文本（”plain text”）。gensim中的算法，包括：LSA(Latent Semantic Analysis), LDA(Latent Dirichlet Allocation), RP (Random Projections), 通过在一个训练文档语料库中，检查词汇统计联合出现模式, 可以用来发掘文档语义结构. 这些算法属于非监督学习，这意味着无需人工输入－－你只需提供一个语料库即可。
2.特性
- 内存独立- 对于训练语料来说，没必要在任何时间将整个语料都驻留在RAM中
- 有效实现了许多流行的向量空间算法－包括tf-idf，分布式LSA, 分布式LDA 以及 RP；并且很容易添加新算法
- 对流行的数据格式进行了IO封装和转换
- 在其语义表达中，可以相似查询
gensim的创建的目的是，由于缺乏简单的（java很复杂）实现主题建模的可扩展软件框架. 。。。
gensim的设计原则：
- [1].简单的接口，学习曲线低。对于原型实现很方便
- [2].根据输入的语料的size来说，内存各自独立；基于流的算法操作，一次访问一个文档.
更多：document similarity server.
相似服务器相关文档.
#3.核心概念
gensim的整个package会涉及三个概念：corpus, vector, model.
3.1 语库(corpus)
文档集合.该集合用来自动推出文档结构，以及它们的主题等。出于这个原因，这个集合被称为：训练语料。后续为在新的文档分配主题时会使用的隐含语义结构（inferred latent structure），它将不会出现在训练语料中。无需人工干预(比如对文档进行手工打标签，或者创建其它数据元等)。
3.2 向量(vector)
在向量空间模型(VSM)中，每个文档被表示成一个特征数组。例如，一个单一特征可以被表示成一个问答对(question-answer pair):
- [1].在文档中单词”splonge”出现的次数？ 0个
- [2].文档中包含了多少句子？ 2个
- [3].文档中使用了多少字体? 5种
这里的问题可以表示成整型id (比如：1,2,3等), 因此，上面的文档可以表示成：(1, 0.0), (2, 2.0), (3, 5.0). 如果我们事先知道所有的问题，我们可以显式地写成这样：(0.0, 2.0, 5.0). 这个answer序列可以认为是一个多维矩阵（3维）. 对于实际目的，只有question对应的answer是一个实数.
对于每个文档来说，answer是类似的. 因而，对于两个向量来说（分别表示两个文档），我们希望可以下类似的结论：“如果两个向量中的实数是相似的，那么，原始的文档也可以认为是相似的”。当然，这样的结论依赖于我们如何去选取我们的question。
3.3 稀疏矩阵(Sparse vector)
通常，大多数answer的值都是0.0. 为了节省空间，我们需要从文档表示中忽略它们，只需要写：(2, 2.0), (3, 5.0) 即可(注意：这里忽略了(1, 0.0)). 由于所有的问题集事先都知道，那么在稀疏矩阵的文档表示中所有缺失的特性可以认为都是0.0.
gensim的特别之处在于，它没有限定任何特定的语料格式；语料可以是任何格式，当迭代时，通过稀疏矩阵来完成即可。例如，集合 ([(2, 2.0), (3, 5.0)], ([0, -1.0], [3, -1.0])) 是一个包含两个文档的语料，每个都有两个非零的
3.4 模型(model)
对于我们来说，一个模型就是一个变换(transformation)，将一种文档表示转换成另一种。初始和目标表示都是向量－－它们只在question和answer之间有区别。这个变换可以通过训练的语料进行自动学习，无需人工监督，最终的文档表示将更加紧凑和有用；相似的文档具有相似的表示。
#其它
关于示例，我们可以参考教程