该模块实现了字典(Dictionary)的概念--一个在word与整型id之间的映射。
字典可以通过corpus创建,接着根据文档频率进行prune调整(比如:通过Dictionary.filter_extremes()移除公共或非公共词汇),从磁盘进行save/load(通过Dictionary.save()或者Dictionary.load()方法),或者和其它字典进行合并(Dictionary.merge_with())等。
class gensim.corpora.dictionary.Dictionary(documents=None, prune_at=2000000)
1
2
3
4
5
6
7
基类:gensim.utils.SaveLoad, _abcoll.Mapping
字典封装了在归一化词汇(word)与整型id之间的映射关系。
主要函数有 doc2bow,它将许多词汇转换成词袋(bag-of-words)模型表示:一个2-tuples列表(word_id, word_frequency)。
如果给定了documents,使用它们进行字典初始化(参见:add_documents())
add_documents(documents, prune_at=2000000)
1
2
3
4
5
6
从文档中更新字典。每个文档是一个token列表 = token化和归一化的字符串(utf8 或者 unicode)。
有一个便利的wrapper类,在每个文档上调用doc2bow时,使用allow_update=True,可以对频率不高的word进行调整,保持唯一单词总量<=prune_at。在非常大的输入时,可以保存在内存中。若要禁止使用pruning,可以将prune_at=None.
>>> print(Dictionary(["máma mele maso".split(), "ema má máma".split()]))
Dictionary(5 unique tokens)
compactify()
1
2
3
为所有的词汇分派新的id。
它可以让id更加紧凑,通过filter_tokens()移除一些token、以及id序列间的间隙来实现。调用该方法可以移除间隙。
doc2bow(document, allow_update=False, return_missing=False)
1
2
3
4
5
转文档(一些词汇列表)转换成词袋模型 = 一列2-tuples(token_id, token_count)。每个词汇都假设是一个token化和归一化的字符串(unicode 或者 utf8编码)。文档中的词汇不需要再做进一步预处理,在调用该方法前应tokenization, stemming等。
如果设置了allow_update,接着在处理中更新字典:为每个新的词汇创建id。同时,更新文档频率--对于在文档中出现的每个词汇,对文档频率加1(self.dfs)。
如果没有设置allow_update,则该函数是const,只读。
filter_extremes(no_below=5, no_above=0.5, keep_n=100000)
1
2
3
4
5
6
7
8
9
过滤掉token,它们出现在:
- 1.小于no_below(绝对数)— 的文档
- 2.大于no_above的文档
- 3.在(1)和(2)之后,保持首个keep_n个最频繁的token(如果为None,保持所有的)
在pruning之后,将词汇id间隙进行压缩。
注意:由于间隙压缩,在之前和之后调用该函数,相同的词汇可以有不同的词汇id。
filter_tokens(bad_ids=None, good_ids=None)
1
2
3
从所有的字典映射中,移除选中的bad_ids的token,或者,保存在映射中选中的 good_ids,移除其余的。
bad_ids和good_ids都是被移除的词汇id集合。
static from_corpus(corpus, id2word=None)
1
2
3
从一个存在的语料中创建一个字典(Dictionary)。如果你只有一个词汇-文档的BOW矩阵(由语料来表示)这将会很有用,注:非原始文本语料。
该函数这将扫描词汇-文档数矩阵中的所有词汇id,接着构建和返回一个将word_id-> id2word[word_id]映射的字典(Dictionary)。
static from_documents(documents)
get(key, default=None)
items()
iteritems()
iterkeys()
itervalues()
keys()
1
返回所有token id的列表。
classmethod load(fname, mmap=None)
1
2
3
加载之前保存的文件对象。
同上。
static load_from_text(fname)
1
加载一个之前保存文件的字典,镜像函数:save_as_text.
merge_with(other)
1
2
3
4
5
6
7
8
9
10
11
12
13
将另一个字典合并到该字典中,将一些相同的token映射到相同的id上,新的token对应新的id。这个函数的目的是为了将两个语料进地合并。
other: 可以是任何 id=>word 映射。(一个dict,或者一个Dictionary对象,...)
当作为 result[doc_from_other_corpus]进行访问时,返回一个变换对象,它使用other 字典将语料中的文档,使用新的字典转换成另一个文档。
示例:
>>> dict1 = Dictionary(some_documents)
>>> dict2 = Dictionary(other_documents) # ids not compatible with dict1!
>>> dict2_to_dict1 = dict1.merge_with(dict2)
>>> # now we can merge corpora from the two incompatible dictionaries into one
>>> merged_corpus = itertools.chain(some_corpus_from_dict1, dict2_to_dict1[some_corpus_from_dict2])
save(fname, separately=None, sep_limit=10485760, ignore=frozenset([]))
1
2
3
4
5
将对象保存成文件。
如果separately为None,自动检测大的 numpy/scipy.sparse对象数组,将它们以独立文件方式进行存储。这将避免pickle内存错误,允许mmap映射加载大数组。
...
save_as_text(fname, sort_by_word=True)
1
2
3
将一个文本文件保存成Dictionary,格式为: id[TAB]word_utf8[TAB]document frequency[NEWLINE]. 按词汇进行排序,或者通过词频进行排序。
注意:使用文本格式时进行语料内省。使用save/load来存储二进制格式(pickle)来改进性能。
values()