models.lsi_worker - 分布式LSI的worker

Reading time ~1 minute

USAGE: %(program)s SIZE_OF_JOBS_QUEUE

1
Dispatcher进程,用来分派分布式LSI计算。在你的集群上的每个节点都运行该脚本一次。

示例:python -m gensim.models.lsi_dispatcher


class gensim.models.lsi_dispatcher.Dispatcher(maxsize=0)

1
2
3
4
5
dispatcher对象,用于和独立的worker进行进行通信。

在任何时间,只能有一个dispatcher运行。

注意:dispatcher的构造函数不能进行完全初始化,可以再使用initialize()函数。

exit()

1
终止所有注册的worker,然后终止dispatcher。

getstate()

1
在所有的worker间合并projection,并返回最后的projection.

getworkers()

1
返回所有注册worker的pyro URI.

initialize(**model_params)

1
model_params:该参数用于初始化各独立的 workers (worker.intialize())

jobdone(*args, **kwargs)

1
2
3
一个worker已经完成了它的job。记录事件,接着异步传输给worker。

这种方式下,控制流基本上在dispatcher.jobdone() 和 worker.requestjob()之间摆动。

jobsdone()

1
封装了 self._jobsdone,通过代理进行远程访问。

reset()

1
为新的分解初始化所有的workers。

英文原版