阿里在KDD 2018上开放了它们的方法:《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》, 我们来看下:
介绍
互联网技术持续改变着商业版图,电商变得无处不在。Alibaba blala,10亿用户,2017 GMV是37670亿rmb,2017收入是1580亿rmb。blala。
淘宝有10亿users和2亿items,最重要的问题是,如何帮助用户快速发现需要和感兴趣的items。推荐系统对于达成这个目标来说至关重要。例如,淘宝移动APP的主页(图1),会基于用户过去的行为结合推荐技术生成,贡献了40%的总推荐流量。再者,在淘宝上,收入和流量的大头都来自推荐。简言之,推荐是taobao和alibaba的GMV和收入的核心引擎。尽管在学术界和工业界大多数推荐方法都能获得成功(例如:CF,基于内容的方法,基于deeplearning的方法),但是在淘宝,这些方法面对的问题变得更严峻,因为有海量的用户和海量的items存在。
图1: 虚线框的区域对于淘宝10亿用户来说是个性化的。为了更好的用户体验,吸引人的图片和方案描述也同样是生成的。注意,Taobao移动端主页贡献了40%的总推荐流量
这里淘宝推荐系统有三个主要的技术挑战:
- 可扩展性(Scalability):尽量许多已经存在的推荐方法可以在小规模数据集上能很好工作(例如:数百万的users和items),但它们通常会在淘宝的海量数据集上试验失败。
- 稀疏性(Sparsity):由于用户趋向于只与小部分的items交互,特别是当users或items只有少量交互时,很难训练一个精准的推荐模型。这通常被称为“sparsity”问题。
- 冷启动(cold start):在淘宝,数百万的新items会在每小时持续被上传。这些items没有用户行为。处理这些items、或者预测用户对这些items的偏好是个挑战,这被称为“cold start”问题。
为了解决这些挑战,我们在淘宝技术平台上设计了two-stage推荐框架。第一阶段称为matching,第二阶段为ranking。在matching阶段,我们会生成一个候选集,它的items会与用户接触过的每个item具有相似性;接着在ranking阶段,我们会训练一个深度神经网络模型,它会为每个用户根据他的偏好对候选items进行排序。由于上述挑战的存在,在两个阶段都会面临不同的问题。另外,每个阶段的目标不同,会导致技术解决方案的不同。
在本paper中,我们主要关注如何解决在matching阶段的挑战,其中,核心任务是,基于用户行为,计算所有items的两两(pairwise)相似度。在获取items的pairwise相似度后,我们可以生成一个items候选集合,进一步在ranking阶段使用。为了达到该目的,我们提出了根据用户行为历史构建一个item graph,接着使用state-of-art的graph embedding方法[8,15,17]来学习每个item的embedding,这被称为BGE(Base Graph Embedding)。在这种方式下,我们可以基于items的embeddings向量进行点乘来计算候选items集合的相似度。注意,在之前的工作中,基于CF的方法来计算这些相似度。然而,基于CF的方法只考虑了在用户行为历史上的items的共现率。在我们的工作中,会在item graph中使用random walk,来捕获items间的高维相似性。这样,它比基于CF的方法要好。然而,为少量或者没有交互行为的items学到精准的embeddings仍是个挑战。为了减轻该问题,我们提供了使用side information来增强embedding过程,这被称为使用Side information的Graph Embedding(Graph Embedding with Side information (GES))。例如,属于相似的类目或品牌的items在embedding space空间应更接近。在这种方式下,即使items只有少数互交或没有交互,我们也可以获取精确的items embedding。然而在淘宝,有许多种类型的side information。比如类目(category)、品牌(brand)、或价格(price)等,直觉上不同的side information对于学习items的embeddings的贡献也不一样。因而,我们进一步提出了一种加权机制来使用,这被称为Enhanced Graph Embedding with Side information(EGES)。
总之,matching阶段有三个重要的部分:
- (1) 基于在淘宝这些年的实践,我们设计了一个有效的启发式方法,基于在淘宝上10亿多用户的行为历史来构建item graph。
- (2) 我们提供了BGE,GES和EGES,来学习在淘宝上20亿items的embeddings。我们进行离线实验来演示:GES和EGES与BGE、以及其它embedding方法对比的效果。
- (3) 为了部署十亿级users和items的方法,我们基于baobao XTensorflow(XTF)平台来构建graph embedding systems。我们展示了提出的框架可以极大提升在taobao移动端app上的推荐效果,同时能满足在双十一节上的训练效率和实时服务。
paper的其余部分组织如下:第2节介绍三种embedding方法。第3节介绍离线和在线实验结果。第4节介绍在taobao上的系统部署。第5节回顾相关工作。第6节收尾。
2.框架
这一节,首先引入graph embedding的基础,接着详述如何从用户行为历史上构建item graph。最后,我们研究了在淘宝上进行学习items embeddings的方法。
2.1 前提条件
本节,我们会给出一个关于graph embedding的总览,会采用一个很流行的方法:DeepWalk;在此基础上,我们提出了在matching阶段我们的graph embedding方法。给定一个graph:\(G = (V, E)\),其中V和E分别表示节点集合和边集合。Graph embedding会为空间\(R^d\)上的每个节点\(v \in V\)学习一个低维表示,其中\(d \ll \mid V \mid\)。换句话说,我们的目的是,学习一个映射函数:\(\Phi: V \rightarrow R^d\),(即:在V中的每个节点表示成一个d维向量)。
在[13,14]中,提出了word2vec来学习在语料中的每个词的embedding。受word2vec的启发,Perozzi等提出了DeepWalk来学习在graph中每个节点的embedding。首先通过运行在graph中的random walk来生成节点序列,接着应用Skip-Gram算法来学习在graph中的每个节点表示。为了维持该graph的拓朴结构,他们需要解决以下的优化问题:
\[minimize_{\Phi} \sum\limits_{v \in V} \sum\limits_{c \in N(v)} -log Pr(c | \Phi(v))\]…(1)
其中,\(N(v)\)是节点v的邻节点,可以被定义为从v开始在一跳或两跳内的节点。\(Pr(c \mid \Phi(v))\)定义了给定一个节点v后,具有上下文节点c的条件概率。
在本节的其它部分,我们首先会介绍如何从用户行为中构建item graph,接着提供了基于DeepWalk的graph embedding方法来生成在taobao上20亿item上的低维表示。
2.2 根据用户行为构建item graph
图2: 淘宝graph embedding总览: a) **用户行为序列:用户u1对应一个session,u2和u3分别各对应一个session;这些序列被用于构建item graph;b) 有向加权item graph(weighted directed item graph)\(G=(V,E)\); **c)在item graph上由random walk生成的序列; d) **使用Skip-Gram生成embedding
在本节,我们详述了从用户行为构建item graph。现实中,在淘宝上一个用户的行为趋向于如图2(a)所示的序列。之前基于CF的方法只考虑了items的共现,但忽略了顺序信息(可以更精准地影响用户的偏好)。然而,不可能使用一个用户的整个历史,因为:
- 1.计算开销和存储开销会非常大
- 2.一个用户的兴趣趋向于随时间漂移
因此,实际上,我们设置了一个时间窗口,只选择用户在该窗口内的行为。这被称为是基于session的用户行为(session-based)。经验上,该时间窗口的区间是一个小时。
如果我们获取基于session的用户行为,如果两个items它们连续出现,会通过一个有向边进行连接,例如:图2(b)的item D和item A是连接的,因为在图2(a)中用户\(u_1\)顺序访问了item D和A。通过利用在淘宝上所有用户的协同行为,我们会为每条边\(e_{ij}\)基于在所有用户行为的行连接items中的出现总数分配一个权重。特别的,在所有用户行为历史中,该边的权重等于item i转向item j的频次。这种方法中,构建的item graph可以基于所有用户行为表示不同items间的相似度。
实际上,在我们抽取了用户行为序列之前,我们需要过滤一些非法数据和异常行为来为我们的方法消除噪声。下述行为会被我们的系统认定为噪声:
- 如果在一次点击后的停留时长少于1秒,该点击可能是无意识的,需要被移除。
- 在淘宝中有许多”过度活跃(over-active)”用户,它们实际上是有害用户(spam users)。根据我们在淘宝上的时长观察,如果在三个月内,单个用户购买1000个items或者他/她的总点击数超过3500个items,该用户非常可能是一个spam user。我们需要过滤掉这些用户的行为。
- 淘宝零售商们(Retailers)会保持更新一个商品(commodity)的详情。极端情况下,在淘宝上的一个商品可能在一连串更新后,虽然相同的id,但很可能变成了不同的item。因而,这种item也会根据id进行移除。
2.3 基于图的Embedding(BGE)
在我们获取weighted directed item graph后,表示\(G=(V,E)\)。我们采用DeepWalk来学习在图G中的每个节点的embedding。假设M表示G的邻近矩阵(adjacency matrix),\(M_{ij}\)表示从节点i指向节点j的加权边。我们首先基于随机游走生成节点序列,接着在这些序列上运行Skip-Gram算法。随机游走的转移概率定义如下:
\[P(v_j | v_i) = \begin{cases} \frac{M_{ij}}{\sum\limits_{j \in N_{+}(v_i)} M_{ij}}, & v_j \in N_{+}(v_i) \\ 0, & e_{ij} \notin E \end{cases}\]…(2)
其中,\(N_{+}(v_i)\)表示出链(outlink)的邻节点集合,例如,从\(v_i\)出发指向在\(N_{+}(v_i)\)所有节点的边。通过运行随机游走,我们可以生成如图2(c)所示的许多序列。
接着,我们使用Skip-Gram算法来学习embeddings,它会最大化在获取序列上的两个节点间的共现概率。这会生成以下的优化问题:
\[minimize_{\Phi} - log Pr (\lbrace v_{i-w}, ..., v_{i+w} \rbrace \backslash v_i | \Phi(v_i))\]…(3)
其中,w是在序列中上下文节点的window size。使用独立假设,我们具有:
\[Pr (\lbrace v_{i-w}, ..., v_{i+w} \rbrace \backslash v_i | \Phi(v_i)) = \prod_{j=i-w, j \neq i}^{i+w} Pr(v_j | \Phi(v_i))\]…(4)
应用negative sampling,等式4可以转换成:
\[minimize log \sigma (\Phi(v_j)^T \Phi(v_i)) + \sum_{t \in N_(v_i)'} log \sigma(- \Phi(v_t)^T \Phi(v_i))\]…(5)
其中,\(V(v_i)'\)是对于\(v_i\)的负采样,\(\sigma()\)是sigmoid函数。经验上,\(\mid N(v_i)' \mid\)越大,获得的结果越好。
2.4 使用Side Information的GE(GES)
通过应用2.3节的embedding方法,我们可以学到在淘宝上的所有items的embedding,来捕获在用户行为序列上的更高阶相似度,这种特性会被基于CF的方法忽略。然而,对于“冷启动(cold-start)”的items,学到精准的embeddings仍然是个挑战。
为了解决冷启动问题,我们提出了增强式BGE,它会使用side information来与冷启动items做绑定。在商业推荐系统的场景中,side information常指关于一个item的:类目(category),shop(商名),价格(price)等,它们常被当成是ranking阶段的关键特征而广泛使用,但很少用于matching阶段。我们可以通过将side information合并到graph embedding中来缓合cold-start问题。例如,优衣库(UNIQLO:相同店)的两款卫衣(相同类目)可能很相似,一个喜欢Nikon镜头的用户,也可能对Canon相机感兴趣(相似类目和相似品牌)。这意味着这些具有相似的side information的items也可在embedding空间中更接近。基于这个猜想,我们提出了如图3的GES方法。
图3: GES和EGES的总框架。SI表示side information,其中”SI 0”表示item自身。惯例上,1)对于items和不同的SIs,稀疏特征趋向于one-hot-encoder vectors。 2) Dense embeddings是items和相应的SI的表示 3) hidden representation是一个item和它相应的SI的聚合embedding
为了清晰些,我们对概念做了精微调整。我们使用W来表示items或者side information的embedding matrix。特别的,\(W_v^0\)表示item v的embedding,\(W_v^S\)表示绑定到item v上的第s个类型的side information的embedding。接着,对于item v,使用n种类型的side information,我们具有n+1个向量\(w_v^0, ..., W_v^n \in R^d\),其中,d是embedding的维度。注意,item embeddings和side information embeddings的维度,经验上设置为相同的值。
如图3所示,为了合并side information,我们为item v将n+1个embedding vectors进行拼接,增加一个layer,使用average-pooling操作来将所有与item v的embeddings进行聚合,它是:
\[H_v = \frac{1}{n+1} \sum_{s=0}^n W_v^s\]…(6)
其中,\(H_v\)是item v的聚合embeddings。这种方法中,我们将side information以这样的方式合并,从而使具有相近side information的items可以在embedding空间内更接近。这会为cold-start items的embeddings更精准些,并且提升了在线和离线的效果。(见第3节)
2.5 增强型EGS(EGES)
尽管GES可以获得收益,但在embedding过程中集成不同类型的side information时,仍存在一个问题。等式(6)中,不同类型的side information对最终的embedding的贡献是相等的,在现实中这不可能。例如,一个购买了IPhone的用户,趋向于会浏览Macbook或者Ipad,因为品牌都是”Apple”;而一个购买了多个不同品牌衣服的用户,出于便利和更低价格,还会在相同的淘宝店上继续购买。因此,不同类型的side information对于在用户行为中的共现items的贡献各不相同。
为了解决该问题,我们提出了EGES方法来聚合不同类型的side information。该框架与GES相同(见图3)。不同之处是,当embeddings聚合时,不同类型的side information具有不同贡献。 因而,我们提出了一个加权平均的average layer来聚合与items相关的side information的embeddings。给定一个item v,假设\(A \in R^{\mid V \mid \times (n+1)}\)是权重矩阵(weight matrix),条目\(A_{ij}\)是第i个item、第j个类型side information的权重。注意,\(A_{*0}\),即A的首列,表示item v的权限自身。出于简洁性,我们使用\(a_v^s\)来表示关于第v个item的第s个类型的side information的权重,\(a_v^0\)表示item v自身的权重。加权平均层(weighted average layer)会结合不同的side information,定义如下:
\[H_v = \frac{\sum\limits_{j=0}^{n} e^{a_v^j} W_v^j} {\sum\limits_{j=0}^n e^{a_v^j}}\]…(7)
其中,我们使用\(e^{a_v^j}\)来替代\(a_v^j\),以确保每个side information的贡献大于0, \(\sum_{j=0}^n e^{a_v^j}\)被用于归一化不同类型side information的embeddings的相关权重。
在训练数据中,对于节点v和它的上下文节点u(即output),我们使用\(Z_u \in R^d\)来表示它的embedding,y来表示label。接着,EGES的目标函数变为:
\[L(v, u, y) = - [ y log(\sigma(H_v^T Z_u)) + (1-y)log(1-\sigma(H_v^T Z_u))]\]…(8)
为了求解它,梯度求导如下:
\[\frac{\partial L}{Z_u}=(\sigma(H_v^T Z_u) -y) H_v\]…(9)
对于第s个side information:
\[\frac{\partial L} {\partial a_v^s} = \frac{\partial L} {\partial H_v} \frac{\partial H_v} {\partial a_v^s} \\ = (\sigma(H_v^T Z_u) -y) Z_u \frac{(\sum\limits_{j=0}^n e^{a_v^j}) e^{a_v^s} W_v^s - e^{a_v^s} \sum\limits_{j=0}^n e^{a_v^j} W_v^j} { (\sum\limits_{j=0}^n e^{a_v^j})^2}\]…(10)
\[\frac{\partial L} {\partial W_v^s} = \frac{\partial L} {\partial H_v} \frac{\partial L} {\partial W_v^s} \\ = \frac{e^{a_v^s}}{\sum\limits_{j=0}^n e^{a_v^j}} (\sigma(H_v^T Z_u) -y ) Z_u\]…(11)
EGES的伪代码如算法1如示,加权Skip-Gram updater的伪代码如算法2所示。最终每个item的隐表示通过等式(7)来计算:
算法一:
算法二:
3.实验
本节中,我们引入大量实验来演示这些方法的效果。首先通过链接预测任务评估方法,然后是在Taobao移动端APP上的在线实验。最终,我们提出一些真实case来进一步深入这些方法。
3.1 离线评估
链接预测(Link Prediction)。链接预测任务被用于离线实验,因为它是在网络中的一个基础问题。给定移除某些边的一个网络,预测任务是预测这些链接的出现概率。根据在[30]中相似的实验设置,1/3的边被随机选中及移除,在测试集中作为ground truth,图中剩余的边作为训练集。在测试集中,相同数目的没有边连接的节点对(node pairs)会被随机选中作为负样本。为了评估链接预测的效果,使用AUC得分作为metric。
数据集:我们使用两个数据集来进行链接预测任务。第一个是Amazon Electronics数据集。第二个从Taobao移动端APP抽取。两个数据集都包含了不同类型的side information。对于Amazon数据集,item graph可以从“共同购买(co-purchasing)”的关系中被构建(在提供的数据中由also_bought表示),使用了三种类型的side information,例如:类目(category),子类目(sub-category)以及品牌。对于Taobao数据集,item graph通过第2.2节的方法购建。注意,为了效率和效果,在Taobao真实生产环境中,使用了12种类型的side information,包括:零售商(retailer), 品牌(brand), 购买级别(purchase level), 年代(age), 适用性别(gender), 风格(style), 等等。这些类型的side information根据这些年在taobao的实际经验很有用。两个数据集的统计如表1所示。我们可以看到两个数据集的稀疏性大于99%。
表1
比较方法。引入了4种方法进行实验:BGE, LINE, GES和EGES。LINE在[17]中被提出,它可以捕获在graph embedding中的第一阶和第二阶的邻近关系。我们使用由作者提供的实现,使用第一阶和第二阶邻近(LINE(1st)和LINE(2nd))来运行它。我们实现了其它三种方法。所有这些方法的embedding维度都设置为160.对于我们的BGE、GES和EGES,随机游走的长度为10, 每个节点的walks数目为20, 上下文窗口为5.
表2
结果分析。结果如表2所示。我们可以看到GES和EGES的AUC效果在两个数据集上都要好于BGE、LINE(1st)和LINE(2st)。另换,稀疏性问题也通过合并side information而缓合。当比较Amazon和Taobao的效果时,我们可以看到,在taobao数据集上的效果增益更大。我们将它归功于在Taobao数据集上使用了更多类型的有效的、有信息量的side information。当比较GES和EGES时,我们可以看到,在Amazon上的效果收益比在Taobao上的要大。这可能归功于Taobao的效果已经非常好了,比如:0.97.因而,EGES的提升不显著。在Amazon dataset上,EGES在AUC上的效果要好于GES。基于这些结果,我们可以观察到合并side information对于graph embedding非常有效,准确率可以通过对多个side information的mebeddings进行加权聚合而提升。
图4 2017年11月连续7天内不同方法的在线CTR
3.2 在线A/B test
我们在一个A/B testing框架下进行在线实验。实验的目标是在Taobao APP主页上的CTR。我们实现了上述的graph embedding方法,接着为每个item生成多个相似的items作为推荐候选。最终在Taobao主页(见图1)上的推荐结果,由基于一个DNN模型的ranking引擎生成。在实验中,我们在ranking上使用相同的方法对候选排序。如上所述,相似items的质量直接影响着推荐结果。因而,推荐效果(例如:CTR)可以受matching阶段不同的方法而影响。我们在A/B test框架上部署了4个方法。并对2017年11月中的7天的结果进行展示(如图4)。注意,“Base”表示一个item-based CF的方法,在graph embedding方法部署之前,它被广泛用于淘宝上。它会根据item的共现以及用户投票权重,计算两个items间的相似度。该相似度可以很好地进行调参、并很适合淘宝电商。
从图4我们可以看到,EGES和GES在CTR上的效果要好于BGE、以及Base方法,这展示了在graph embedding上合并side information的效果。另外,Base的CTR要大于BGE。这意味着,经过良好调参的CF-based方法可以战胜简单的embedding方法,因为在实际中会大量使用人工经验的策略。另一方面,EGES会一直胜过GES,它在3.1节的离线实验中一致。这进一步演示了,side information的加权聚合要胜过平均聚合。
3.2 案例研究
在本节中,我们提出了一些在taobao的真实案例,来展示这些方法的效果。这些case会检查三个方面:
- 1.通过EGES的embedding可视化
- 2.冷启动items
- 3.在EGES中的权重
3.3.1 可视化
在本部分,我们会将由EGES学到的items的embeddings进行可视化。我们使用由tensorflow提供的可视化工具。结果如图7所示。从图7(a),我们可以看到不同类目(categories)的鞋子会在不同的聚类中。这里一种颜色表示一个类目,比如:羽毛球,乒乓球,足球。它演示了学到的合并side information的embeddings的效果。例如,具有相似side information的items在embedding空间中应更接近。从图7(b)看到,我们进一步分析三种鞋子的embeddings:羽毛球,乒乓球,足球。在embedding空间中,羽毛球和乒乓球相互很接近,而足球更更远些。这可以被解释成:在中国,喜欢羽毛球的人很多也喜欢打乒乓球。然而,喜欢足球的人与喜欢户内运动(羽毛球和乒乓球)的人则相当不同。推荐羽毛球鞋给这些观看过乒乓球鞋的人效果要好于推足球鞋的。
3.3.2 冷启动items
图5: 冷启动item的相似items。展示了top4相似的items。注意:这里的”cat”表示category.
在本部分,我们展示了冷启动item的embeddings质量。对于在淘宝上刚更新的一个新item,不能马上在item graph中没法学到embedding,之前基于CF的方法也不能处理冷启动问题。然而,我们可以将一个冷启动item使用它的side information的average embeddings进行表示。接着,我们基于两个items的embeddings的点乘计算,从已经存在的items中检索最相似的items。结果如图5所示。我们可以看到,对于两个冷启动items来说,尽管缺失用户行为,但可以利用不同的side information来有效学到它们的embeddings,在top相似的items上。在图中,我们为每个相似的item注释上:连接到冷启动item上的side information的类型。我们可以看到,items的所属商店(shops)是用于衡量两个items相似度上非常重要的信息,它也会在下面部分使和每个side information的权重进行对齐。
图6: 不同items的不同side information的weights. 这里的”Item”表示一个item本身的embedding
3.3.3 在EGES中的权重
我们会为不同的items作不同类型side information权重可视化。每个在不同类目上的8个items会被选中,与这些items相关的所有side information的权重会从学到的weight matrix A中抽取。结果如图6所示,其中,每一行记录了一个item的结果。可以观察到许多注意点:
- 1.不同items的weight分布很不同,它们会与我们的猜假一致,不同的side information对于最终的表示来说贡献是不同的。
- 2.在所有items中,”Item”的权重,表示了item自身的embeddings,会一直大于其它的side information的权重。必须承认的是,一个item自身的embedding仍然是用户行为的主要源,其中side information提供了额外的提示来推断用户行为。
- 3.除了”Item”外,”Shop”的权重会一直大于其它side information的权重。这与淘宝的用户行为相一致,也就是说,用户可能出于便利或更低价格因素,趋向于购买在相同店内的items。
图7: 随机选中的鞋子的一个集合的embedding可视化。item embeddings通过PCA被投影到一个2D平面上。不同颜色表示不同的categories。相同category中的Item被一起分组。
4.系统部署和操作
本节中介绍graph embedding方法在淘宝的实现和部署。首先给出对淘宝整个推荐平台的一个大体介绍,接着详述与embedding方法相关的模块。
图8: 淘宝推荐平台的架构
在图8中,我们展示了推荐平台的架构。该平台包含了两个子系统:online和offline。对于online子系统,主要组件是TPP(Taobao Personality Platform:淘宝个性化平台)和RSP(Ranking Service Platform: 排序服务平台)。一个典型的workflow如下所示:
- 当用户加载淘宝移动APP时,TPP会抽取用户最新的信息,并从离线子系统中检索一个items候选集,它们会接着被fed进RSP。RSP会使用一个fine-tuned DNN模型对items候选集进行排序,接着返回相应的排序结果给TPP。
- 当用户在淘宝内浏览时,它们的行为会被收集和存储成离线子系统中的日志。
offline子系统的workflow,包含了graph embedding的实现和部署,如下描述:
- 包含用户行为的日志会被检索。item graph会基于用户行为进行构建。实际上,我们会选择最近三个月的日志。在生成基于session的用户行为序列之前,会对数据进行anti-spam。留下的日志包含了6000亿条目。item graph会根据2.2节的方法进行构建。
- 为了运行我们的graph embedding方法,会采用两种实际方法:1) 整个graph划分成许多个sub-graphs,它们可以通过Taobao的ODPs(Open Data Processing Service)分布式平台进行处理。每个subgraph有将近5000w个节点。2)为了生成random walk序列,我们在ODPs中使用基于迭代的分布式图框架。通过random walk生成的序列总是将近1500亿。
- 为了实现该embedding算法,在我们的XTF平台上使用了100个GPU。在部署平台上,使用1500亿样本,在离线子系统中的所有模块,包含日志检索、anti-spam、item图构建、通过random walk生成序列、embedding、item-to-item相似度计算以及map生成,执行过程小于6个小时。这样,我们的推荐服务可以在非常短时间内响应用户最近行为。