youtube在2019发布了它的双塔模型《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》：

介绍

在许多服务上（视频推荐、app推荐、在线广告定向），推荐系统帮助用户发现感兴趣内容。在许多情况下，这些系统在一个低延时的条件下，会将数十亿用户与一个相当大的内容语料（数百万到数十亿）相连接。常用的方法是retrieval-and-ranking策略，这是一个two-stage系统。首先，一个可扩展的retrieval模型会从一个大语料中检索出一小部分相关items，接着一个成熟的ranking模型会对这些retrieved items基于一或多个目标(objectives: 比如clicks或user-ratings)进行rerank。在本文中，主要关注retrieval system。

给定一个{user, context, item}三元组，构建一个可扩展的retrieval模型的一个常用方法是：

• 1) 分别为{user,context}和{item}各自学习query和item representations
• 2) 在query和item representations间使用一个simple scoring function（比如：dot product）来得到对该query合适的推荐

context通常表示具有动态特性的variables，比如：天时长(time of day)，用户所用设备（devices）。representation learning问题通常有以下两个挑战：

• 1) items的corpus对于工业界规模的app来说相当大
• 2) 从用户反馈收集得到的训练数据对于某些items相当稀疏

这会造成模型预测对于长尾内容（long-tail content）具有很大variance。对于这种cold-start问题，真实世界系统需要适应数据分布的变化来更好面对新鲜内容（fresh content）。

受Netflix prize的启发，MF-based modeling被广泛用在构建retrieval systems中学习query和item的latent factors。在MF框架下，大量推荐研究在学习大规模corpus上解决了许多挑战。常见的思路是，利用query和item的content features。在item id外，content features很难被定义成大量用于描述items的features。例如，一个video的content features可以是从video frames中抽取的视觉features或音频features。MF-based模型通常只能捕获features的二阶交叉，因而，在表示具有许多格式的features collection时具有有限阶（power）。

在最近几年，受deep learning的影响，大量工作采用DNNs来推荐。Deep representations很适合编码在低维embedding space上的复杂的user states和item content features。在本paper中，采用two-tower DNNs来构建retrieval模型。图1提供了two-tower模型构建的图示，左和右分别表示{user, context}和{item}。two-tower DNN从multi-class classification NN（一个MLP模型）泛化而来[19]，其中，图1的right tower被简化成一个具有item embeddings的single layer。因而，two-tower模型结构可以建模当labels具有structures或content features的情形。MLP模型通常使用许多来自一个fixed的item语料表中sampled negatives进行训练。作为对比，在使用了deep item tower后，对于计算所有item embeddings来说，由于item content features以及共享的网络参数，在许多negatives上进行抽样并训练通常是无效的。

图1 一个2-tower DNN模型，它会学习query和candidate表示

我们考虑batch softmax optimization：其中item probability会通过在一个random batch上的所有items上计算得到。然而，在我们的实验中所示：batch softmax具有sampling bias倾向，在没有任何纠正的情况下，可能会严重限制模型效果。importance sampling和相应的bias reduction在MLP模型[4,5]中有研究。受这些工作的启发，我们提出了使用estimated item frequency的batch softmax来纠正sampling bias。对比于MLP模型，其中output item vocabulary是固定的（stationary），我们会根据vocabualary和分布随着时间变化来target streaming data。我们提出了一种新算法通过gradient descent来概述（sketch）和估计（estimate） item freqency。另外，我们使用bias-corrected modeling，并将它扩展到在youtube推荐上构建个性化retrieval system。我们也引入了一个sequential training strategy，用来吸收streaming data，与indexing和serving组件一起工作。

主要4个contributions：

• Streaming Frequency Estimation：我们提出了一个新算法，根据vocabulary和分布偏移（distribution shifts）来估计来自data stream的item frequency。我们提供了分析结果来展示该estimation的variance和bias。我们也提供了仿真来演示我们的方法在捕捉数据动态性上的效率
• Modeling Framework：我们提供了一个通用的建模框架来构建大规模检索系统。特别的，我们针对batch softmax会在cross entropy loss中引入estimated item frequency来减小在in-batch items上的sampling bias
• Youtube recommendation：我们描述了如何使用modeling framework来为youtube 推荐构建一个大规模的检索系统。我们引入了end-to-end 系统，包括：training、indexing、serving组件
• offline和Live实现：我们在两个真实数据集上执行offline实验，并演示了samping bias correction的效果。我们也展示了为youtube构建的索引系统，并在真实流量实验上提升了engagement指标。

2.相关工作

2.1 content-aware&Neural Recommenders

对于提升泛化(generalization)和解决cold-start问题来说，使用users和items的content features很关键。一些研究【23】在经典MF框架上采用content features。例如，generalized MF模型（比如：SVDFeatuer和FM），可以被用来采用item content features。这些模型能捕获bi-linear，比如：second-order的特征交叉。在最近几年，DNNs对于提升推荐的accuracy很有效。对比于传统因子分解方法，DNNs由于具有高度非线性，可以很有效地博获复杂的特征交叉。He [21]直接采用CF、NCF架构来建模user-item interactions。在NCF结构中，user和items embeddings被concatenated并被传入一个multi-layer NN来获得最终预测。我们的工作与NCF有两方法区别：

• 1) 我们利用一个two-tower NN来建模user-item interactions，以便可以在sub-linear时间内实现在大语料items的inference。
• 2) 学习NCF依赖于point-wise loss（比如：squared或log loss），而我们会引入multi-class softmax loss以及显式的model item frequency。

在其它work中，Deep RNN(比如：LSTM)被用于采用时序信息和推荐的历史事件，例如：[12,14]。除了单独的user和item representations外，另一部分设计NN的工作主要关注于学习rank systems。最近，multi-task learning是主要技术，对于复杂推荐器上优化多目标【27,28】。Cheng[9]引入了一个wide-n-deep framework来对wide linear models和deep NN进行jointly training。

2.2 Extreme classification

在设计用于预测具有大规模输出空间的labels的模型时，softmax是一个常用函数。从语言模型到推荐模型的大量研究，都关注于训练softmax多分类模型。当classes的数目相当大时，大量采用的技术是：抽样classes的一个subset。Bengio[5]表明：一个好的sampling distribution应该与模型的output distribution相适配。为了避免计算sampling distribution的并发症，许多现实模型都采用一个简单分布（比如：unigram或uniform）作为替代。最近，Blanc[7]设计了一个有效的adaptive kernel based的sampling方法。尽管sampled softmax在许多领域很成功，但不能应用在具有content features的label的case中。这种case中的Adaptive sampling仍然是一个开放问题。许多works表明，具有tree-based的label结构（比如：hierarchical softmax），对于构建大规模分类模型很有用，可以极大减小inference time。这些方法通常需要一个预定义的基于特定categorical attributes的tree structure。因此，他们不适用于包含大量input features的情况。

2.3 two-tower模型

构建具有two tower的NN在NLP中最近很流行，比如： 建模句子相似度(sentence similarities)，response suggestions，text-based IR等。我们的工作主要有，在大规模推荐系统上构建two-tower模型的有效性验证。对比于许多语言任务，我们的任务在更大corpus size上，这在Youtube这样的场景下很常见。通过真实实验发现，显式建模item frequency对于在该setting中提升retrieval accuracy很重要。然而，该问题并没有很好地解决。

3.模型框架

考虑推荐问题的一个常见设定，我们具有queries和items的一个集合。queries和items通过feature vectors \(\lbrace x_i \rbrace_{i=1}^{N}\)和\(\lbrace y_i \rbrace_{j=1}^M\)表示。这里，\(x_i \in X, y_i \in Y\)，是多种features的混合（比如：sparse IDs和dense features），可以在一个非常高维的空间中。这里的目标是：为给定一个query检索一个items的subset。在个性化场景中，我们假设：user和context在\(x_i\)中被完全捕获。注意，我们从有限数目的queries和items开始来解释该情形。我们的模型框架没有这样的假设。

我们的目标是构建具有两个参数化embedding functions的模型：

\[u: X \times R^d \rightarrow R^k, v: Y \times R^d \rightarrow R^k\]

将模型参数\(\theta \in R^d\)、query和candidates的features映射到一个k维的embedding space上。如图1所示，我们关注于的u, v通过两个DNN表示的case。模型的output是两个embeddings的inner product，命名为：

\[s(x,y) = <u(x,\theta), v(y,\theta)>\]

目标是，从一个具有T个样本的训练集中学习模型参数\(\theta\)：

\[\mathscr{T} := \lbrace (x_i, y_i, R_i) \rbrace_{i=1}^T\]

其中，\((x_i, y_i)\)表示query \(x_i\)和item \(y_i\)的query，\(r_i \in R\)是每个pair相关的reward。

相应的，retrieval问题可以被看成是一个具有continuous reward的multi-class分类问题。在分类任务中，每个label的重要性等价，对于所有postive pairs \(r_i=1\)。在recommenders中，\(r_i\)可以被扩展成：对于一个特定candidate捕获到的user engagement的不同程度。例如，在新闻推荐中，\(r_i\)可以是一个用户花费在特定某个文章上的时间。给定一个query x，对于从M个items \(\lbrace y_i \rbrace_{j=1}^M\)选择候选y的概率分布，常用的选择是基于softmax function，例如：

\[P(y|x; \theta) = \frac{e^{s(x,y)}}{\sum_{j \in [M]} e^{s(x,y_j)}}\]

…(1)

接着进一步加入rewards \(r_i\)，我们考虑上下面的weighted log-likelihood作为loss function：

\[L_T(\theta) := - \frac{1}{T} \sum\limits_{i \in [T]} r_i \cdot log(P(y_i | x_i; \theta))\]

…(2)

当M非常大时，在计算partition function时很难包括所有的candidate examples，例如：等式(1)中的分母。我们主要关注处理streaming data。因此，与从一个固定corpus中抽样得到负样本(negatives)的case进行训练MLP模型不同，对于从相同batch中的所有queries来说，我们只考虑使用in-batch items[22]作为负样本（negatives）。更确切地说，给定一个关于B pairs \(\lbrace (x_i, y_I, r_i) \rbrace_{i=1}^B\)的mini-batch，对于每个\(i \in [B]\)，该batch softmax是：

\[P_B (y_i | x_i; \theta) = \frac{e^{s(x_i,y_i)}}{ \sum\limits_{i \in [B]} e^{s(x_i, y_i)}}\]

…(3)

在我们的目标应用中，in-batch items通常从一个power-law分布中抽样得到。因此，等式(3)在full softmax上会引入了一个大的bias：流行的items通常会过度被当成negatives，因为概率高。受在sampled softmax model[5]中logQ correction的启发，我们将每个logit \(s(x_i, y_i)\)通过下式进行纠正：

\[s^c(x_i, y_i) = s(x_i, y_j) - log(p_j)\]

这里，\(p_j\)表示在一个random batch中item j的sampling概率。

有了该correction，我们有：

\[P_B^c (y_i | x_i; \theta) = \frac{e^{s^c(x_i,y_i)}}{e^{s^c(x_i,y_i)} + \sum_{j \in [B],j \neq i} e^{s^c(x_i,y_i)}}\]

接着将上述term代入到等式(2)，产生：

\[L_B(\theta) := -\frac{1}{B} \sum\limits_{i \in [B]} r_i \cdot log(P_B^c(y_i | x_i; \theta))\]

…(4)

它是batch loss function。使用learning rate \(\gamma\)运行SGD会产生如下的参数更新：

\[\theta \leftarrow \theta - \gamma \cdot \nabla_B (\theta)\]

…(5)

注意，\(L_B\)不需要一个关于queries和candidates的固定集合。相应的，等式(5)可以被应用到streaming training data上，它的分布随时间变化。我们提出的方法，详见算法1.

算法1

最近邻搜索（NN Search）：一旦embedding function u, v被学到，inference包含两个step:

• 1) 计算query embedding：\(u(x,\theta)\)
• 2) 在item embeddings（通过embedding function v预计算好）上执行最近邻搜索

另外，我们的模型框架提供了选项，可以在inference时选择任意items。不再计算在所有items上的dot product，低时耗retrieval通常基于一个基于hashing技术高效相似度搜索系统，特别的，高维embeddings的compact representations通过quantization、以及end-to-end learning和coarse和PQ来构建。

归一化（Normalization）和温度（Temperature）

经验上，我们发现，添加embedding normalization，比如：\(u(x,\theta) \leftarrow \frac{u(x,\theta)}{ \| u(x,\theta) \|_2}, u(y,\theta) \leftarrow \frac{v(y,\theta)}{\| v(y,\theta) \|_2}\)，可以提升模型的trainability，从而产生更好的retrieval quality。

另外，一个Temperature \(\tau\)被添加到每个logit上来对predictions进行削尖(sharpen)：

\[s(x,y) = \frac{<u(x,\theta), v(y,\theta)>} {\tau}\]

实际上，\(\tau\)是一个超参数，用于调节最大化检索指标（比如：recall或precision）。

4.Streaming Frequancy估计

在本节中，我们详细介绍在算法1中所使用的streaming frequency estimation。

考虑到关于random batches的一个stream，其中每个batch包含了一个items集合。该问题为：估计在一个batch中每个item y的hitting的概率。一个重要的设计准则是：当存在多个training jobs（例如：workers）时，具有一个完全分布式的估计来支持dstributed training。

在单机或分布式训练时，一个唯一的global step，它表示trainer消费的data batches的数目，与每个sampled batch相关。在一个分布式设定中，global step通常通过parameter servers在多个workers间同步。

…

5. Youtube的Neural检索系统

我们在Youtube中使用提出的模型框架。该产品会基于在某个用户观看的某个video上生成视频推荐。推荐系统包含两个stages：nomination(或：retrieval)、ranking。在nomination stage，我们具有多个nominators，每个nomiator都会基于一个user和一个seed video生成成百上千的视频推荐。这些videos会按顺序打分，并在下游的一个NN ranking模型中进行rerank。在本节中，我们关注在retrieval stage中一个额外nominator。

5.1 模型总览

图2

我们构建的youtube NN模型包含了query和candidates。图2演示了总的模型结构。在任意时间点上，用户正观看的某个video，（例如：seed video），提供了一个关于用户当前兴趣的一个很强信号。因此，我们会利用 关于seed video的features一个大集合以及用户观看历史。candidate tower的构建用来从candidate video features中学习。

training label。视频点击（video clicks）被用于正样本（positive labels）。另外，对于每个click，我们构建了一个reward \(r_i\)来表示关于该video的不同程度的user engagement。另一方面，\(r_i=1\)表示观看了整个视频。reward被用于example weight，如等式(4)所示。

VIdeo Features。video features在categorical和dense features中同时被用到。categorical features的样本包含了：Video Id和Channel Id。对于这两个entities的每个来说，会创建一个embedding layer来将categorical feature映射到一个dense vector上。通常，我们会处理两种categorical features。一些features（例如：Video Id）在每个video上具有一个categorical value，因此，我们具有一个embedding vector来表示它们。另外，一个feature（比如：Video topics）可以是一个关于categorical values的sparse vector，最终的embedding表示在sparse vector中的values的任一个的embeddings的加权求和。为了处理out-of-vocabulary entities，我们会将它们随机分配到一个固定的hash buckets集合中，并为每一个学习一个embedding。Hash buckets对于模型很重要，可以捕获在Youtube中的新实体（new entities），特别是5.2节所使用的sequential training。

User Features。我们使用一个user的观看历史来捕获在seed video外的user兴趣。一个示例是，用户最近观看过的k个video ids的一个sequence。我们将观看历史看成是一个bag of words (BOW)，通过video id embeddings的平均来表示它。在query tower中，user和seed video features在input layer进行融合（fuse），接着传入到一个feed forward NN中。

对于相同类型的IDs，embedding可以在相关的features间共享。例如，video id embeddings的相同集合被用于：seed video、candidate video以及用户之前观看过的video。我们也做了不共享embedding的实验，但没有观看大大的模型效果提升。

5.2 Sequential training

我们的模型在tensorflow上实验，使用分布式GD在多个workers和parameter servers上训练。在Youtube中，新的training data每天都会生成，training datasets会每天重新组织。该模型训练会以如下方式使用上sequential结构。trainer会从最老的training examples开始顺序消费数据，直到最近天的训练数据，它会等待下一天的训练数据到达。这种方式下，模型可以赶得上最新的数据分布偏移（shift）。训练数据本质上由trainer以streaming方式消费。我们使用算法2 (或算法3）来估计item frequency。等式(6)的在线更新使得模型可以适应新的frequency分布。

算法2

算法3

5.3 Indexing和模型serving

在retrieval系统中的index pipeline会为online serving周期性地创建一个tensorflow savemodel。index pipeline会以三个stages构建：candidate example generation、embedding inference、embedding indexing，如图3所示。在第1个stage，会基于特定准则从youtube corpus中选中的videos集合。它们的features被fetched、以及被添加到candidate examples中。在第二个stage，图2的right tower用来计算来自candidate examples的embeddings。在第三个stage，我们会基于tree和quantized hashing技术来训练一个tensorflow-based embedding index model。

图3

6.实验

本节中，我们展示了item frequency estimation的模型框架的有效性。

6.1 Frequency估计的仿真

为了评估算法2&3的有效性。我们开始一个仿真研究，我们首先使用每个提出的算法来拟合一个固定的item分布，接着在一个特定step后变更分布。为了更精准，在我们的setting中，我们使用一个关于M items的固定set，每个item根据概率\(q_i \propto i^2\)（其中：\(i \in [M], \sum_i q_i = 1\)）进行独立抽样。

。。。略

参考

• 1.https://dl.acm.org/doi/pdf/10.1145/3298689.3346996

criteo也开放了它们的dpp方法:《Tensorized Determinantal Point Processes for Recommendation》, 我们来看下：

摘要

DPP在机器学习中的关注度越来越高，因为它可以在组合集合上提供一种优雅的参数化模型。特别的，在DPP中的所需的参数数目只与ground truth(例如：item catalog)的size成平方关系，而items的数目增长是指数式的。最近一些研究表明，DPPs对于商品推荐和（basket completion）任务 来说是很高效的模型，因为他们可以同时在一个集合中解释diversity和quality。我们提出了一种增强的DPP模型：tensorized DPP，它特别适合于basket completion任务。我们利用来自张量分解（tensor factorization）的思想，以便将模型进行定制用在next-item basket completion任务上，其中next item会在该模型的一个额外维度中被捕获。我们在多个真实数据集上评估了该模型，并找出：tensorized DPP在许多settings中，比许多SOTA模型提供了更好的predictive quality。

1.介绍

在averge shooping basket中items数的增加，对于在线零售商来说是一个主要关注点。该问题存在许多处理策略。而本工作主要关注于：算法会生成一个items集合，它们能适合补全用户的当前shopping basket。

Basket analysis和completion是机器学习中非常老的任务。许多年来，关联规则挖掘（association rule mining）是SOTA的。尽管该算法具有不同变种，主要的准则是涉及到：通过统计在过往observations中的共现，来计算购买一个额外商品的条件概率。由于计算开销和健壮性，现代方法更喜欢i2i CF，或者使用LR基于二分类购买得分来预测一个用户是否会构买一个item。

标准CF方法必须被扩展到能正确捕获商品间的diversity。在basket completion中，需要插入一定形式的diversity，因为推荐过于相似的items给用户并不好。实践者经常通过添加constraints到items推荐集合中来缓和该问题。例如，当使用类目信息时，在裤子被添加到basket时可以强制推荐相匹配的鞋子，而如果按天然的共同出售(co-sale) patterns会导致其它裤子的推荐。在这种情况中，diversity推荐的出现不会通过学习算法直接驱动，但可以通过side information和专家知识。Ref【28】提出了一种有效的Bayesian方法来学习类目的权重，当类目已知时。

然而，不依赖额外信息直接学习合适的diversity更令人关注。不使用side information，直接从数据中的diversity的naive learning，会得到一个高的计算开销，因为可能集合的数目会随类目中items数目而指数增长。该issue是no-trivial的，即使当我们只想往已存在集合中添加一个item时，而当我们想添加超过一个item来达到最终推荐set的diversity时会更难。

【9, 10】使用基于DPPs的模型来解决该组合问题。DPPs是一个来自量子物理学的优雅的关于排斥(repulsion)的概率模型，在机器学习上被广泛使用[17]。它允许抽样一个diverse的点集，相似度（similarity）和流行度(popularity)会使用一个称为“kernel”半正定矩阵进行编码。关于marginalization和conditioning DPPs有很多高效算法提供。从实用角度，学习DPP kernel是个挑战，因为相关的likelihood是non-convex的，从items的observed sets中学到它是NP-hard的。

对于basket completion问题，天然地会考虑：那些转化成售买的baskets的sets。在该setting中，DPP通过一个size为\(p \times p\)的kernel matrix进行参数化，其中p是catalog(item目录表)的size。因而，参数的数目会随着p的二次方进行增长，计算复杂度、预测、抽样会随着p的三次方增长。由于学习一个full-rank的DPP是很难的，[10]提出了通过对kernel限制到low rank来对DPP正则化（regularization）。该regularization会在不伤害预测效果下提升generalization，并可以提供更diversity的推荐。在许多settings中，预测质量也会被提升，使得DPP对于建模baskets问题是一个理想的工具。再者，对比起full-rank DPP，low-rank假设也提供了更好的runtime效果。

另外，由于DPP的定义，正如在Model部分所描述的，low-rank假设对于kernel来说，意味着任意可能的baskets会比那些概率为0的选中rank要具有更好的items。该方法对于大的baskets来说不可能，一些其它DPP kernel的正则化可能更合适。另外，由于DPP kernel的对称性，可以建模有序（ordered corrections）。然而，这些被添加到shooping basket中的items的order会在basket completion任务中扮演重要角色。

主要贡献：

• 在kernel上修改了constraints来支持大的baskets；也就是说，对于大于kernel rank的sets来说，我们会阻止返回概率0
• 我们通过在DPP kernel的行列式上添加一个logistic function，来修改在所有baskets上的概率。我们将训练过程适配成处理这种非线性，并在许多real-world basket数据集上评估了我们的模型
• 通过使用tensor factorization，我们提出了一种新方式来对在目录中的集合间的kernel进行正则化。该方法也会导致增强预测质量
• 我们展示了这种新模型，称之为”tensorfized DPP”，允许我们可以捕获ordered basket completion。也就是说，我们可以利用该信息，忽略掉items被添加到basket的顺序，来提升预测质量

另外，我们展示了这些思想的组合来提升预测质量，tensorized DPP建模的效果要好于SOTA模型一大截。

2.相关工作

3.模型

DPPs最初用来建模具有排斥效应(replusive effect)的粒子间的分布。最近，在利用这种排斥行为上的兴趣，已经导致DPP在机器学习界受到大量关注。数学上，离散DPPs是在离散点集上的分布，在我们的case中，点就是items，模型会为观察到的给定items集合分配一个概率。假设I表示一个items集合，L是与DPP相关的kernel matrix（它的entries会在items间对polularity和similarity进行编码）。观察到的set I的概率与主子矩阵（principal submatrix）L的行列式成正比：\(I: P(I) \propto del L_I\)。因而，如果p表示在item catalog中的items数目，DPP是在\(2^p\)上的概率measure（），而它只包含了\(p^2\)的参数。kernel L会对items间的polularities和similarities进行编码，而对角条目\(L_{ii}\)表示item i的流行度，off-diagonal entry \(L_{ij} = L_{ji}\)表示item i和item j间的相似度。行列式从几何角度可以被看成是体积（volume），因此更diverse的sets趋向于具有更大的行列式。例如，选择items i和j的概率可以通过以下计算：

\[P[\lbrace i,j \rbrace] \propto \begin{vmatrix} L_{ii} & L_{ij} \\ L_{ji} & L_{jj} \\ \end{vmatrix} = L_{ii} L_{jj} - L_{ij}^2\]

…(1)

等式(1)中我们可以看到：如果i和j更相似，他们被抽样在一起的可能性越低。entries \(L_{ij}\)因此会决定kernel的排斥行为。例如，如果使用图片描述符来决定相似度，那么DPP会选择那些有区别的图片。另一方面，如果entries \(L_{ij}\)使用之前观察到的sets学到，比如：电商购物篮[10]，那么，“similarity” \(L_{ij}\)会低些。由于共同购买的items可能具有某些diversity，DPPs对于建模包含购买items的baskets是一种天然选择。在搜索引擎场景、或者文档归纳应用中，kernel可以使用特征描述述 \(\phi_i \in R^D\)（例如：文本中的tf-idf）、以及一个关于每个item i的相关得分\(q_i \in R^+\)，比如：\(L_{ij} = q_i \phi_i^T q_j\)（它会喜欢相关items (\(q_i\)值大)，阻止相似items组成的lists）。

3.1 Logistic DPP

我们的目标是，寻找一个最可能一起购买的items集合。我们将该问题看成是一个分类问题，目标是预测：一个items的特定集合会生成一个转化（conversion），即：所有items都将被一起购买，这可以表示成\(Y \in \lbrace 0, 1 \rbrace\)。我们将class label Y建模成一个Bernoulli随机变量，它具有参数\(\phi(I)\)，其中\(I\)是items集合，\(\phi\)是如下定义的函数：

\[p(y | I) = \phi(I)^y (1- \phi(I))^{1-y}\]

…(2)

我们使用一个DPP来建模函数\(\phi\)。

我们假设：存在一个隐空间，在该空间内diverse items很可能会被一起购买。与[10]相似，我们假设：在kernel matrix \(L \in R^{p \times p}\)上存在一个low-rank constraint，我们进行如下分解：

\[L = VV^T + D^2\]

…(3)

其中，\(V \in R^{p \times r}\)是一个隐矩阵，其中每个row vector i会编会item i的r个latent factors。D是一个对角阵（diagonal matrix），\(\|V_i \|\)，表示每个item的intrinsic quality或popularity。在D上的平方指数确保了，我们总是具有一个合理的半正定kernel。我们接着定义：

\[\phi(I) \propto det(V_{I_{,:}} V_{I_{,:}}^T + D^2) \geq 0\]

注意，没有对角项，r的选择会限制observable set的cardinality，由于\(\mid I \mid > r\)暗示着当\(D \equiv 0\)时\(\phi(I)=0\)。使用该term会确保，任意set的后续概率都是正的，但对于基数(cardinality)高于r的sets，它的cross-effects会更低。我们也看到，具有相似latent vectors的items，对比起具有不同latent vectors的items，被抽到的可能性会更小，由于相似vectors会生成一个具有更小体积（volume）的超平行体（parallelotope）。为了对概率归一化，并鼓励vectors间的分离，我们会在\(\phi\)上使用一个logistic function：

\(\phi(I) = P(y = 1 | I) & \doteq 1 - exp(-w det L_I) \\ & \doteq \delta(w del L_I)\) …(5)

通常，logistic function的形式是：\(1/(1 + exp(-w det L_I))\)。然而，在我们的case中，行列式总是正的，因为L是半正定的，这会导致\(P(y=1 \mid I)\)总是大于0.5 。通过构建，我们的公式允许我们获得一个介于0和1之间的概率。最终，\(w \in R\)是一个scaling参数，可以通过cross-validation被选中，这确保了指数不会爆炸，因于对角参数会近似为1.

Learning。为了学习matrix V，我们确保了历史数据 \(\lbrace I_m, y_m \rbrace_{1 \leq m \leq M}\)，其中，\(I_m\)是items集合，\(y_m\)是label set，如果该set购买则为1, 否则为0。该训练数据允许我们通过最大化数据的log似然来学习矩阵V和D。为了这样做，我们首先对所有y写出点击概率：

\[P(y | I) = \sigma(w det L_I)^y (1-\sigma(w det L_I))^{1-y}\]

…(6)

\(f(V,D)\)的log似然接着被写成：

\[f(V,D) = log \prod\limits_{m=1}^m P(y_m | I_m) - \frac{a_0}{2} \sum\limits_{i=1}^{p} a_i ( \| V_i \|^2 + \| D_i \|^2) \\ = \sum\limits_{m=1}^M log P(y_m | I_m) - \frac{a_0}{2} \sum\limits_{i=1}^{p} a_i ( \| V_i \|^2 + \| D_i \|^2)\]

根据[10]，\(a_i\)是一个item正则权重，它与item流行度成反比。矩阵V和D可以使用SGA来最大化log似然进行学习。GA的一个step需要计算一个对称矩阵(\(L_i\)，其中I是gradient step的相应item set)的行列式，它可以使用 optimized CW-like algorithm算法来达到，复杂度为：\(O(f^3)\)或\(O(f^{2.373})\)，其中，f对应于在I中的items数目。用于学习所使用的最优化算法如算法1所示。

算法1

3.3 Tensorized DPP

我们现在提出了对之前模型的一个修改版本，它更适合basket completion任务。为了这样做，对于basket completion场景，我们加强logistic DPP，其中我们对概率建模：用户将基于已经出现在shooping basket中的items来购买一个指定额外的item。我们使用一个tensor来表示它，目标是预测用户是否会基于basket来购买一个给定的candidate target item。该tensor的每个slice对应于一个candidate target item。在该setting中，对于在catalog p中的item （减去basket中已经存在的items），会存在越来越多的问题待解决。为每个待推荐的item学习一个kernel，每个item会与其它所有items相独立，在实际上是不可能的，会存在稀疏性问题。每个item只在baskets中的一小部分出现，因而每个kernel只会接受一小部分数据来学习。然而，所有items间并不完全相互独立。为了解决稀疏性问题，受RESCAL分解的启发，我们使用一个low-rank tensor。我们使用一个cubic tensor \(K \in R^{p \times p \times p }\)，其中K的每个slice \(\tau\)(标为：\(K_{\tau}\))是candidate item (low-rank) kernel。通过假设：tensor K是low-rank的，我们可以实现在每个item间学到参数的共享，以如下等式所示：

\[K_{\tau} = V R_{\tau}^2 V^T + D^2\]

…(7)

其中，\(V \in R^{p \times r}\)是item latent factors，它对所有candidates items是共用的，\(R_{\tau} \in R^{r \times r}\)是一个candidate item指定的matrix，会建模每个candidate item间的latent components的交叉。为了对candidate items与已经在basket中的items间的自由度进行balance，我们进一步假设：\(R_{\tau}\)是一个对角矩阵。因此，\(R_{\tau}\)的对角向量会建模每个candidate item的latent factors，item的latent factors可以被看成是在每个latent factor上的产品的相关度。正如在matrix D的case，在\(R_{\tau}\)上的平方指数（squared exponent）可以确保我们总是有一个合理的kernel。

图1

图1展示了factorization的一个图示。candidate item \(\tau\)的概率与已经在basket中的items set I是相关的：

\[P(y_{\tau} = 1 | I) = \sigma (w det K_{\tau, I} = 1 - exp(-w det K_{\tau,I})\]

…(8)

因此，\(g(V,D,R) \doteq g\)的log似然为：

\[g = \sum\limits_{m=1}^M log P(y_{\tau} | I_m) - \frac{a_0}{2} a_i (\| V_i \|^2 + \| D_i \|^2 + \| R^i \|^2)\]

其中，每个observation m与一个candidate item有关，\(I_m\)是与一个observation相关的basket items的set。由于之前的描述，矩阵V, D，以及\((R_{\tau})_{\tau \in \lbrace 1, \cdots, p\rbrace}\)通过使用SGA最大化log似然学到。正如logistic DPP模型，gradient ascent的一个step需要计算对称矩阵 \(L_I\)的逆和行列式，会产生\(O(f^{2.373})\)的复杂度（I中items数目为f）。算法2描述了该算法。关于最优化算法的细节详见附录。

算法2

泛化到高阶交叉。在basket completion应用中，尝试同时推荐多个items挺有意思的。这可以使用一个贪婪方法来完成。也就是说，我们首先使用一个初始产品（initial product）来补充basket，并将augmented basket看成是一个新的basket，接着补充它。一种更直接的方法是，更适合捕获items间的高阶交叉，这可以泛化等式(7)。我们提出了一种高阶版本的模型，将来会对该模型进行效果评估。假设：d是要推荐的items数目，\(\tau = [\tau_1, \cdots, \tau_d] \in [p]^d\)。我们接着可以将kernel \(K_{\tau}\)定义为：

\[K_{\tau} = V \prod\limits_{k=1}^d R_{(d), \tau_d}^2 V^T + D^2\]

…(9)

其中，每个\(R_{(d), \tau_d} \in R^{r \times r}\)是一个对角矩阵。

3.3 预测

如前所述，从一个DPP中抽样可能是一个很难的问题，提出了许多解法[6,12]。尽管，在所有可能sets间抽样最好的set是个NP-hard问题，我们的目标是，寻找最好的item来补全basket。在这样的应用中，可以有效使用greedy方法，特别是我们的模型具有low-rank结构。另外，[10]提出了一种有效的方法来进行basket completion，涉及到对DPP进行conditioning，这在我们的logistic DPP模型有使用。

4.实验

略

5.实验结果

略

参考

• 1.https://dl.acm.org/doi/pdf/10.1145/3292500.3330952?download=true

阿里在paper《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》中提出了BST模型，我们可以借鉴一下：

1.介绍

2.架构

在rank stage中，我们会将推荐任务建模成CTR预测问题，它的定义如下：给定一个user点击的行为序列 \(S(u) = \lbrace v_1, v_2, \cdots, v_n \rbrace\)，我们需要学习一个函数F，来预测u点击target item \(v_t\)的概率（例如：candidate item）。其它Features包括user profile、context、item、以及cross features。

我们会在WDL之上构建BST，总体架构如图1所示。从图1中知，我们可以看到，它遵循流行的embedding & MLP范式，其中，在feed到MLP之前，过去点击的items和相关features会首先嵌入到低维vectors中。BST和WDL的关键区别是：会添加transformer layer，通过捕获底层的序列信号（underlying sequential signals）来为用户点击items学习更好的表示。在以下部分，我们会引入一个bottom-up方式的BST核心组件：embeddding layer、transformer layer、MLP。

图1 BST的架构总览。BST会使用用户的行为序列作为输入，包括：target item，以及”Other features”。它首先会将这些input features嵌入成低维vectors。为了更好地捕获在行为序行中的items间关系，会使用transformer layer来为该序列中的每个item学习更深的表示。接着通过将Other features的embeddings和transformer layer的output进行concatenate，使用3-layer MLP来学习hidden features间的交叉，最后使用sigmoid function来生成最终的output。注意，”Positional Features”会被包含在”Sequence Item Features”中。

2.1 Embedding Layer

第一个组件是embedding layer，它会将所有input features嵌入到一个fixed-size的低维vectors中。在我们的场景中，存在许多features，像：user profile features、item features、context features、以及不同features的组合（例如：cross features）。由于本工作聚焦于建模带transformer的行为序列，出于简洁性，我们会将所有这些features表示为“Other features”，并给出表1的一些示例。如图1所示，我们将图1左侧的“Other features”进行concatenate，并将它们嵌入到低维vectors中。对于这些features，我们会创建一个embedding matrix \(W_o \in R^{\mid D \mid \times d_0}\)，其中：\(d_0\)是维度size。

表1 图1左侧的”Other Features”。我们实际使用更多features，出于简洁，只列了许多有效的特征

另外，我们也会获得在行为序列中每个item的embedding。如图1所示，我们使用两种features类型来表示一个item：“Sequence Item Features”（红色）和“Positional Features”（暗蓝色），其中：“Sequence Item Features”包括：item_id和category_id。其中，一个item通常具有成百上千个features，在一个行为序列中选择所有features来表示该item代价太高。过往工作[15]介绍的，item_id和category_id对于表现来说足够好，在嵌入用户行为序列时，我们选择这两个特征作为sparse features来表示的每个item。”Positional Features”对应于以下的“positinal embedding”。接着，对于每个item，我们会将Sequence Item Features和Positional Features进行concatenate在一起，并创建一个embedding matrix：

\[W_V \in R^{\mid V \mid \times d_V}\]

其中：

• \(d_V\)是embedding的dimension size
• \(\mid V \mid\)是items数目

我们使用\(e_i \in R^{d_v}\)来表示在一个给定behavior sequence中的第i个item的embedding。

Positional embedding

在[13]中，作者提出了一个positional embedding来捕获句子中的order信息。同样的，在用户的行为序列中存在order。因而，在它们被投影成一个低维向量前，我们会添加“position”作为在bottom layer中每个item的一个input feature。注意，item \(v_i\)的position value会被计算成：

\[pos(v_i) = t(v_t) - t(v_i)\]

其中：

• \(t(v_t)\)表示推荐时间（ecommending time）
• \(t(v_i)\)是当用户点击item \(v_i\)的timestamp

我们会采用该方法，因为在我们的场景中它的效果要好于在[13]中的sin和cos函数。

2.2 Transformer layer

在这部分，我们会引入Transformer layer，它会通过捕获在行为序行中其它items的关系，来为每个item学习一个deeper表示。

Self-attention layer

scaled dot-product attention[13]的定义如下：

** Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt{d}})V **

…(1)

其中：

• Q表示queries
• K是keys
• V是values

在我们的场景中，self-attention操作会将items的embeddings作为input，并通过线性投影将它们转成三个matrices，接着将它们feed到一个attention layer中。根据[13]，我们使用multi-head attention：

\[S = MH(E) = Concat(head_1, head_2, \cdots, head_h) W^H \\ head_i = Attention(EW^Q, EW^K, EW^V)\]

…(2)(3)

其中，投影矩阵\(W^Q, W^K, W^V \in R^{d \times d}\)，E是所有items的embedding matrics，h是heads的数目.

Point-wise Feed-Forward Network

根据[13]，我们会将point-wise Feed-Forward Networks(FFN)来进一步增强模型的非线性（non-linearity），定义如下：

\[F = FFN(S)\]

…(6)

为了避免overfitting，并能层次化学习有意义的features，我们在self-attention和FFN中同时使用dropout和LeakyReLU，接着，self-attention和FFN layers的overall output如下：

\[S' = LayerNom(S + Dropout(MH(S)) \\ F = LayerNomr(S' + Dropout(LeakyReLU(S'W^{(1)} + b^{(1)}) W^{(2)} + b^{(2)}))\]

…(5)(6)

其中，\(W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)}\)是可学习的参数，LayerNomr是标准的normalization layer。

Stacking the self-attention block

在经过第一个self-attention block之后，它会将所有之前的items的embeddings进行聚合，为了进一步建模在item sequences下的复杂关系，我们将self-building blocks和第b个block进行stack，定义如下：

\[s^b = SA(F^{(b-1)}) \\ F^b = FFN(S^b), \forall i \in 1, 2, \cdots, n\]

…(7) (8)

实际上，我们观察到，对比起b=2, 3（见表4），在我们的实验中b=1可以获取更好的效果。出于效率的目的，我们不再尝试更大的b。

2.3 MLP layers和loss function

通过将Other features的embeddings和应用在target item上的transfomer layer的output进行concatenate，我们接着使用三个fully connected layers来进一步学习在dense features间的交叉，它在工作界RS中是标准实现。

为了预测一个用户是否在target item \(v_t\)上有点击，我们会将它建模成一个二分类问题，接着我们使用sigmoid函数作为output unit。为了训练该模型，我们使用cross-entropy loss：

\[L = - \frac{1}{N} \sum\limits_{(x,y) \in D} (y log p(x) + (1-y) log(1-p(x)))\]

…(9)

其中，D表示所有的样本，\(y \in \lbrace 0, 1\rbrace\)表示用户是否点击了某个item，p(x)是在sigmoid unit之后的network的output，表示sample x被点击的预测概率。

3.实验

在本节中，我们会展示实验结果。

3.1 Settings

Dataset

数据集从taobao APP中构造得到。我们会构建一个8天内的基于用户行为的离线数据集。我们使用前7天作为训练数据，后一天作为test data。dataset的统计如表2所示。我们可以看到，dataset相当大与稀疏。

表2

Baseline

为了展示BST的效果，我们会使用两个模型进行对比：WDL[2]和DIN[17]。另外，我们创建了一个baseline方法，它会将sequential信息包含到WDL中，表示成WDL(+Seq)，它会以平均的方式将过去点击的items的embeddings进行聚合。我们的framework会在WDL之上进行构建，使用Transfomer添加序列建模，而DIN只会使用attention机制捕获在target item与过去点击items间的相似度。

评估指标

对于offline结果，我们使用AUC进行online A/B test，我们会使用CTR和平均RT来评估所有模型。TR是响应时间（response time）的简称，它表示给定一个query生成推荐结果的时间开销，例如：一个用户对taobao的一次请求。我们使用平均RT作为指标来评估在在线生产环境中的不同效率。

Settings

我们的模型使用python2.7+tensorflow 1.4实现，使用”adagrad”作为optimizer。另外，我们会使用表3的模型参数。

表3

3.2 结果分析

结果如表4所示。我们可以看到BST对比baseline的优势。特别的，离线实验的AUC提升从0.7734（WDL）和0.7866（DIN）到了0.7894（BST）。当对比WDL和WDL(+Seq)时，我们可以看到将sequential信息以简单平均方式包括其中的效果。这意味着有了self-attention的帮助，BST可以提供强大的能力来捕获在用户行为序列下的sequential signal。注意，从我们的实际经验看，offline AUC的小增益可以导致在online CTR上的大收益。相似的现象也在google的WDL[2]中有报告。

表4

另外，除了efficiency，BST的平均RT与WDL和DIN接近，这可以确保在实际大规模RS中部署像Transformer这样的复杂模型的可行性。

最后，我们也展示了在2.2节中对self-attention进行stacking的影响。从表4中，我们可以看到b=1可以获得最好的offline AUC。这可能会归因于这样的事实：在用户行为序列中存在顺序依赖（sequential dependency）不像在机器翻译任务中的句子那样复杂，更小数目的blocks就足够获得好的效果。在[7]中有类似的观察。因此，我们选择b=1来在生产环境中部署BST，表4只上报了b=1的online CTR gain。

4.相关工作

在本节，我们简单回顾了在deep learning CTR方法的相关工作。由于WDL的提出【2】，提出了一系列工作来使用deep learning-based方法来提升CTR，比如：DeepFM、XDeepFM、Deep&Cross networks【16】等。然而，所有这些之前的工作主要关注于特征组合（feature combinations）或者neural network的不同结构，忽略了在真实推荐场景中用户行为序列的顺序特性。最近，DIN提出attention机制来处理用户行为序列。我们的模型与DIN的不同之处是，使用Transformer来处理在用户行为序列中每个item的一个更深表示，而DIN只会捕获与之前点击的items与target item间的不同相似性。换句话说，使用transformer的模型更合适捕获序列信号（sequential signals）。在[7,12]中，transformer模型提出以seq-to-seq的方式来解决sequential推荐问题，它们的架构与我们的CTR预测不同。

5.结论

本paper中，我们呈现了使用transfomer到taobao推荐中的技术细节。通过使用捕获sequential关系的强大能力，我们通过大量实验展示了在建模用户行为序列中transfomer的优越性。另外，我们也呈现了taobao在生产环境上的部署细节。

参考

• 1.https://arxiv.org/pdf/1905.06874.pdf

介绍

从历史行为中建模用户的动态偏好，对于推荐系统来说是个挑战。之前的方法采用序列神经网络以从左到右的方式将用户历史交互编码成隐表示，来生成推荐。尽管它们是有效的，这种从左到右的单向模型是次优的，我们对此仍有争论，因为有以下的限制：

• a) 单向结构限制了在用户行为序列中的隐表示的能力(power)
• b) 通常这样的一个严格排序的序列，并不总是实际可行的

为了解决这样的限制，我们提出了一个序列推荐模型，称为：BERT4Rec，它采用deep bidirectional self-attention机制来建模用户行为序列。为了避免信息泄漏，以及对双向模型的有效训练，我们采用了Cloze objective到序列推荐中，通过联合条件（从左到右的context）预测在序列中随机的masked items。这种方式下，通过允许在用户历史行为中的每个item以及融合从左到右的信息，我们学习了一个bidirectional表示模型来做出推荐。我们在4个benchmark数据集上进行了大量实验，表明我们的模型要胜过state-of-art的序列模型。

1.介绍

用户兴趣的准确表征是一个推荐系统的核心。在许多真实应用中，用户当前兴趣是天然动态和演化的，受他们历史行为的影响。例如，一个用户可能在购买一个任天堂（Nintendo） Switch后，购买配件（比如：Joy-Con controller）；但是在正常情况下他不会单买配件。

为了建模这样的序列动态性，提出了许多方法[15,22,40]基于用户历史交互来做出序列化推荐(sequential recommendations)。他们的目标是：在给定一个用户的过往历史交互后，预测他可能会交互的后继item(s)。最近，大量工作采用序列化神经网络（比如：RNN）来建模[14,15,56,58]。这些工作的基本模式是：将用户历史行为编码成一个vector（例如：用户偏好的表示），并使用一个从左到右的序列模型基于隐表示来做出推荐。

图1 序列推荐模型架构的不同。BERT4Rec可以通过Cloze task来学习一个双向模型，而SASRec和RNN-based模型是从左到右的单向模型，只能顺序预测next item

尽管这些方法很流行并且是有效的，我们仍有争论：这种从左到右的单向模型不足够学到关于用户行为序列的最优表示。主要限制（如图1c和1d所示），这样的单向模型限制了历史行为序列中的items的隐表示的能力，其中每个item只能从之前的items的信息中进行编码（encode）。另一个限制是，之前提出的单向模型最初引入是为了使用原始顺序的序列数据，比如：文本（text）和时序数据。他们通常假设在数据上有一个严格有序的序列，但对于真实应用中的用户行为来说并不总是正确的。实际上，由于存在许多不可观察的外部因素，在一个用户历史交互行为中的items选择，可能不会遵循一个严格的顺序假设。在这种情况下，在用户行为序列建模中在两个方向上包含上下文（context）很重要。

为了解决上述限制，我们使用一个双向模型来学习用户历史行为序列的表示。特别的，受BERT的成功启发，我们提出使用深度双向self-attention模型到序列推荐中，如图1b所示。对于表征能力（representation power），在文本序列建模的深度双向模型的良好结果，表明对于序列表示学习的两个方向包含context很有意义。对于更严格的顺序假设，比起在建模用户行为序列上使用单向模型，我们的模型更适合，因为在双向模型中所有items都可以利用两侧的context。

然而，对于序列化推荐（sequential recommendation）来说训练双向模型并不简单和直接。常见的序列推荐模型通常以从左到右方式训练，并在输入序列中为每个位置预测下一个item。如图1所示，在一个深度双向模型中同时在左向到右向上联合上context，可能会造成信息泄露，例如：允许每个item间接地“看到target item”。这会使得预测future项变得不重要，该网络可能不能学到任何有用的东西。

为了解决该问题，我们引入了Cloze task[6,50]来取代在单向模型（例如：序列化预测next item）中的目标函数。特别的，我们在输入序列中随机将一些items进行遮掩（mask）（例如：使用一个特别token[mask]进行替代），接着基于围绕他们的context来预测这些masked items的ids。这种方式下，我们可以避免信息泄露，并通过允许在输入序列中的每个item的表示融合(fuse)左和右的context，学到一个双向表示模型。除了训练一个双向模型外，Cloze objective的另一个优点是，它可以生成更多样本(samples)在多个epochs上训练一个更强大的模型。然而，Cloze task的缺点是，对于最终任务（例如：sequential recommendation）不一致。为了解决该问题，在测试期间，我们会在输入序列的末尾添加特殊token “[mask]”来表示我们需要预测的item，接着基于它的最终hidden vector来作出推荐。实验表明，我们的模型要更好。

主要贡献有：

• 提出了使用双向self-attention网络，通过Cloze task来建模用户行为序列。据我们所知，这是首个在推荐系统中引入双向序列建模和Cloze objective的研究。
• 比较了该模型与state-of-the-art方法
• 分析了在提出模型中的关键构成

2.相关工作

回顾下相关工作。

2.1 通用推荐

推荐系统的早期工作通常会使用CF，并基于它们的历史交互来建模用户偏好。在众多CF方法中，MF是最流行的方法，它会将users和items投影到一个共享的向量空间中，并通过两个向量间的内积来估计一个用户对该item的偏好。item-based的最邻近方法有[20,25,31,43]。他们会通过使用一个预计算好的i2i相似矩阵，结合它们历史交互上的items间的相似度，来估计一个用户在一个item上的偏好。

最近，深度学习已经重构了推荐系统。早期的工作是两层的RBM CF。

基于深度学习的另一条线是，通过集成辅助信息（比如：文本[23,53]、图片[21,55]、音频特征[51]）到CF模型中来学习item的表示来提升推荐效果。另一条线是，替代常用的MF。例如，NCF会通过MLP替代内积来估计用户偏好，而AutoRec和CDAE则使用auto-encoder框架来预测用户评分。

2.2 序列化推荐

不幸的是，上述方法中没有一个是用于序列化推荐（sequential recommendation）的，因为他们会忽略用户行为中的顺序。

在序列化推荐中的早期工作，通常会使用MC（markovchains）来捕获用户历史交互。例如，Shani[45]将推荐生成公式化为一个序列优化问题，并采用MDP（Markov Decision Process）来求解它。之后，Rendle结合MC和MF通过FPMC来建模序列化行为和兴趣。除了一阶MC外，更高阶的MC也可以适用于更多之前的items。

最近，RNN和它的变种，Gated Recurrent Unit(GRU)[4]和LSTM(LSTM)在建模用户行为序列上变得越来越流行。这些方法的基本思想是，使用多种recurrent架构和loss function，将用户之前的记录编码成一个vector（例如：用户偏好的表示，可用于预测），包含：GRU4Rec、DREAM、user-based GRU、attention-based GRU(NARM)）、improved GRU4Rec(BPR-max/Top1-max)，以及一个有提升的抽样策略[14]。

与RNN不同，许多深度模型也被引入进序列化推荐中。例如，Tang[49]提出了一个卷积序列网络（Caser）来学习序列模式，它同时使用水平和垂直卷积filters。Chen[3]和Huang[19]采用Memory Network来提升序列化推荐。STAMP使用一个带attention的MLP来捕获用户的通用兴趣和当前兴趣。

2.3 Attention机制

Attention机制在建模序列化数据（例如：机器翻译、文本分类）中展示了令人满意的潜能。最近，一些工作尝试采用attention机制来提升推荐效果和可解释性[28,33]。例如，Li[28]将attention机制引入到GRU中来捕获用户序列行为以及在session-based推荐中的主要目的。

上述提到的工作基本上将attention机制看成是对于原始模型的一种额外的组件。作为对比，Transformer[52]和BERT[6]在multi-head self-attention上单独构建，并在文本序列建模中达到了state-of-the-art的效果。最近，对于在建模序列化数据中使用纯attention-based网络有上升的趋势。对于序列化推荐来说，Kang[22]引入了一个二层的Transformer decoder（例如：Transformer语言模型）称为SASRec来捕获用户的序列化行为，并在公开数据集上达到了state-of-the-art的效果。SASRec与我们的工作紧密相关。然而，它仍是一个单向模型，并使用了一个非正式的（casual） attention mask。而我们使用Cloze task以及一个双向模型来编码用户的行为序列。

3.BERT4Rec

我们首先引下研究问题、基本概念。

3.1 问题声明

在序列化推荐中，假设：

• \(U=\lbrace u_1, u_2, \cdots, u_{\mid U \mid}\rbrace\) ：表示一个用户集合
• \(V=\lbrace v_1, v_2, \cdots, v_{\mid V \mid}\rbrace\)表示一个items集合
• \(S_u=[v_1^{(u)}, \cdots, v_5^{(u)}, \cdots, v_{n_u}^{(u)}]\)：表示对于用户\(u \in U\)按时间顺序的交互序列，其中\(v_t^{(u)} \in V\)是用户u在timestep t上交互的item，\(n_u\)是用户u交互序列的长度。

给定交互历史\(S_u\)，序列化推荐的目标是预测：用户u在timestep \(n_u + 1\)的交互的item。它可以公式化为，为用户u在timestep \(n_u + 1\)上建模所有可能items的概率：

\[p(v_{n_u + 1}^{(u)} = v | S_u)\]

3.2 模型结构

这里，我们引入了一个新的序列化推荐模型，称为BERT4Rec，它采用Transformer中的双向编码表示到一个新任务(sequential Recommendation)中。它在流行的self-attention layer上构建，称为“Transformer layer”。

如图1b所示，BERT4Rec通过L个双向Transformer layers进行stack组成。每个layer上，它会通过使用Transformer layer并行地跨之前层的所有positions交换信息，来迭代式地修正每个position的表示。通过如图1d的方式，以step-by-step的RNN-based的方式来前向传播相关信息进行学习，self-attention机制会赋予BERT4Rec直接捕获任意距离间的依赖。该机制会产生一个全局的receptive field，而CNN-based方法（比如：Caser）通常有一个受限的receptive field。另外，对比RNN-based方法，self-attention更容易并行化。

对比图1b, 1c, 1d，大多数显著的不同之处是，SASRec和RNN-based方法都是从左到右的单向结构，而BERT4Rec使用双向self-attention来建模用户的行为序列。这种方式下，我们提出的模型可以获取关于用户行为序列的更强大表示，来提升推荐效果。

3.3 Transformer Layer

如图1b所示，给定一个长度为t的输入序列，我们在每一层l的每个position i上同时使用transformer layer来迭代式地计算隐表示\(h_i^l\)。这里，我们将\(h_i^l \in R^d\)进行stack在一起来形成一个矩阵(matrix) \(H^l \in R^{t \times d}\)，因为我们会在实际上同时计算所有positions的attention function。如图1a所示，Transformer layer Trm包含了两个sub-layers：一个Multi-head self-attention sub-layer以及一个position-wise feed-forward network。

Multi-Head self-Attention. Attention机制在许多任务中变为序列建模的一部分，它可以捕获在representation pairs间的依赖，无需关注序列中的距离。之前的工作表明，在不同positions上的不同表征子空间上的信息进于jointly attend是有用的[6,29,52]。因而，我们可以采用multi-head self-attention来替代执行单一的attention函数。特别的，multi-head attention会首先使用不同的、可学习的线性投影，将\(H^l\)线性投影到h个子空间(subspaces)上，接着以并行的方式使用h个attention functions来生成output表示，它们可以进行拼接，然后进行再次投影：

\[MH(H^l) = [head_1; head_2; \cdots; head_h] W^O \\ head_i = Attention(H^l W_i^Q, H^l W_i^K, H^l W_i^V)\]

…(1)

其中，每个head的投影矩阵是可学习的参数。

• \[W_i^Q \in R^{d \times d / h}\]
• \[W_i^K \in R^{d \times d /h}\]
• \[W_i^V \in R^{d \times d /h}\]
• \[W_i^O \in R^{d \times d}\]

这里，出于简洁性，我们忽略掉layer上标l。实际上，这些投影参数并不是跨网络共享的。这里，Attention函数是scaled dot-product attention：

\[Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d/h}}) V\]

…(2)

这里，query Q, key K 和value V使用等式(1)中不同学到的投影矩阵从相同的矩阵\(H^l\)进行投影。 temperature \(\sqrt{d/h}\)被引入用来生成一个softer attention分布，以避免极小的梯度。

Position-wise feed-forward网络。

如上所述，self-attention sub-layer主要基于线性投影。为了使该模型具有非线性以及不同维度间的交叉，我们在self-attention sub-layer的outputs上使用一个Position-wise Feed-forward network，每个position独立且相同。它包含了两个仿射变换（affine transformations），两者间具有一个GELU activation(Gaussian Error Linear Unit)：

\[PFFN(H^l) = [FFN(h_1^l)^T; \cdots; FFN(h_t^l)^T]^T \\ FFN(x) = GELU(xW^{(1)} + b^{(1)}) W^{(2)} + b^{(2)} \\ GELU(x) = x \phi(x)\]

…(3)

其中：

• \(\phi(x)\)是标准gaussian分布的累积分布函数，
• \(W^{(1)} \in R^{d\times 4d}, W^{(2)} \in R^{4d\times d}, b^{(1)} \in R^{4d}, b^{(2)} \in R^d\)是可学习参数，并且跨所有positions共享

出于便利我们忽略layer上标l。事实上，这些参数在layer与layer间是不同的。在本工作中，根据OpenAI GPT和BERT，我们使用一个更平滑的GELU activation而非标准的ReLU activation。

Stacking Transformer layer

如上所述，我们可以使用self-attention机制，来很轻易地捕获跨整个行为序列的item-item交叉。然而，通过将self-attention layers进行stacking来学习更复杂的item transition patterns是有利的。然而，该网络会随着更深而变得更难训练。因此，我们两个sublayers的每一个周围都采用一个residual连接，如图1a所示，并使用layer normalization。另外，在它们被normalized后，我们会在每个sub-layer的output上采用dropout[47]。也就是说，每个sub-layer的output是：\(LN(x + Dropout(sublayer(x)))\)，其中：\(sublayer(\cdot)\)是通过sublayer自身实现的函数，LN是由[1]定义的layer normalization function。我们会使用LN来在相同layer上的所有hidden units上归一化inputs，以便加速网络训练。

总之，BERT4Rec以如下形式重新定义了每个layer的hidden表示：

\[H^l = Trm(H^{l-1}), \forall i \in [1, \cdots, L] \\ Trm(H^{l-1}) = LN(A^{l-1} + Dropout(PFFN(A^{l-1})) \\ A^{l-1} = LN(H^{l-1} + Dropout(MH(H^{l-1})))\]

3.4 Embedding Layer

所上所述，由于不使用任何recurrence或convolution模块，Transformer layer Trm不会意识到输入序列的顺序。为了利用输入的顺序信息，我们在Transformer layer stacks的底部，将position embeddings引入到input item embeddings中。对于一个给定的item \(v_i\)，它的输入表示\(h_i^0\)通过对相应的item embedding和positinal embedding进行求和来构成：

\[h_i^0 = v_i + p_i\]

其中，\(v_i \in E\)对于item \(v_i\)是第d维的embedding，\(p_i \in P\)是position index=i上的d维positional embedding。在本模型中，我们使用可学习的positional embeddings来替代确定的sinusoid embedding以提升更高的效果。positional embedding matrix \(P \in R^{N \times d}\)允许我们的模型来标识要处理哪一部分的input。然而，它也在最大句长N上做了限制。因而，我们需要将输入序列\([v_1, \cdots, v_t]\)截断取最近的N个items \([v_{t-N+1}^u, \cdots, v_t]\) (如果t>N)。

3.5 Output layer

在L layers后，会跨之前层上的所有positions来层次化交换信息，对于input序列的所有items，我们会获得最终的output \(H^L\)。假设我们将item \(v_t\)在timestep t上进行mask，我们接着基于图1b的\(h_t^L\)来预测masked items \(v_t\)。特别的，我们会应用一个两层的feed-forward网络，并使用GELU activation来生成一个在target items上的output分布：

\[P(v) = softmax(GELU(h_t^L W^P + b^P) E^T + b^O)\]

…(7)

其中：

• \(W^P\)是可学习的投影矩阵
• \(b^P\)和\(b^O\)是bias项
• \(E \in R^{\mid V \mid \times d}\)是对于item set V的embedding矩阵

我们在input layer和output layer上使用共享的item embedding matrix来减缓overfitting并减小模型size。

3.6 模型学习

训练

常见的单向序列推荐模型通常通过为输入序列中的每个position预测next item的方式来进行训练（如图1c和1d）。特别的，input序列\([v_1, \cdots, v_t]\)的target是一个shfited版本 \([v_2, \cdots, v_{t+1}]\)。然而，如图1b所示，在双向模型中的left context和right context进行联合，可能会造成：每个item的最终output表示会包含target item的信息。这会使得预测将来项变得更平凡，网络不会学到任何有用的东西。对于该问题一种简单的解法是，从长度为t的原始行为序列中创建t-1个样本（带有next items的子序列，形如：\(([v_1],v_2)\)、\(([v_1,v_2],v_3)\)），接着使用双向模型将每个历史子序列进行encode，以预测target item。然而，该方法非常耗时、耗资源，因为我们必须为在序列中的每个position创建一个新样本并进行单独预测。

为了高效地训练我们的模型，我们使用了一个新的objective：\(Cloze ask\) [50]（在[6]中被称为“Masked Language Model”）来序列推荐中。它是一种测试（test），由将某些词移除后的语言的一部分组成，其中参与者（participant）会被要求填充缺失的词（missing words）。在我们的case中，对于每个training step，我们对输入序列中的所有items的一部分\(\rho\)进行随机遮掩(randomly mask)（通过使用特殊token “[mask]”进行替代），接着只是基于它的left context和right context来预测masked items的原始ids。例如：

Input: \([v_1, v_2, v_3, v_4, v_5]\) —-> \([v_1, [mask]_1, v_3, [mask]_2, v_5]\)

labels: \([mask]_1 = v_2, [mask]_2 = v_4\)

对应于”[mask]”的最终的hidden vectors，会被feed给一个在item set上的output softmax，这与常规的序列推荐相同。事实上，我们会为每个masked input \(S_u'\)定义loss来作为关于该masked targets的负log似然：

\[L = \frac{1}{ |S_u^m|} \sum\limits_{v_m \in S_u^m} -log P(v_m = v_m^* | S_u')\]

…(8)

其中，\(S_u'\)是用户行为历史\(S_u\)的masked版本，\(S_u^m\)是在它上的random masked items，\(v_m^*\)是masked item \(v_m\)的true item，概率\(P(\cdot)\)如等式(7)定义。

Cloze task的一个额外优点是，它可以生成更多样性来训练模型。假设一个长度为n的序列，如图1c和图1d所示的常规序列预测可以为训练生成n个唯一的样本，而BERT4Rec在多个epochs上可以获得\((_k^n)\)的样本（如果我们随机mask k个items）。它允许我们训练一个更强大的单向表示模型。

Test

如上所述，我们会在训练和最终序列推荐任务间不匹配（mismatch），因为Cloze objective是为了预测当前maskted items，而序列推荐的目标是预测the future。为了解决该问题，我们会在用户行为序列的结尾添加特殊token “[mask]”，接着，基于该token的最终hidden表示预测next item。为了更好匹配(match)序列推荐任务（例如：预测last item），我们也可以在训练期间生成只在输入序列中mask最后一个item的抽样。它与序列推荐的fine-tuning相似，可以进一步提升推荐效果。

3.7 讨论

这里，我们会讨论我们的模型与之前的工作的关系。

SASRec

很明显，SARRec是从左到右的单向版本的Bert4Rec，它使用单个head attention以及causal attention mask。不同的结构导至不同的训练方法。SASRec会为序列中的每个position预测next item，而Bert4Rec会使用Cloze objective预测序列中的masked items。

CBOW & SG

另一个非常相似的工作是CBOW(Continuous Bag-of-Words)和（SG）Skip-Gram。CBOW会使用在context（包含左和右）中的所有word vectors的平均来预测一个target word。它可以看成是一个简版的BERT4Rec：如果我们在BERT4Rec中使用一个self-attention layer，并在items上具有均匀的attention weights，不共享的item embeddings，移除positional embedding，并将中心项mask住。与CBOW相似，SG也可以看成是BERT4Rec的简版（mask所有items，除了它自身）。从该角度看，Cloze可以看成是CBOW和SG的objective的一个通用格式。另外，CBOW使用一个简单的aggregator来建模word序列，因为它的目标是学习好的word representations，而非sentence representations。作为对比，我们会寻找一个更强大的行为序列表示模型（deep self-attention network）来作出推荐。

BERT

尽管我们的BERT4Rec受NLP中BERT，它与BERT仍有许多不同之处：

• a) 大多数主要区别是，BERT4Rec是一个用于序列推荐的end-to-end模型，而BERT是一个用于句子表示的pre-training模型。BERT会利用大规模task-independent语料来为许多文本序列任务pre-train句子表示模型，因为这些任务会共享关于该语言的相同背景知识。然而，在推荐任务中不受该假设约束。这样，我们可以为不同的序列化推荐datasets训练BERT4Rec end-to-end。
• b) 不同于BERT，我们会移除next sentence loss和segment embeddings，因为BERT4Rec会建模一个用户的历史行为，只有在序列推荐中有一个序列

4.实验

评估了三个数据集：

• Amazon Beauty：Amazon.com收集的产品review数据集。
• Steam：从在线视频游戏发生商Steam中收集得到，
• MovieLens：MovieLens电影数据集

4.5 hidden维度d的影响

4.6 Mask比较\(\rho\)的影响

4.7 最大序列长度N的影响

4.8 消融(Ablation)研究

参考

• 1.https://arxiv.org/pdf/1904.06690.pdf

Alex Beutel等人在KDD 2019《Fairness in Recommendation Ranking through Pairwise Comparisons》中提出pairwise比较来看fairness。具体方法如下：

介绍

我们希望什么样的推荐系统？推荐器对于将用户连接到网络上的相关内容、items或者信息来说很重要，用户、内容提供商、零售商、信息提供商都依赖这些系统，我们需要明白谁应该是否被支持很重要。在本paper中，我们主要关注一个推荐系统在关于items的under-ranking groups上的风险。例如，一个under-ranked的社交网络通过一个给定的demographic group发表，会限定在该group范围内可见。

对于分类(classification)的公平性度量（fairness metrics）有许多研究，每种metric都是恰当的，但对于推荐系统来说，这方面考虑的较少。在推荐系统中，公平性的研究是很有挑战性的，它们很复杂。通常包含了多个模型，必须平衡多个目标，由于存在很大、倾斜的稀疏性以及许多动态性（dynamics）很难评估。所有这些要点在推荐系统社区中很难解决，在提升推荐公平性上提出了额外的挑战。

一个挑战性的划分是介于：将推荐看成是一个pointwise prediction问题、将这些预测应用于排序列表的构建。pointwise recommenders会为每个item做出一个关于用户兴趣的预测，接着基于这些预测决定一个推荐排序(ranking)。该setup在实际中很常见，但大多数研究都是深入去缩小pointwise predictions和ranking construction间的构建。公平性会陷入进退两难的境地。最近围绕pointwise accuracy为中心的关于fairness metrics的研究[8,49]，并不能表明产生的ranking是用户实际想看的。做为对比，[52,44,45,11]探索了什么是一个fair ranking，但都关注于非个性化排序（unpersonalized rankings），它们会考虑上items的相关度、并且大多数情况下需要使用上item group关系的一个后处理算法(post-processing algorithm)，这在实际中通常是不可行的[10]。

另外，推荐系统的评估是很难的，因为系统的动态变化性。一个用户昨天感兴趣的东西，在明天可能会不感兴趣，我们只能通过一个用户的偏好来推荐一个item给他们。因而，metrics通常是对之前的推荐系统(previous)[3]是有偏的(biased：在统计上)，大量研究会做无偏离线评估[43,42]，由于存在很大的item space、以及极其稀疏的feedback、users和items的不断演化，很难进行评估。当尝试衡量推荐系统的公平性时，这些issues只能变得更显著；而当你尝试评估complete rankings时更甚。

我们通过一个pairwise recommendation fairness metric来解决所有的这些挑战。通过使用易运行、随机化的实验，我们可以得到关于用户偏好的无偏估计（unbiased estimates）。基于这些观察到的(observed) pairwise偏好，我们甚至都可以对一个pointwise的推荐系统的公平性进行measure，我们展示了这些metrics与排序效果直接相关。另外，我们提供了一种新的正则项(regularization term)，结果表明它可以提升一个pointwise recommender的最终ranking fairness，如图1所示。我们在生产环境中的一个大规模推荐系统上进行测试，结果表明实际是有益的，并且理论上和经验上是可同时trade-offs的。我们的贡献有：

• Pairwise Fairness：
• Pairwise Regularization：
• 真实实验：

2.相关工作

推荐系统：。。。

机器学习公平性(Machine Learning Fairness.)：机器学习公平性主要关注分类问题的公平性，提出了许多定义。基于这些定义的group fairness，一个模型将两组样本进行比较，成为了最常见的结构，但研究者们展示了不同定义间的调节器。我们主要根据Hardt[23]的机会等式(equality of opportunity intuition)，其中我们会关注不同groups上在accuracy上的差异。我们的metric更接近于构建在一个AUC-based 分类和回归问题上的fairness metrics，它由Dixon[18]提出，并在[12]中展开可以作为不同的Mann-Whitney U-tests。

Recommender System Fairness。在ranking和recommendation上的fairness上，已经有一些研究，但这些研究都从不同的视角出发。Zehlike[52]从排序公平性的目标出发，但没有考虑推荐系统（它的数据是很稀疏的）。相似的，Singh[44]采用一个full-ranking的公平性视角，可以通过一个后处理算法(post-processing) 对模型预测应用于推荐系统；接着[45]将它移到模型训练中。所有这些工作[52,44,45,11]关注于一个非个性化的信息检索系统，其中主要关注每个item的相关labels；我们关于的个性化推荐场景存在：数据稀疏性和biases。[8,49]则关注于CF pointwise accuracy跨不同groups的差异，但没有将这些metrics连接到最终的rankings上。

更多研究在统计等价(statistical parity)，其中在一些应用上还有争议：items应跨不同groups以相同的rate被展示。Diversity、filter bubbles、feedback loops，以及机器学习的fairness，在本paper不是关注重点。

Fairness Optimization. 许多方法的提出是为了解决公平性问题。Post-processing可以提供优雅解法【23，44】，但通常需要已经对于所有样本的group memberships，这对于demographic数据来说几乎是未知的。然而，许多方法在分类训练期间来优化fairness metrics，比如：constriaint-based optimization、adversarial learning、以及通过模型预测的regularzation。我们构建了这些regularization方法来提升我们推荐系统的fairness属性。

3.推荐的pairwise fairness

我们考虑一个生产环境推荐系统，它会推荐一个关于K个items的个性化列表给用户。我们考虑一个cascading recommender，它会使用检索系统（retrieval systems）集合，后跟着一个排序系统(ranking system)。我们假设：retrival systems会从一个包含M个items的语料J中，返回一个关于\(M'\)的相关items的集合R，其中\(M \gg M' \geq K\)。排序模型（ranking model）接着必须进行打分，并对\(M'\)个items进行排序来得到最终的K items排序列表。这里，我们主要关注ranker的角色。

当做出一个推荐时，系统会为user i观察用户特征\(u_i\)，和一个上下文特征集合c（比如时序(timing)、或设备信息）；我们将它称为query：\(q=(u,c)\)。另外，对于每个item \(j \in J\)，我们观察到特征向量 \(v_j\)；这里，我们会包含对于item的稀疏表示或学到的embeddings，以及与该item相关的其它属性。ranker会基于user feedback（包含：clickes, ratings, 文上的停留时间，items的后续购买等）的估计执行ranking。对于我们的系统，我们会估计用户是否会在该item上的点击\(y \in {0, 1}\)，以及在点击该item上的用户参与度(user engagement)\(z \in R\)，比如：停留时间、购买、raitings。这样，我们的数据集包含了历史样本 \(D = \lbrace (q,v,y,z) \rbrace\)。（注意，由于z是在一个点击之后的user engagement，如果没有点击发生，z=0）。D只包含了之前被推荐的样本。

ranker是一个模型\(f_{\theta}\)，参数为\(\theta\)；该模型被训练来预测用户参与度\(f_{\theta}(q,v) = (\hat{y},\hat{z}) \approx (y,z)\)。最终，一个items的ranking会通过打分函数\(g(\hat{y}, \hat{z})\)来生成，用户会从由g排序的相关items R中选取topK个items。

3.2 Fairness concerns的动机

在之前的讨论中，有许多公平性关注点在文献中有强调。在本paper中，我们主要关注items分组成为under-recommended的风险。例如，如果一个under-ranked的社交网络，通过一个给定的demographics group进行发表，它会限制分组在该服务上的可见性和参与度。如果一个网络的评估部分是个性化的，那么一个demographic group的用户评论也是under-ranked，接着该demographic会在该网络上有更少的话语权（voice）。在一个更抽象的层次上，我们假设，每个item j具有敏感属性\(s_j \in \lbrace 0, 1 \rbrace\)。我们会measure：来自一个group上的items是否在系统上是under-ranked。

尽管并非是我们的主要关注点，这些issues可以user group concerns并列，如果一个items的group是否被一个特定的user group更偏好。该框架会显式扩展到包含user groups。如果每个user具有一个敏感属性，我们可以通过每个user group来计算所有以下的metrics，并计算跨groups的性能比较。例如，如果我们关注的是，一个社交网络是under-ranking，特定主题的items只限定于特定的demographic人群，我们可以比较：跨demographic groups的主题内容的under-ranking的degree。

3.3 Pairwise Fairness Metric

上述fairness目标看起来很重要，对于一个”under-ranked”的item来说，我们必须准确搞清它的含义。这里我们吸收了[23]的思想：一个classifier的fairness通过比较它的false postive rate and/or false negative rate进行量化。不同的是，给定一个item的label是postive的，classifier预测它为positive的probability。在分类中，由于模型预测可以通过一个预测定阀值进行比较，这可以有效工作。

在推荐系统中，一个positive prediction是不明确的，即使人们将分析限制在clicks(y)和ignore engagement(z)中。例如，如果一个item被点击，y=1,那么被预测的点击概率为\(\hat{y}=0.6\)，这是一个positive prediction吗？它可以被看成是一个0.4的under-prediction，如果其它items都具有一个预测的\(\hat{y}<0.6\)它仍是top-ranked item。因而，理解在pointwise predictions中的errors需要对比对于相同query的items预测。

我们开始定义了一个pairwise accuracy：一个clicked item的概率被排在另一个相关uncliked item之上，对于一个相同的query有：

\[PairwiseAccuarcy \triangleq P(g(f_{\theta} (q, v_j)) > g(f_{\theta}(q, v_j')) | y_{q,j'}, j, j' \in R_q)\]

…(1)

有了该定义，我们可以知道ranking系统会对cliked item进行rank的频次。出于简洁，我们使用\(c_q(j, j') \triangleq 1 [g(f_{\theta}(q,v_j)) > g(f_{\theta}(q,v_{j'}))]\)来表示：对于query q，item j和\(j'\)间的预测比较；我们会隐掉\(j, j' \in R_q\)项，但我们只考虑对于所有以下定义相关items间的比较。

对于余下的fairness研究，我们会关注groups间的相对performance，而非绝对performance。因而，我们可以比较：

\[P(c_q(j, j') | y_{q,j} > y_{q,j'}, s_j = 0) = P(c_q(j,j') | y_{q,j} > y_{q,j'}, s_j =1)\]

也就是说，来自一个group \(S=0\)的items的PairwiseAccuarcy，要比来自另一个group \(S=1\)的PairwiseAccuarcy或高或低些。

这是一个直觉上的metric，这里还有疑问：它会忽略整个user engagement z，因而可能会有促进ckickbait的风险。

定义1(Pairwise Fairness)。一个具有ranking公式g的模型\(f_{\theta}\)，如果一个clicked item的likelihood被排到另一个相关的uncliked item之上（跨相同的groups），被认为是服从pairwise fairness，则被认为是服从pairwise fairness：

\[P(c_q(j,j') | y_{q,j} > y_{q,j'}, s_j = 0, z_{q,j} = \bar{z}) = P(c_q(j, j') | y_{q,j} > y_{q,j'}, s_j=1, z_{q,j}=\bar{z}), \forall \bar{z}\]

对于来自每个group的items，该定义给出了一个关于ranker accuracy的聚合概念。

由于它是valuable的，它不会区别来自mis-orderings types。对于来自一个group的under-exposing items可能是有问题的。为了说明，考虑以下两个示例：在两种情况下，每个group \(\lbrace A_j \rbrace_{j=1}^3 \cup \lbrace B_j \rbrace_{j=1}^3\)存在三个items，在第一个case中，系统给出了一个 ranking \([ A_2, A_3, B_1, A_1, B_2, B_3 ]\)，在第二个case中，系统给出了\([A_1, A_2, A_3, B_1, B_2, B_3]\)，我们可以看到，overall pairwise accuracy在两个cases中相同，\(\frac{2}{5}\)，但在第二个case中，当group B中的一个item有兴趣（clicked），所有group B items会排在group A items之下。两者在ranking中都有问题（排在clicked item之下），但第二个case有系统上更有问题，偏向于某个group，这独立于用户偏好。

为了解决该问题，我们可以将上述pairwise fairness定义分割成两个独立的criteria：在相同group中items间的pairwise accuracy，不同groups的items间的pairwise accuracy；我们将这些metrics称为：”intra-group pairwise accuracy”和”inter-group pairwise accuracy”：

\[Intra-Group \ Acc. \triangleq P(c_q(j, j') | y_{q,j} > y_{q,j'}, s_j = s_{j'}, z_{q,j} = \bar{z}) Inter-Group \ Acc. \triangleq P(c_q(j, j') | y_{q,j} > y_{q,j'}, s_j \neq s_{j'}, z_{q,j} = \bar{z})\]

…(3) …(4)

定义2

定义3

3.4 Measurement

在推荐系统中，users和items是高度动态的，我们通常只在之前的recommended items上观察user feedback，这会使得metrics容易偏偏于previous recommender system。

然而，对于上述给出的三个fairness定义，我们希望在item pairs间用户偏好的无偏估计。为了这样做，我们在小量queries上运行随机实验。

参考

• 1.https://arxiv.org/pdf/1903.00780.pdf