google在《Trading Off Diversity and Quality in Natural Language Generation》讲了下NLG中的Diversity & Quality的tradeoff。

摘要

对于讲故事、对话等开放式语言生成任务（open-ended language generation tasks），选择正确的解码算法（decoding algorithm）对于控制生成质量和多样性之间的权衡至关重要。然而，目前尚无共识，不知道哪种解码程序最佳，甚至不知道比较它们的标准是什么。我们通过将解码（decoding）视为一个多目标优化问题来解决这些问题，旨在同时最大化响应质量和多样性。我们的框架使我们能够首次对整个质量-多样性谱上的解码方法进行大规模评估。我们发现：当多样性是优先考虑时，所有方法的表现都相似；但当质量被视为更重要时，最近提出的核采样（nucleus sampling：Holtzman等人，2019年）胜过所有其他评估的解码算法。我们的实验还证实了“可能性陷阱（likelihood trap）”的存在，这是一个反直觉的观察，即高可能性序列往往出人意料地质量很低。我们利用我们的发现来创建并评估一种名为选择性采样（selective sampling）的算法，该算法可实际近似全局归一化温度采样（globally-normalized temperature sampling）。

1. 引言

生成式语言模型适用于包括撰写文章、创作莎士比亚十四行诗或进行对话在内的多种任务。对于几乎所有这些目标，人类判断是可信评估生成文本质量的唯一方式，这使得直接针对期望目标进行优化变得极其昂贵。研究人员通常通过采用两阶段流程来解决这个问题：

• 在训练时，模型试图模仿人类撰写的文本语料库作为真实目标的代理（例如更高质量的样本）。
• 在推理时，模型通过解码算法生成文本序列，该算法在给定网络原始预测的基础上更好地优化了期望的成功标准。

在过去几年中，几乎所有主要的图像和语言生成突破（Radford等人，2019年；Zhang等人，2019年；Fan等人，2018年）都采用了这种两阶段流程，其中模型概率分布在训练和推理时不同。

本研究考察了语言模型的解码方法，众所周知，这对于语言生成的性能至关重要（Ippolito等人，2019a）。最近改进生成语言模型的努力主要集中在：

• 改变模型架构（Vaswani等人，2017年；Gehring等人，2017年）、
• 训练方法（de Masson d’Autume等人，2019年）
• 模型大小（Radford等人，2019年；Adiwardana等人，2020年）

虽然也努力改进解码器（Vijayakumar等人，2016年；Li & Jurafsky，2016年；Ippolito等人，2019b），但在评估解码器性能改进方面取得了明显较少的进展，特别是对于开放式生成任务，成功的模型必须生成多样化的高质量答案范围，而不仅仅是单一输出。

对于许多任务来说，质量和多样性这两个标准并不总是同等重要。在机器翻译中，最重要的标准是产生准确、高质量的输入翻译；生成多种替代翻译也很有用，但如果以牺牲正确性为代价则不可取。与此同时，在开放式领域对话中，目标通常是维持与人类对话伙伴的愉快对话，因此更重视多样性。

为了具体说明对话案例，短语“I don’t know”通常是完全合理的评论，并且在正常的人类对话中经常出现。然而，一个在每次对话中都重复“I don’t know”的聊天机器人是一个很差的对话者。在这种开放式领域中，能够就广泛的话题进行对话，偶尔有些奇怪的言论，比仅仅重复最安全的言论要受欢迎得多（Li等人，2016年）。

为了同时捕捉这两个标准，我们建议将生成式语言模型的目标框架设定为在质量和多样性上的多目标优化。所提出的框架足够灵活，可以包含传统上对多样性重视较低的任务，如机器翻译或摘要，以及其他重视多样性的任务，如讲故事。此外，所提出的框架使我们能够通过比较整个质量-多样性谱上的性能来评估现有的解码算法。我们比较了各种常用的解码算法，在解码器质量的首次大规模研究中，使用了超过38,000个评分对近10,000个样本进行了评估。我们发现，当多样性受到高度重视时，所有解码器的表现都相似，但当质量被视为更重要时，最近提出的核采样（Holtzman等人，2019年）胜过所有其他评估的解码算法。

此外，我们利用我们的框架来调查普遍持有的直觉，即模型可能性（likelihood）与人类质量判断直接相关。首先，我们通过测量人类评估者判断的句子质量与其在生成模型下的可能性（likelihood）之间的关系，明确测试了这种信念。我们的发现证实了可能性陷阱（likelihood trap）的存在，即最高可能性（likelihood）的句子质量出奇地低，尽管模型可能性（likelihood）与人类质量判断之间通常存在正相关关系。虽然这一发现已经在从新闻生成到机器翻译的多种语言生成任务和模型中观察到（Cohen & Beck，2018年；Holtzman等人，2019年），但据我们所知，我们是第一个在模型概率空间的所有点明确量化两者关系的人。

其次，我们提出并评估了选择性采样（selective sampling），这是一种通过从全局温度调整（global temperature-adjusted）的模型分布中抽取样本来强调高概率句子的解码器。虽然这传统上被认为由于计算配分函数的困难而不可行，但我们提出了一种使用拒绝采样（rejection sampling）直接从所需分布中采样的程序，而无需显式计算划分函数(partition function)。在与现有的逐标记解码器一起评估此解码器时，我们发现即使考虑到可能性陷阱（likelihood trap），它的性能也很差，这表明局部逐标记解码器可能能够捕捉全局解码器无法捕捉的结构。

2. 框架

在本节中，我们介绍了一个用于在语言生成中权衡质量和多样性的框架。设X表示所有可能生成句子的空间。我们考虑自回归语言模型，该模型将序列$（x_1, x_2, \cdots, x_n）= x_{1:n} \in X$的可能性按从左到右的方式逐个分解为token（Hamilton，1994；Sutskever等人，2014）。具体来说，序列的条件可能性是：

\[p_{\text{model}}(x_{1:n} | c) = \prod_{i=1}^{n} p_{\text{model}}(x_i | x_{1:i-1}, c)\]

其中：

• c是任何附加的条件信号，例如对话的上一个回合。随机采样是直接从模型联合分布的分解中得出的解码过程，其中token根据模型的条件分布一次一个地采样：

\[p_{\text{model}}(x_i | x_{1:i-1}, c)\]

通常不直接从$p_{model}$采样；它首先通过解码器进行后处理，以使其偏向于已经具有高可能性的token。

在我们提出的框架中，我们通过要求人类对单个句子$x ∈ X$进行质量判断HJ(x)来评估其质量。我们可以将模型的质量Q定义为：从模型中抽取的句子的预期人类“质量”判断（HJ：Humen Judgement）：

\[Q(p) = \mathbb{E}_{x \sim p}[HJ(x)]\]

我们通过香农熵H（Shannon，1948）来衡量模型的多样性，这是一个在计算机科学以外的许多领域广泛使用的多样性度量指标，包括生物学、经济学、化学和物理学。香农熵由下式给出：

\[H(p) = -\mathbb{E}_{x \sim p}[\log p(x)]\]

这使我们能够将我们的多目标优化问题定义为最大化以下目标G：

\[G(p) = Q(p) + \lambda H(p)\]

其中：

• λ是任务特定度量，用于衡量多样性和质量的相对重要性。

因此：

• 对于像对话这样的开放式任务，强调多样性，较大λ下的解码器性能至关重要。
• 对于更封闭领域任务，如摘要或机器翻译，在较小的λ（包括可能的0）下的性能更为重要。

理想情况下，人们会直接针对目标G进行优化，但由于它依赖于人类判断，实际上直接优化是不可行的。相反，以前的工作优化了一个代理目标（如KL散度），然后使用解码算法来“扭曲”模型$p_{model}$，使其在事后朝向更高的G值。

在接下来的部分中，我们将我们的目标G与现有的解码器联系起来，并调查一种新的解码算法，该算法是全局归一化跨越所有可能的序列，而不仅仅是逐个token。

3. 选择性采样

3.1 似然陷阱

序列可能性（likelihood）通常用作选择高质量生成的启发式方法。在极端情况下，束搜索（Beam search）近似于寻找最有可能的序列生成：

\[x^* = argmax \ log p_{model}(x)\]

并且这是机器翻译中主要采用的方法（Koehn，2004）。然而，先前的工作表明，序列可能性与序列质量之间单调正相关的假设在极端情况下会崩溃。例如，众所周知，在机器翻译和图像字幕社区中，超过某个点后，增加束宽会损害BLEU分数和其他质量度量（Stahlberg & Byrne，2019；Koehn & Knowles，2017；Vinyals等人，2016）。最近，Holtzman等人（2019）观察到开放式生成中类似的现象，其中最高可能性的句子退化为极端重复。

我们通过抽取大量代表各种模型对数似然（log likelihood）的上下文-响应对来实证量化序列可能性与人类质量判断之间的关系。然后，我们要求人类众包工作者根据上下文对每个响应的质量进行评分，评分范围为五档：从“糟糕”到“高质量”。图1将这些评分作为$log p_{model}$的函数绘制出来，并确认平均而言，最高质量的生成不是似然最高的。具体来说，我们发现响应质量通常与$log p_{model}(x)$正相关，直到一个拐点之后，它变成负相关。在我们的实验中，这个拐点出现在$log p_{model}(x) = -58.09$。我们的发现表明，虽然模型可能性是响应质量的良好代理，但简单地最大化句子可能性会导致次优的响应质量。我们将这种现象称为似然陷阱。

图1 似然陷阱。我们请了146名群众工作者对不同模型似然度下的100个句子的质量进行评分。虽然模型对数似然通常与人类平均质量判断呈正相关，但我们注意到在某个拐点之后它们变成了负相关。图中的每个点代表了具有相似模型似然度的5个句子的群众工作者平均评分。我们在第3节中更深入地讨论了这一现象。

在表??中可以看到可能性陷阱的例子。极端高可能性的文本序列倾向于退化为极端重复或其他无意义的内容，有些人将其归因于模型偏差（Holtzman等人，2019）或训练数据的异常（Ott等人，2018）。我们本文不探讨可能性陷阱的根本原因。

3.2 全局温度采样

受到我们的发现，即人类判断HJ与模型可能性在某些可能性区间内正相关的启发，我们研究：使用$log p_{model}$作为HJ的代理是否会导致更好的解码算法。具体来说，我们创建了一个代理质量函数，

\[\widehat{Q}(p) = \begin{cases} \mathbb{E}_{x \sim p}\left[ \log p_{\text{model}}(x) \right], & \text{if } \log p_{\text{model}} < \alpha \\ -\infty, & \text{otherwise} \end{cases}\]

其中：

• α被选为超参数。

使用全局归一化温度采样，我们可以通过优化代理目标$\widehat{G}(p) = \widehat{Q}(p) + H(p)$来近似优化G。这是由于以下命题。

命题1: 假设P是某个句子有限集合X上的概率分布，H是香农熵函数。概率分布Q最小化逆KL散度DKL$(Q | P)$，使得$H(Q) = K$对于任何可实现的常数K具有形式，

\[Q(x) = \frac{P(x)^{1/\tau}}{ \sum_{x \in X} P(x)^{1/\tau} }\]

其中：

• 温度 $τ \in [0,1]$。

证明。证明包含在附录A.1中。

表1 不同模型似然度下的句子示例。具有非常低的对数似然度 $ p_{\text{model}} $ 的句子会产生无意义的内容，而模型下似然度很高的句子往往会陷入极端重复。这里展示的无意义和重复分类仅用于说明目的。群众工作者仅对句子的整体质量进行了评分。更多细节请参见附录。

当应用于自回归模型时，全局温度采样通常被认为是不可行的，因为它需要在所有可能序列的指数级大空间上求和以追求划分函数

\[Z = \sum_{x} p_{\text{model}}(x | c)^{1/\tau}\]

相反，过去的工作通常将句子分解为token，并以从左到右的自回归方式使用局部近似，

\[\hat{Z} = \prod_{i=1}^{n} \sum_{x_i} p_{\text{model}}(x_i | x_{1:i-1}, c)^{1/\tau}\]

其中模型在每组token上局部归一化。

这导致了众所周知的（局部）温度采样算法。

算法1

不幸的是，虽然用一系列局部划分函数替换全局划分函数将一个指数问题转化为一个线性问题，但这种近似可能会使模型偏向于偏爱局部结构而不是全局结构。实际上，我们通过以下示例展示，对于一些联合分布，即使允许在每个时间步使用不同的温度τ进行局部温度采样，也不可能通过局部温度采样来表示全局归一化温度采样。

命题 2. 存在一种概率分布p和一个全局温度τ，使得没有任何参数选择能让局部温度采样匹配联合分布$p(x)^{(1/τ)}$。

图2 局部温度采样的任何温度选择都必须满足 $ P(A) = P(B) $。然而，选择全局温度 $ \tau = 0.5 $ 会导致 $ P(A) = 0.5763 $ 和 $ P(B) = 0.4237 $，这在任何局部温度的选择下都不可能满足。

证明。图2展示了p的一个选择。通过构造，局部温度采样被迫在那个时间步使用的温度超参数不管如何设置，都要使 $p_{local}(A) = p_{local}(B)$。设置全局温度为 τ = 0.5，结果为：

\[P(A) = \frac{0.1^2 + 0.4^2}{0.1^2 + 0.4^2 + 0.25^2 + 0.25^2} = 0.5763 \\ P(B) = \frac{0.25^2 + 0.25^2}{0.1^2 + 0.4^2 + 0.25^2 + 0.25^2} = 0.4237\]

这无法通过任何局部温度设置来模仿。我们的核心见解是，可以通过拒绝采样从全局归一化温度采样分布中采样，而无需估计划分函数 Z。

拒绝采样（Forsythe，1972）提供了一种从能量分布 $p_{energy}$ 采样的算法，如果存在一个建议分布 q 和常数 M，使得$M_q \geq p_{energy}$。

我们观察到：对于$τ \in (0, 1)$ 和 $0 ≤ p ≤ 1$，有 $p_{model} > p_{model}^{(1/τ)}$。这允许我们使用 $p_{model} $作为建议分布，因为全局温度采样的未归一化概率由 $p_{global} ∝ p_{model}^{(1/τ)} $给出。

选择性采样在设计上显著增加了采样具有大值 $log p_{model}$ 的序列的机会。为了避免陷入可能性陷阱，我们建议：明确丢弃 $log p_{model}(x)$ 大于选定超参数 α 的句子生成 x。

截止的额外积极副作用是：可以选择信封常数 M 以在 $p_{energy}$上创建紧密界限，这可以通过几个数量级增加接受概率。

事先，如何有效选择 α 并不明显。我们建议收集人类对从 $p_{model}$ 中随机抽取的样本选择的判断，如图 1 所示，并设置 α 等于发现的拐点。注意，虽然这导致我们的程序忽略了个别具有最高概率的句子集合，但这个集合的总概率质量相当低：在我们的实验中不到 0.5%。

图3 对于从相同提示中抽取的样本，$p_{model}(x)$的直方图。99.5%的样本具有小于图中以黑色显示的选定截断α的对数似然。

4. 实验

在第2节中，我们介绍了一个理论框架，用于在质量-多样性曲线上比较解码算法。在这个框架下，我们在下面描述的人类研究中评估了几种常用的解码算法。除了选择性采样，我们还考虑了以下自回归解码算法：

• 温度采样：以概率与 $p_{model}(x_i \mid x_{1:i−1})^{(1/\tau)}$ 成比例来采样token。$\tau$从0变化到1。
• top-k（Fan等人，2018）：每个时间步只从词汇表中可能性最高的k个token中采样。k从1变化到词汇表大小。
• top-p（也称为核采样）（Holtzman等人，2019）：每个时间步只从包含最有可能的p百分比概率质量的token中采样，按可能性从高到低排序。p从0变化到1。

在它们超参数范围的极端情况下，这些算法都分别收敛到贪婪解码和随机采样。为了扫过质量-多样性曲线，我们在下面考虑了每种解码算法的几个超参数设置。我们把每种解码算法-超参数组合称为一个“解码配置”。

4.1 设置

我们将每种解码算法应用于GPT-2（Radford等人，2019）的774M参数变体，这是一个公开发布的语言模型。为了将样本定位在共同的上下文中，我们选择了48个GPT-2测试集中的示例作为条件。由于样本质量在样本简洁时变得模糊（Ippolito等人，2019a），我们明确要求所有采样方法生成恰好30个token，这个长度大约等于提示的长度。

为了估计每种解码算法引起的分布的预期人类判断分数$Ep[HJ(x)]$，我们招募了146名合格的亚马逊Mechanical Turk（AMT）工人，他们通过资格任务的满意表现被选中。工人被呈现五组样本，每组样本都以相同的提示为条件，来自五种不同的算法-超参数配置，并被要求对每个样本分配从类似人类到胡言乱语的质量评分。如附录所示，向众包工作者展示的确切提示被包括在内。

先前的研究已经发现，当机器生成的和人类生成的续写在质量相似时，人类标注者在直接区分它们时存在显著困难，因为评估句子质量的任务具有很高的主观性（Ippolito等人，2019a）。我们发现，通过随机配对同时评估的样本来构建成对偏好评分，可以显著减少我们结果的方差。具体来说，如果一个样本的评分高于另一个，一个被分配+1的分数，另一个被分配-1的分数。如果两者评分相等，则两者都被分配0分。分配给解码配置的分数是它在所有成对偏好评分中的平均分数。

4.2 结论

我们现在介绍第一项大规模研究，比较解码算法及其超参数。与之前所有的工作（Holtzman等人，2019；Ippolito等人，2019b）不同，我们通过在同等多样性的点上比较样本质量，明确地将解码算法放在同等基础上进行比较。我们考虑每个解码算法的五种超参数配置，总共有十五种配置。对于每种配置和提示，我们抽取十个样本。总共，工作人员对近10,000个样本进行了评分，产生了超过38,000个成对评分。我们的主要结果总结在图2a和2b中。令人安心的是，熵和人类质量判断都随着解码算法超参数的变化而平滑变化。

正如预期的那样，直接从模型分布 $p_{\text{model}}(x) $ 进行随机抽样，同时具有最高的熵和最低的质量。这与长期以来的直觉相符，即解码算法对于提高样本质量至关重要。

为什么随机抽样的文本质量如此之差？像GPT-2这样的语言模型被训练来最小化训练集和模型分布 $p_{\text{model}}$ 之间的KL散度，这一目标优先考虑召回率而非精确度（Arjovsky等人，2017）。因此，模型倾向于确保高质量序列具有高可能性，而不坚持所有高可能性序列也具有高质量。当我们评估模型中的样本时，我们评估的是后者条件。

我们的第二个结论是，对于所有解码算法，样本质量随着熵的显著变化而变化。此外，在熵对齐的情况下，所有自回归解码算法的样本质量在广泛的范围内是可比的。只有当熵很低时——当解码算法严重影响抽样时——不同算法之间的样本质量才会出现分歧。在这种制度下，我们发现核采样优于top-k采样，而top-k采样又优于温度采样。

观察到这样的差异应该不会令人惊讶：一个分布的熵本身并不能描述其样本，因此也不能描述其整体质量。因此，对解码算法的公平比较不仅要在相同的熵水平上进行比较，还要在一系列熵水平上进行比较。

4.3 选择性采样

为什么选择性采样表现不佳？我们的错误分析至少发现了两个潜在原因：由解码算法引起的先验和上下文依赖的似然陷阱。我们首先考虑自回归解码算法的隐含先验。自回归解码算法自然倾向于那些每个标记 $ x_i $ 相对于其条件分布 $ p_{\text{model}}(x_i \mid x_{1:i-1}) $ 具有高模型似然的序列。请注意，这不一定与倾向于所有具有高联合似然 $ p_{\text{model}}(x) $ 的高似然序列相同；这是低温度下选择性采样的目标。我们假设自回归解码算法正在引入超出高联合似然的额外结构。

为了测试这一假设，我们构建了一个人类评分实验，将解码算法的随机样本与模型分布 $ p_{\text{model}} $ 的另一随机样本配对，使得两个样本具有相同的联合句子似然。通过这种方式，我们能够控制不同解码器引起的 $ p_{\text{model}} $ 分布的差异，并明确测试各种解码算法如何促进具有相同整体联合似然的不同序列。我们从所有48个提示条件的三种常用解码配置中抽取样本，并通过让群众工作者评分来比较每个样本与随机采样的对比，以确定哪对响应的质量更高。

在图6中，我们可以看到，温度采样 $ t = 0.7 $ 无疑比直接从 $ p_{\text{model}} $ 抽取的等效样本更受青睐，尽管对于其他解码配置，差异目前尚不清楚。选择性采样，一种从 $ p_{\text{model}}$ 抽取提议的方法，并不共享其自回归局部归一化解码对应物的先验。因此，我们可以得出结论，解码算法的成功涉及的不仅仅是促进高联合似然；在这种情况下，选择性采样是不足的。

图6 成对样本等对数似然度的人类判断分数。95%自举置信区间。虚线代表随机判断。对于所有解码策略，可以看出多样性的减少往往会导致被判断为更高质量的输出。

其次，我们考虑固定提示条件下样本对数似然的分布，如图7所示。根据提示的不同，对数似然的分布也会有所不同。在选择性采样中，我们选择了一个单一的全局最大似然常数 $ \alpha $。对于某些提示，这几乎没有影响——几乎所有样本的似然度都低于截止值。对于其他提示，这可能消除了近一半的样本，只剩下质量较低的样本。这表明，对于所有提示使用固定的截止 $ \alpha $ 可能不是理想的。

图7 五个不同提示条件下样本对数似然度的分布。虚线表示实验中使用的截止值 $ \alpha $。

基于先前的实验，我们发现解码算法及其超参数的选择对样本质量和多样性有显著影响。此外，我们发现样本质量和多样性可以相互交换，而且解码算法的优点需要在同等多样性水平上与其他算法进行比较。我们还提供了证据表明，自回归解码算法引入了超出促进高联合似然样本的额外偏好；这是一种有益的偏好，选择性采样并不共享。

https://arxiv.org/pdf/2004.10450

kuaishou在《PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information》中提出了PEPNet：

1.抽要

随着在线服务（电商/在线视频）的内容页面和展示样式的增加，工业级推荐系统经常面临着multi-domain和multi-task的推荐挑战。multi-task和multi-domain推荐的核心是，在给定不同的用户行为时，能精准捕获在不同domains中的用户兴趣。在本paper中，我们在multi-domain环境下的multi-task推荐上提出了一种即插即用（plug-and-play）的 Parameter and Embedding Personalized Network (PEPNet) **。PEPNet会将具有强bias的features作为input，并动态地对模型中的bottom-layer embeddings和top-layer DNN hidden units通过一个gate机制进行缩放（scale）**。通过将个性化先验（personalized priors）映射，将weights归一化范围(0, 2)，PEPNet会同时引入参数个性化和embedding个性化。PPNet（Parameter Personalized Network ）会影响DNN参数，来对多个任务上的相互依赖目标进行权衡。我们会做出一系列特征的工程优化，将Kuaishou训练框架与在线部署环境相结合。我们已经成功在Kuaishou apps上进行部署，服务了3亿的日活用户。

1.介绍

略

2.方法

该部分会介绍详细设计，用来缓解“双跷跷板（double seesaw）”问题。我们会详述问题公式、以及PEPNet的网络结构。

2.1 问题公式

这里我们定义了我们研究的概念和问题settings。该模型会使用sparse/dense inputs，比如：用户历史行为、用户profile features、item features、context features等。预估目标\(\hat{y}_i\)是user u在domain d的第i个task上对item p的偏好，它的计算如下：

\[\hat{y}_i = f(\lbrace E(u_1), \cdots, E(u_t) \bigoplus E(p_1), \cdots, E(p_j) \bigoplus E(c_1), \cdots, E(c_k) \rbrace_d)\]

…(1)

其中：

• \(u_1, \cdots, u_t\)：表示user-side features，它包含了：用户的历史行为、user profile和user ID等。
• \(p_1, \cdots, p_j\)：表示target item features，它包含了：item ID(iid)、author ID(aid)等
• \(c_i, \cdots, c_k\)：表示其它features，它会包含context feature和combine feature
• \(\lbrace \rbrace_d\)表示来自domain d的样本
• \(E(*)\)：表示sparse/dense features，会通过在分桶算法之后的embedding layer被映射到可学习embedding中，
• \(\bigoplus\)：表示 concatenation

对于一个真实应用，item candidate pool和用户part会在多个场景共享。由于不同的消费目标，用户在不同场景对于相同item会改变他们的行为趋势。为了更好捕获对于不同行为的用户偏好，并增强在多个场景的联系，推荐系统需要同时为多个domains D做出多任务预估。注意，模型输入是\(\lbrace x, y_i, D \rbrace\)，

其中：

• x：是上述提到的feature
• \(y_i\)：是每个任务的label

• \(d \in D\)：是domain indicator，它表示样本收集来自哪个domain

• Input：表示sparse/dense inputs，比如：用户历史行为、用户profile features、item features和其它context features
• Output：一个推荐模型，它会估计用户在多个domains上的多个目标，例如：点赞（like）、关注（follow）、转发（forward）等

2.2 网络结构

图3展示了PEPNet的网络结构。该模型由三个部分组成，我们一一解释。

• GateNU（Gate Neural Unit）：Gate NU是EPNet和PPNet的基本单元，它是一个基于先验信息生成的门控结构。
• EPNet（Embedding个性化网络：Embedding Personalized Network）：EPNet会采用domain信息作为input，并使用Gate NU来进行domain-specific个性化，增强模型的bottom layer的能力来表示跨域的features。
• PPNet（参数个性化网络：Parameter Personalized Network）。 PPNet使用用户信息和item信息来生成gates，并调整在不同task towers上每个layer的参数，并对模型的top layer上相互依赖目标进行权衡。

图3 PEPNet包含了Gate NU, EPNet, PPNet。Gate NU是基础单元，它会使用先验信息来生成门控和增强的合法信号。EPNet会在Embedding layer上增加模型的domain-awareness，并将PPNet进行stacking到每个任务的DNN tower上来增强task personalization. 在多个domains上会估计相同集合的multi-targets。PEPNet可以被插入到任意网络中。颜色如上所示。

2.2.1 Gate Neural Unit(Gate NU)

受LHUC算法的启发，其关键思想是：为每个speaker学习一个特定的hidden unit贡献，PEPNet会引入一个门控机制，称为“Gate Neural Unit”，它对于不同用户来说，网络参数是个性化的。 Gate Neural Unit（简称为Gate NU），包含了两个nueral network layers。

• \(x^{(0)}\)：表示Gate NU的input
• \(W^{(0)}\)：表示第一层network layer的weight
• \(b^{(0)}\)：表示第一层network layer的bias

Relu被选择作为第一层该函数的activation function。第一层公式如下：

\[x_1 = Relu(x^{(0)} W^{(0)} + b^{(0)})\]

…(2)

接着， Gate NU会使用Sigmoid function来生成gate，它会将output限制为[0, 1]。

• \(\gamma\)是参超数，设置为2
• \(W^{(1)}\)和\(b^{(1)}\)是第二个layer的weight和bias

第二层的公式化如下：

\[x_2 = \gamma * Sigmoid(x^{(1)} W^{(1)} + b^{(1)}), x_2 \in [0, \gamma]\]

…(3)

根据等式1和等式2，Gate NU会使用先验信息\(x^{(0)}\)来生成gating vector，并使用超参数\(\gamma\)来进一步放大有效信号。接着，我们会详述如何使用该gating机制来组合EPNet和PPNet。

2.2.2 Embedding Personalized Network（EPNet）

出于计算和内存开销考虑，EPNet模型会共享相同的embedding layer，其中：

\[E(*) = E(SF) \oplus E(DF)\]

…(4)

• SF是sparse features，DF是dense features。
• \(E(*)\)是共享底层结构，它实际上会有许多缺点，关注共享却忽略了多个domains的不同

对于共享的EPNet，我们会使用domain-side features \(E(df) \in R^k\)作为input，比如：domain ID和统计特征。

对于在第i个domain的特定数据样本，我们将其余feature表示为\(E(*) \in R^d\)，其中：

• d是input维度
• \(V_{ep}\)是embedding layer的Gate NU

EPNet的输出\(\sigma_{domain} \in R^d\)给定如下：

\[\sigma_{domain} = V_{ep}(E(df))\]

…(5)

我们使用一个额外的Gate NU network来将embedding进行变换，并将多个domains的分布进行对齐（align），无需变更原始的embedding layers。转换后的embedding（transformed embedding）如下：

\[O_{ep} = \sigma_{domain} \otimes E(*)\]

…(6)

其中：

• \(O_{ep} \in R^d\): 输出
• \(\otimes\): 是element-wise乘法

2.2.3 Parameter Personalized Network(PPNet)

为了增强关于task-specific个性化的信息，我们使用user/item/author-side feature(uf/if/af)作为PPNet的输入，比如：user ID, item ID, author ID，以及side information features，比如：user age/gender, item tag/topic/popularity等。特别的，详细的PPNet结构如下：

\[O_{prior} = E(uf) \oplus E(if) \oplus E(af) \\ \sigma_{task} = V_{pp} (O_{prior} \oplus (\oslash(O_{ep})))\]

…(7)

其中:

• \[E(uf) \in R^u, E(if) \in R^i, E(af) \in R^a\]

PPNet会将EPNet的output拼接在一起，features \(O_{prior}\)具有很强的个性化先验，它会给出模型关于先验信息的更多感知。关于个性化的先验信息可以通过一个来自user ID、item ID以及author ID的扩展来获得，其中：author表示kuaishou短视频的创作者。为了不影响在EPNet中已经更新的embedding，我们会在EPNet的output上执行stop gradient \(\oslash\)操作。在传统模型中，所有hidden units会被相等对待，并传给下一layer中。我们使用element-wise乘法来选择和放大合法信号，如下：

\[O_{pp} = \sigma_{task} \otimes H\]

…(8)

其中：

• H是在task towers上每个DNN layer上的hidden unit。

在多任务学习中的参数共享可以极大减小DNN参数的size，但在多个共享targets间的一些信息会丢失，导致不均衡的效果。例如，预估Follow和Like的任务会共享DNN参数，但Follow任务具有更少的正样本。前两者的梯度会累计，Follow的一些信号会被Like所覆盖。因此对于每个任务，我们会在将PPNet \(O_{pp}^l\)插入到每个DNN task tower的第l个layer中，来增强任务个性化的先验信息，如下所示：

\[O_{pp}^{(l)} = \sigma_{task}^{(l)} \otimes H^{(l)} \\ O_{pp}^{(l+1)} = f(O_{pp}^{(l)} W^{(l)} + b^{(l)}), l \in \lbrace 1, \cdots, n \rbrace\]

…(9)

其中：

• n是每个task tower的DNN layers的数目
• f是activation function。

对于第n-1个layers，activation function f会使用Relu。最后一个layer是Sigmoid，它没有放大系数\(\gamma\)，这与Gate NU不同。在获得last layer上的多个domains上的多个targets的预估得分后，会使用binary cross-entropy进行最优化。

2.3 工程优化策略

为了部署PEPNet，我们做出以下的工程优化策略：

• Feature score消除策略：由于每个ID映射到一个embedding vector，可以快速填满服务的内存资源。为了确保系统进行长时间执行，我们设计了一个特殊参数服务器，来达到一个无冲突（conflict-free）、高效内存的全局共享embedding表（memory-efficient Global Shared Embedding Table） (GSET）。GSET使用feature score elimination策略来控制内存footprint，使得总是在一个预设的阈值之下。然而，传统的cache elimination策略使用LFU和LRU，只考虑了条目的频率信息，主要用于最大化cache命中率。

• DNN/Embedding layer Updating: 由于系统采用在线学习，它在训练时会长时间累积数据。我们将训练数据的最小单元称为一个pass，每个pass会更新online inference模型。由于存在大量users、authors以及items，这会导致user ID、item ID、author ID的features的快速膨胀。平台的一些ID features会超期或变得很冷门，因此将所有ID features进行存储是不高效的。它会盲目增大系统的冗余，带来额外的存储和计算开销。我们会增加两个特征选择策略（feature eviction）。一个是指定一个feature的特定数目，当超过时会抛弃。另一个是设置ID featrues的过期时间，保证ID features可以频繁更新，并删除那些没有达到所需更新数的ids。相似的，当模型被更新时，我们会检查相应的embedding，只更新变化的embedding。

• Training策略：由于在kuaishou的短视频场景的商业特性，ID features会快速变化。实际上，我们会发现：embedding的更新会比DNN模型参数更频繁。在线学习场景中，为了更好捕获在bottom-layer embeddings的变化，并稳定更新top-layer DNN参数，我们会分别更新embedding part和DNN参数部分，并使用不同的update策略。在bottom-layer embedding中，我们会使用AdaGrad optimizer，学习率会设置为0.05。而DNN参数会通过Adam optimizer进行更新，学习率为：5.0e-06.

3.离线实验

略

• 1.https://arxiv.org/pdf/2302.01115.pdf

wechat在《Reweighting Clicks with Dwell Time in Recommendation》中提出了一种基于停留时长加权的建模：

2.模型设计与分析

图1

2.1 Dwell Time Modeling

用户真正需要什么样的推荐？最近研究表明：对于CTR，停留时长（dweill time）更会影响用户的真实满意度。然而，直接对原始的dwell time进行最优化会导致模型过度增强具有long total duration的items，使得重度用户和long items会主宰模型训练。

我们相信：用户使用推荐系统的中心诉求是获得信息。因此，我们会返回：在dwell time、信息增益、用户偏好间的关系本质，并做出以下猜想：

• (A1) 对于不同的items和users交互，具有相同dwell time，则正信号是相当的。因为他们通常表示会具有相同的time cost，对每个人公平
• (A2) 用户需要一个最小的dwell time，以便从items获得信息。太短的dwell time表示着非常少的收益
• (A3) 当前dwell time足够长时，信息增益（information gain）会逐渐随着dwell time的增加而递减。

基于这些，我们在click reweighting中使用一个normalized dwell time function作为一个更好的监督信号来定义有效阅读（valid read）.

2.2 有效阅读选择（valid read selection）

有效阅读是高质量点击行为，可以更好反映用户的真实偏好，它可以通过dwell time来天然选择。对于dwell time的一个更深理解，我们会绘制点击数随不同log dwell time的趋势。图2左可以看到：

• 1) 总体上，我们可以假设：log dwell time具有一个近似高斯分布，例如： \(lnT=\mu + \sigma \epsilon\)，其中：T是一个random dwell time，\(\epsilon \sim N(0,1)\)。
• 2) 我们会将\([\mu-\sigma, \mu + \sigma]\)看成是主要的dwell time区间
• 3) 接近19%的点击行为要短于15s dwell time，并且接近15%的点击行为要长于200s dwell time

根据上述假设A2和A3，具有过短和过长的dwell time的点击行为在click reweighting上会被降级。

图2 log dwell time在我们系统中的趋势（左）以及normalized dwell time的趋势（右）

简单做法是：直接设置一个共享的dwell time阈值来收集有效阅读。然而，简单依赖阈值来定义有效阅读，会不可避免地忽略掉关于轻度用户与short items的大量行为信息。因此，我们定义了三种类型的user-item clicks作为我们的合法阅读行为：

• T1: dwell time要比长于\(x_l\)秒
• T2: 该用户在最近一周近至少点击7个items
• T3: dwell time会长于该item的历史dwell time记录的10%（例如：长于分位数P10）

(1) 第一种类型：根据common-sense阈值\(x_l\)构建了有效阅读的基础规则。我们将\(lnT\)的\(x_l = exp(\mu - \sigma)\)看成是有效阅读的共享dwell time阈值，它可以适配于不同的推荐系统。在我们的系统中，\(exp(\mu - \sigma)\)接近15s。19%的点击行为会被T1过滤掉。出于简单性，对于所有的users和items，我们根据time costs的绝对值直接采用一个共享的DT阈值，对于不同的user或item groups设置定制的dwell time阈值也很方便。

（2）第二种类型：会在轻度用户上打个补丁，将所有轻度用户的点击行为看成是在训练中的监督信号，因为他们的行为很稀少。我们希望避免长尾轻度用户（偏向于扫描浏览而非深度阅读）的重要信息丢失。

(3) 第三种类型：会在一个指定item上考虑相对dwell time，在相同item上所有历史点击间，取回的click具有一个相对符合条件的dwell time（top 90%）。通过该方法，我们的有效阅读会考虑上具有天然短长度、少dwell time的items（例如：news或short videos）. 为了避免噪声，我们进一步将清除所有具有5s dwell time的点击，以确保有效阅读的最低能力。在我们的实践中，T1、T2、T3类型分别具有89.9%、2.9%、7.2%的总有效阅读。只有有效阅读会被用于训练中的监督信号。

2.3 归一化dwell time函数

有效阅读选择会作为一个pre-filter使用。然而，我们仍然面临着在click reweighting中如何精准定义不同dwell time值的挑战。直觉上，相同的dwell time提升，当current dwell time更短时对于一个click的quality会具有更大的贡献（例如：[1s -> 15s]要比[601s->615s]更大）。太长的dwell time会带来疲乏，对用户体验有害。因而，大量工作采用log dwell time的MSE作为训练loss作为dwell time的预估【2，16，27】。

不同于常规模型，我们会将有效阅读定义成高质量的supervised label，并且希望提升有效阅读的数目的比例。因此，我们的dwell time function会拥有以下两种特性C1和C2，分别对应于以上的A2和A3:

• C1: 设计好的dwell time function曲线在early stage应该很陡，此时具有大梯度（特别是接近有效阅读阈值 \(exp(\mu - \sigma)\)的地方），这会指导模型很好区分有效阅读 vs. 无效点击
• C2: dwell time funciton曲线在dwell time过长时会比较平，避免过长的items得到太多rewards，导致伤害轻度用户对短items的交叉。

根据以下规则，我们基于原始的dwell time T，使用一个sigmoid function，设计了normalized dwell time \(T_N\)：

\[T_N = \frac{A}{1 + exp(- \frac{T-offset}{\tau})} - B\]

…(1)

图2（右）展示了\(T_N\)的趋势。对比起log dwell time，\(T_N\)会使用设置好的rates单调增加，其中：offset和\(\tau\)本质上是满足C1和C2的参数。

• offset：决定了具有最大梯度的dwell time point。对于C1，我们会设置：\(offset = exp(\mu - \sigma)\)来使得normalized dwell time在有效阅读/无效阅读边界上具有最大的梯度，它会基于supervised training与有效阅读很好的一起协作。
• \(\tau\)：定义了dwell time曲线的sharpness。对于C2，我们定义了一个upper阈值 \(x_h\)作为\(exp(\mu + \sigma)\)，假设：比\(x_h\)更大的dwell time T对\(T_N\)没啥贡献（例如：\(T_N\)提升\(x_h \rightarrow T\)要小于最小精度，例如：在系统中为1e-5）。\(\tau\)被设置成满合\(x_h\)的上述假设。
• A和B：是超参数，可以将\(T_N\)归一化成\([0, T_{max}]\)，其中：\(T_{max}\)是当前在线dwell time模型的最大dwell time值。我们将normalized dwell time范围保持不变，减少可能的不匹配问题。

最终，基于上述讨论，我们设置：\(offset=15, \tau = 20, A = 2.319, B = 0.744\)来满足C1和C2 。 我们也对这些参数做了grid search，发现当前setting可以达到最好的在线效果。

2.4 Click Reweighting

有效阅读和normalized dwell time被设置成过滤噪声，选出符合点击的分位数，以便更好的进行学习。在click reweighting中，我们采用一个multi-task learning框架来进行有效阅读预估（valid read prediction）以及加权有效阅读预估（weighted valid read prediction）。特别的，我们会进行一个共享bottom来跨任务共享原始的user/item features。

对于valid read tower，我们会采用一个3- layer MLP，它会采用原始user/item features \(f_u, f_{d_i}\)作为inputs，并输出用户u在item \(d_i\)上的预估点击概率\(P_{u, d_i}\)。接着，有效阅读loss \(L_v\)定义如下：

\[L_v = - \sum\limits_{(u,d_i) \in S_p} log P_{u,d_i} + \sum\limits_{(u,d_j) \in S_n} log (1 - P_{u,d_j})\]

…(2)

其中：

• \(S_p\)和\(S_n\)表示正样本集（有效阅读）和负样本集（无效点击和未点击）。

相似的对于weighted valid read tower，我们直接使用normalized dwell time \(T_N^{u, d_i}\)作为每个\((u, d_i)\)的weight。另一个3-layer MLP会被用来输出预估点击概率\(P_{u,d_i}'\)。加权有效阅读tower接着会在loss \(L_w\)下被训练：

\[L_w = \sum\limits_{(u,d_j) \in S_n} T_N^{(u,d_j)} log(1 - P_{u,d_j}') - \sum\limits_{(u,d_i) \in S_p} T_N^{(u,d_i)} log P_{u,d_i}'\]

…(3)

\(L_v\)和\(L_w\)是线性组合成最终loss：\(L = L_v + L_w\)。在线部署中，两个towers的求和的预估得分会被用于在线排序。终合考虑original和DT weighted有效阅读预估任务是有益的。再者，我们进一步探索了MTL框架（MMoE和PLE），在线提升并不大。可能是因为dwell time与点击高度相关。出于简单，我们直接使用MLP作为shard bottom。

• 1.https://arxiv.53yu.com/pdf/2209.09000.pdf

Clara Meister等在《Determinantal Beam Search》中提出了Determinantal Beam Search：

2.Neural Sequence Models

神经网络序列模型（Neural sequence models）是：给定一个input x，在一个output space Y上的序列y的概率分布\(p(y \mid x)\)。这里我们将Y定义成来自词汇表中的所有合法句子序列，以BOS开头，以EOS结尾。通常，序列长度由值\(n_{max} \in Z_+\)给定，它会依赖于x。在本文，我们会考虑局部归一化模型（locally normalized models），例如：给定之前已生成的tokens序列 \(y_{<t}\) ，这里的p表示：是一个在\(\bar{V} = V \cup \lbrace EOS \rbrace\)的概率分布。完整序列\(y = <y_1, y_2, \cdots>\)的概率接着通过概率的chain rule进行计算：

\[p(y | x) = \prod\limits_{t=1}^{|y|} p(y_t | y_{<t}, x)\]

…(1)

其中，\(y_{<1}= y_0 = BOS\)。

我们的模型p通常通过一个具有weights \(\theta\)的neural network进行参数化。由于我们不关注底层模型本身，我们忽略掉p在参数\(\theta\)的依赖。

我们将decoding problem定义为：在空间Y上的所有序列间，根据模型\(y(y \mid x)\)搜索具有最高scoring的y，它也被称为最大后验概率估计（maximum-a-posteriori（MAP）inference）：

\[y^{*} = \underset{y \in Y}{argmax} \ log p(y | x)\]

…(2)

其中：惯例上，会使用p的log变换。

我们进一步将set decoding problem定义为：对于一个指定的基数k，在所有合法的subsets \(\lbrace Y' \subseteq Y \mid \mid Y'\mid=k \rbrace\)上，搜索一个具有最高分的set \(Y^*\)，定义为：

\[p(Y | x) = \prod\limits_{y \in Y} p(y | x)\]

…(3)

类似于等式(2)，set-decoding问题接着被定义为：

\[Y^* = \underset{Y' \subseteq Y, |Y'|=k}{argmax} \ log p(Y' | x)\]

…(4)

然而，由于需要注意的是，等式（2）和（4）有许多问题：

• 首先，因为Y是一个指数大的空间，并且p通常是非马尔可夫（non-Markovian）性的，我们不能进行有效搜索，更不用说\(Y^k\)。
• 第二，特别是对于语言生成任务，这些可能不是有用的目标

目标降级

需要重点注意的是：在 neural sequence models下具有最高概率解，并不总是高质量的（high-quality）；特别是涉及到语言生成的任务，比如：机器翻译等。相应的，启发式搜索方法或者一些替代目标通常会被用于decoding language generators.

2.1 Beam Search

用于逼近等式(2)的decoding problem的一种常见启发法是：在每一timestep t上，以最大化 \(p(y_t \mid y_{<t}, x)\)的方法，顺序选择token \(y_t\)，直到EOS token被生成，或者达到最大序列长度\(n_{max}\)。该过程被称为greedy search。Beam search是一种经常使用（oft-employed）的greedy search的生成方法，它会返回k个candidates，并探索更多search space。在本工作中，我们关注于迭代式子集选择(iterative subset selection)的beam search，它有一个很简洁的算法公式。给定一个初始集合\(Y_0\)，它只包含了BOS token，对于\(t \in \lbrace 1,\cdots,n_{max} \rbrace\)，我们会根据以下递归来选择子序列\(Y_t\)：

图1

其中，我们会限制，只扩展在beam set中的candidates，它被定义为：

\[B_t = \lbrace y_{<t} \circ y | y_{<t} \in Y_{t-1} \ and \ y \in \bar{V} \rbrace\]

…(6)

其中：

• \(\circ\)会被用于表示string concatenations。

注意：在\(Y_{t-1}\)中的candidates已经以EOS结尾，会直接添加到\(B_t\)上，例如：\(EOS \circ EOS = EOS\)。在该定义下，我们有基数k的constraint：\(\mid B_t \mid \leq \mid \bar{V} \mid \cdot k\).

2.2 Determinanta新公式

对于公式（5），我们接着引入另一种的等价概念，它使用matrics和determinants，它会阐明beam search的直接泛化（generation）。我们定义了一种timestep-dependent diagonal matrix \(D \in R^{\mid B_t \mid \times \mid B_t \mid}\)，其中：我们会采用diagonal entry:

\[D_{ii} \overset{=}{def} p(Y_{\leq t}^{(i)} | x)\]

…(7)

这里：

• \(y_{\leq t}^{(i)}\)：表示在\(B_t\)中的第i个candidate，它根据一个unique mapping：对于每个element \(y_{\leq t} \in B_t\)会唯一映射到一个介于1和\(\mid B_t \mid\)间的integer

接着，我们会使用概念\(D_{Y_t}\)：它表示只包含了对应于\(Y_t\)的elements的相应行和列的submatrix，其中：\(Y_t \subseteq B_t\)我们将等式(5)重写成：

图2

这里的等式遵循对角阵行列式的定义。正式的，等式（8）被称为“子行列式最大化问题（subdeterminant maximization problem）”，该问题是发现这样一个行列式：它能最大化一个矩阵子集。而等式(8)引入的概念可能是人为的，它允许我们执行后续泛化。

3. Determinantal Beam Search

现在，我们会问该工作的基础问题：如果我们使用一个non-diagonal matrix来替换 diagonal matrix D，会发生什么？这种替换会允许我们对在beam中的elements间的interactions做出解释。正式的，我们会考虑一个时间独立半正定矩阵（ timestep-dependent positive semi-definite (PSD) matrix）：

\[D+w \cdot K\]

其中：

• K：对角矩阵（off-diagonal matrix），表示在candidates间interactions的strength。
• \(w \geq 0\)：非负权重，控制着在decoding过程中interactions的重要性

在本case中，beam search递归变为：

图3

很明显，当w=0时我们会恢复成图2的beam search。然而，我们现在会基于在candidate interactions之上来选择子集。也就是说，等式（9）现在具有一个作为“diversity objective function”解释，当K被合适选择时。由于log的存在，当矩阵\(D_Y + w \cdot K_Y\)是PSD时，等式(9)会被良好定义。

3.1 K的构建

构建K的最简单方法是：Gram matrix，其中：每个i, j element会通过一个kernel function: \(K: S \times S \rightarrow R\)来计算，它会将空间中的两个items映射到一个实数上。特别的，我们会定义：\(K_{ij}=K(s_i, s_j)\)，其中\(s_i, s_j \in S\)是S的第i和第j个elements。概念上有些混洧，我们会该该kernel function K overload，它会采用一个set S，以便\(K = K(S)\)是在S的elements之上由pairwise计算的kernel matrix。根据Mercer理论，矩阵K=K(S)必须是PSD的，因为矩阵\(D_Y + w \cdot K_Y\)对于任意\(Y \subseteq S\)是PSD的。

3.2 与DPP关系

等式(9)是一个DPP。特别的，它是一个在L-ensemble parameterization上的k-DPP，其中：我们有\(L = D + w \cdot K\)。k-DPP的解释，对于为什么等式（8）是一个diverse beam search，给出了一个非常清晰的理解。对角的entries会编码quality，它会告诉我们：在beam上的每个candidate是多么“好”，而非对角entries（off-diagonal entries）则编码了两个elements有多么相似。

3.3 计算log-determinants

不幸的是，等式（9）中的argmax计算是一个NP-hard问题。然而，由于子行列式最大化问题（ subdeterminant maximization problem）具有许多应用，业界研究了许多高效算法来近似计算DPP中的log-determinants。Han et.2017使用一个关于log-determinant function的一阶近似。Chen et.2018使用一个贪婪迭代法；通过增量式更新matrix kernel的Cholesky factorization，该算法可以将infernence time减小到\(O(k^2 \mid S \mid)\)，并返回来自set S中的k个candidates。伪代码可以在Chen et.2018中找到，log-space算法的伪代码，可以在App.A中找到。

3.4 运行时(runtime)分析

我们会考虑：在给定任意时间，在等式（9）的递归上选择k个candidates的运行时。在每个timestep上，我们会首先构建一个matrix K。该计算高度依赖于被建模的interactions的集合；这样，当我们使用beam size为k时，\(O(c(k))\)是对于K计算的一个runtime上限。一旦我们构建矩阵\(D + w\cdot K\)，我们必须接着选择k个items。在任意timestep上的hypotheses集合至多是\(k \mid \bar{V} \mid\)。如3.3中讨论，我们假设采用近似算法，以最大化等式（9）的方式精准发现size-k的子集具有指数的runtime。使用Chen et.2018的方法，近似MAP inference会具有\(k^3\mid \bar{V} \mid\)的时间，从一个size为\(k \mid \bar{V} \mid\)的集合返回k个items。这样，在该条件下，determinantal beam search的每轮迭代的runtime会是：\(O(c(k) + k^3 \mid \bar{V} \mid)\)。注意， standard beam search在每轮迭代会运行\(O(k \mid \bar{V} \mid log(k \mid \bar{V} \mid))\)。由于k通常很小（\(leq 20\)），c(k)的影响可以合理做出，在runtime上的实际增加通常是适中的。

4.Case Study: Diverse Beam Search

略略

• 1.https://arxiv.org/pdf/2106.07400.pdf

华为在《Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation》中提出了Non-invasive Self-attention的方法：

抽要

Sequential recommender systems的目标是：根据用户历史行为建模用户的兴趣演进。对比起传统的模型，DNN等已经达到了较高的水准。最近BERT框架的出现，受益于它的self-attention机制，在处理序列数据上非常合适。然而，original BERT框架只考虑单一输入源：在自然语言中的tokens。在BERT框架下如何利用众多不同类型的information仍是一个开放的问题。尽管如此，它看起来可以直接利用其它的side information，比如：item category或者tag，来进行更综合的描述与更好的推荐。在我们的实验中，我们发现naive方法（直接将不同side information的types进行融合到item embeddings中）通常会带来非常少或负向的效果。因此，提出了NOninVasive self-Attention机制 (NOVA) 来在BERT框架下有效利用side information。NOVA会利用side informaiton来生成更好的attention分布，而非直接更改item embeddings，它会造成信息压倒性（information overwhelming）。我们验证了NOVA-BERT模型，并能达成SOTA效果，计算开销很小。

。。。

3.方法

图1 invasive和non-invasive方法的一个图示。invasive方法会以不可逆的方式来融合所有类型的信息，接着将它们feed到sequential models上。而对于non-invasive方法，side information只会参与attention matrix计算，item information会保存在一个独立的vector space中

3.1 问题设定

**给定一个用户与系统的历史交互，顺序推荐（sequential recommendation）任务会询问：下一个要交互哪个item？ **

假设：u表示一个用户，它的历史交互可以被表示成一个按时间顺序的序列：

\[S_u = [v_u^{(1)}, v_u^{(2)}, \cdots, v_u^{(n)}]\]

其中：

• \(v_u^{(j)}\)：表示用户u做出的第j个交互行为

当只有一种类型的actions、并且没有side information时，每个interaction可以被简单表示成一个item ID：

\[v_u^{(j)} = ID^{(k)}\]

其中：

• \(ID^{(k)} \in I\)，表示第k个item ID。

\[I = \lbrace ID^{(1)}, ID^{(2)}, \cdots, ID^{(m)} \rbrace\]

其中：

• I是所有items的vocabulary。
• m是vocabulary size，表示在问题domain中的item总数

给定一个user \(S_u\)的历史，系统会预估用户最可能交互的下一个item：

\[I_{pred} = ID^{(\hat{k})} \\ \hat{k} =\underset{k}{argmax} \ \ P(v_u^{(n+1)} = ID^{(k)} | S_u)\]

3.2 Side Information

Side information可以是任意提供额外有用信息的东西，它可以被分类成两种类型：item-related或behavior-related。

• Item-related side information：是固有的，可以描述item本身，除了item IDs（例如：价格、生产日期、生产商）。
• Behavior-related side information：是由一个user初始化的一个interaction，例如：action的类型（购买、评分） 、发生时间、用户反馈打分。

每个交互的顺序（例如：原始BERT中的position IDs）可以被看成是一种behavior-related side information。

如果side information引入进来，那么一个interaction就是：

\[v_u^{(j)} = (I^{(k)}, b_{u,j}^{(1)}, \cdots, b_{u,j}^{(q)}) \\ I^{(k)} = (ID^{(k)}, f_k^{(1)}, \cdots, f_k^{(p)})\]

其中：

• \(b_{u,j}^{(\cdot)}\)：表示一个由user u做出的第j个interaction的behavior-related side information。共有q个该类型的side information
• \(I^{(\cdot)}\)：表示一个item，包含了一个ID和一些item-related side information \(f_k^{(\cdot)}\)。共有p个该类型的side information

Item-related side information是静态的，并存储了每个特定item的内在features。因而，vocabulary可以被重写成：

\[I = \lbrace I^{(1)}, I^{(2)}, \cdots, I^{(m)} \rbrace\]

该目标仍是预估下一个item的ID：

\[I_{pred} = ID^{(\hat{k})} \\ \hat{k} = \underset{k}{argmax} P(v_u^{(n+1)} = (I^{(k)}, b_1, b_2, \cdots, b_q) | S_u)\]

其中：

• \(b_1, b_2, \cdots, b_q\)：是latent behavior-related side information，如果behavior-related side information被考虑的话。注意：该模型仍能预估下一个item，而非 behavior-related side information被假设或忽略。

3.3 BERT和Invasive Self-attention

图2 BERT4Rec。Item IDs和positions会被分别编码成vectors，接着添加在一起作为integrated item representations. 在训练期间，item IDs会被随机mask掉（表示成[M]），以便让模型来进行恢复

BERT4Rec(Sun. 2019)是首个利用BERT框架进行sequential推荐并达到SOTA效果的任务。如图2所示，在BERT框架中，items被表示成vectors（embeddings）。在训练期间，一些items会被随机mask，BERT模型会使用multi-head self-attention机制来尝试恢复它们的vector表示以及item IDs：

\[SA(Q,K,V) = \sigma(\frac{QK^T}{\sqrt{d_{k}}}) V\]

其中：

• \(\sigma\)是softmax function
• \(d_k\)是一个scale factor
• Q, K, V分别表示query、key、value的组件

BERT会遵循一个encoder-decoder的设计，来为在input序列中的每个item生成一个contextual representation。BERT会采用一个embedding layer来保存m个vectors，每个对应于在vocabulary中的一个item。

为了利用side information，像conventional方法会使用独立的embedding layers来将side information编码到vectors中，接着使用一个fusion function F将它们融合到ID embeddings中。这种invasive类型的方法会将side information注入到原始embeddings中，来生成一个mixed representation：

\[E_{u,j} = F(\epsilon_{id}(ID), \\ \epsilon_{f1}(f^{(1)}), \cdots, \epsilon_{f_p}(f^{(p)}), \\ \epsilon_{b_1}(b_{u,j}^{(1)}), \cdots, \epsilon_{b_q}(b_{u,j}^{(q)}))\]

其中：

• \(E_{u,j}\)：是user u对第j个interaction的integrated embedding
• \(\epsilon\)：是将objects编码成vectors的embedding layer

该integrated embeddings的序列会被feed到模型中作为user history的input。

BERT框架会通过使用self-attention机制的layer来更新representations layer：

\[R_{i+1} = BERT\_Layer(R_i) \\ R_1 = (E_{u,1}, E_{u,2}, \cdots, E_{u,n})\]

在原始BERT和Transformer中，self-attention操作是一个位置不变函数（positional invariant funciton）。因此，一个position embedding会被添加到每个item embedding中来显式编码position信息。position embeddings也可以被看成是一种behavior-related side information（例如：一个interaction的顺序）。从该视角看，original BERT也可以将positional information看成是唯一的side information，使用加法作为fusion function F。

3.4 Non-invasive Self-attention (NOVA)

如果我们考虑end-to-end的BERT框架，它是一个具有stacked self-attention layers的auto-encoder。该identical embedding map会被用于encoding item IDs和decoding restored vector representations两者之上。因此，我们会讨论：invasive方法存在着对embedding空间混合的缺点，因为item IDs会使用其它side information进行不可逆的混合。将来自IDs的信息与其它side information进行混合，使得对于模型编码item IDs来说带来不必要的困难。

相应的，我们提出了一种新的方法：称为noninvasive self-attention (NOVA)，来维持embedding space的一致性，从而利用side information建模sequences会更有效。该思想会修改self-attention机制，并仔细控制着self-attention组件(称为：query Q、key K、value V)的信息源。

图3 invasive和non-invasive self-attention方式下的特征融合（feature fusion）。invasive方式会将item related和behavior-related side information使用一个fusion funciton进行直接融合；而NOVA只会在Query&Key中对它们进行融合

在在3.3节中定义的integrated embedding E之外，NOVA也会为pure ID embeddings保留一个分枝：

\[E_{u,j}^{(ID)} = \epsilon_{id}(ID)\]

因而，对于NOVA，用户历史会包含两个representations集合，pure ID embeddings和integrated embeddings：

\[R_u^{(ID)} = (E_{u,1}^{(ID)}, E_{u,2}^{(ID)}, \cdots, E_{u,n}^{(ID)}) \\ R_u = (E_{u,1}, E_{u,2}, \cdots, E_{u,n})\]

NOVA会计算来自 integrated embeddings R的Q、K，以及来自item ID embeddings \(E^{(ID)}\)的V。在实际中，我们会以tensor形式处理整个序列（例如：R和\(R^{(ID)} \in R^{B \times L \times h}\)，其中B是batch size，L是sequence length，h是embedding vectors的size）。NOVA可以公式化为：

\[NOVA(R,R^{(ID)}) = \sigma(\frac{QK^T}{\sqrt d_k}) V\]

接着，Q,K,V可以通过线变变换进行计算：

\[Q = RW_Q, K = RW_K, V=R^{(ID)} W_V\]

对于side information fusing，NOVA与invasive方式间的对比如图3所示。layer by layer，在NOVA layers上的prepresentations会被保存到一个一致的vector space中，它完全由item IDs的context构成，\(E^{(ID)}\)。

3.5 Fusion操作

NOVA会利用不同于invasive方法的side information，将它看成是一个auxiliary，并将side information进行fuse到具有fusion function F的Keys和Queries中。在本研究中，我们也研究了不同类型的fusion functions和它们的效果。

如上所示，position information也是一种behavior-related side information，并且original BERT会使用直接的addition操作来利用它：

\[F_{add}(f_1, \cdots, f_m) = \sum\limits_{i=1}^m f_i\]

再者，我们定义了concat fusor来将所有side information进行拼接，后接一个fully connected layer来对维度进行uniform：

\[F_{concat}(f_1, \cdots, f_m) = FC(f_1 \odot \cdots \odot f_m)\]

受(Lei 2019)的启发，我们设计了一个具有可训练参数的gating fusor：

\[F_{gating}(f_1, \cdots, f_m) = \sum\limits_{i=1}^m G^{(i)} f_i \\ G = \sigma(FW^F)\]

其中：

• F是所有features \([f_1, \cdots, f_m] \in R^{m \times h}\)的矩阵形式
• \(W^F\)是一个可训练参数\(R^{h \times 1}\)
• h是要融合的feature vectors的维度 \(f_i \in R^h\)

表1: 对比效果

3.6 NOVA-BERT

在图4所示，我们实现了我们的NOVA-BERT模型。每个NOVA layer会采用两个inputs，提供的side information以及item representations序列，接着输出相同shape的更新后的representations，它会被feed到下一layer中。对于第一层的input, item representations是纯item ID embeddings。因为我们只会用side information作为辅助来更好学习attention分布，side information不会沿着NOVA layers进行传播（propagate）。对于每个NOVA layer，side information的相同集合被显式提供。

NOVA-BERT会遵循original BERT的结构，除了将self-attention layers替换成NOVA layers。因而，额外的参数和计算开销会被忽略，它们主要由轻量级的fusion funciton引入。

我们相信，有了NOVA-BERT，hidden representations会保持在相同的embedding space中，它会让decoding处理一个同类型的vector search，这有利于prediction。

图4 NOVA-BERT。每个NOVA layer会采用两个inputs：item representations和side information

• 1.https://arxiv.org/pdf/2103.03578.pdf