meta在《Epinet for Content Cold Start》提出了一种内容冷启方法：Epinet。

摘要

在线内容及其用户基础的爆炸性增长，为现代推荐系统提出了日益严峻的匹配问题。与其他机器学习领域（如自然语言）不同，推荐系统负责收集自己的数据。仅仅利用当前知识可能导致有害的反馈循环，而盲目的探索可能会削弱用户体验，导致参与度降低。这种探索与利用之间的权衡在经典的多臂老虎机问题中得到了体现，其中算法如上置信界限（UCB）和汤普森采样（TS）展示了有效的性能。然而，在不表现出共轭先验结构的设置中，将这些方法扩展到大规模应用面临着许多挑战。最近通过epinets（[22]）进行不确定性量化的可扩展方法，使得即使学习模型是一个复杂的神经网络，也能有效地近似汤普森采样。在本文中，我们展示了epinets在在线推荐系统中的应用。我们的实验在Facebook Reels在线视频平台上展示了用户流量和参与效率的改进。

1 引言

随着在线内容的指数级增长，用户与内容匹配问题变得越来越具有挑战性。这描述了现代推荐系统的任务，幸运的是，这远非大海捞针的问题：用户过去的参与度往往预示着未来对某内容的参与度。此外，新内容通常仍然与过去的内容有相似之处。因此，智能算法设计应该使系统能够可靠地推荐每个用户个人发现吸引人的内容。

尽管自然语言等其他机器学习领域已经吸引了学者和行业实践者的注意，但推荐系统问题仍然是算法进步的一个强大前沿。与自然语言不同，推荐系统问题完全属于bandit学习或（更一般地）强化学习框架。bandit和强化学习问题与监督学习的不同之处在于，算法需要收集自己的数据。对于推荐系统来说，这意味着算法必须决定向每个用户推荐哪些内容，并且只会观察到它提出的用户/内容对的标签。虽然描述起来简单，但bandit问题展示了一个称为“探索与利用权衡”的深刻挑战。在任何时候，一个有效的算法都必须平衡通过利用已经收集的信息积累短期奖励的重要性，与探索未知以获取新信息的重要性。

尽管已知有算法可以最优地解决多臂bandit问题[9]，但在所有最简单的问题实例之外，这些解决方案在计算上是不切实际的。因此，过去十年见证了对有效算法的兴趣激增，这些算法在探索和利用之间展现出有效的权衡。即使是最简单的多臂bandit问题设置的理论分析也表明，如𝜖-greedy和Boltzmann探索这样的简单探索方法会导致𝑂(𝑇)的遗憾（regret），其中：𝑇是环境交互的次数。由于遗憾（regret）衡量的是算法行动的奖励与最优奖励之间的差异，线性遗憾（regret）意味着即使在无限环境交互的情况下，代理也无法识别出最优臂。与此同时，如汤普森采样（TS）和上置信界限（UCB）这样的方法可以实现$𝑂(\sqrt{𝑇})$的遗憾（regret），这意味着：这些算法通过重复的环境交互可靠地识别出最佳的bandit臂。关键的洞察是，有效地利用其认知不确定性（TS的后验分布和UCB的置信区间）的算法能够提供富有成果的策略来对抗探索-利用权衡。虽然多臂bandit问题是与现代推荐系统的现实有所偏离的理想化设置，但它阐明了有效地表示和利用不确定性（uncertainty）的算法所提供的独特好处。

将UCB和TS适应于现代推荐系统的挑战在于，对于涉及神经网络的复杂模型，不确定性的表示变得难以处理。虽然在存在良好的共轭先验的情况下，后验分布展示了高效的更新，但这肯定不适用于涉及神经网络的可能性。然而，已经有几条研究线试图建立近似的后验采样方法。早期的工作之一是随机梯度Langevin动力学[29]，它在随机梯度更新中添加噪声。在到达局部最小值时，噪声产生围绕后验模式的样本。然而，该算法对于在线方法在计算上是繁重的，因为它需要在每个timestep优化到收敛以产生后验样本。还有各种贝叶斯神经网络文献[5, 15]通过更新参数的后验分布来表示不确定性。然而，这些方法再次在计算上繁重，并且导致不充分的后验近似（在网络权重上的因子化分布在模型不确定性的表征上是不足的）。其他工作提出了MC Dropout作为后验采样近似，但[12, 20]已经证明后验近似的质量可能非常差。深度集成一直是通过从集成的粒子中采样来近似后验采样的可靠方法，但它们受到计算需求随着集成大小线性增长的事实的影响[16, 18]。最近，[22]提出了epinet，这是一种在计算上可行的方法，它以一小部分计算需求实现了集成级别的性能。[37]将epinet应用于离线推荐系统问题，但这种方法是否能在在线生产环境中产生有意义的改进仍然是一个开放的问题。

在本文中，我们提供了epinet在生产推荐系统中的首次在线实验部署。具体来说，我们使用一个由epinet提供的后验样本的汤普森采样算法，在Facebook的Reels推荐的内容冷启动检索阶段产生推荐。内容冷启动涉及对尚未有很多印象的新内容进行推荐。因此，它是一个需要有效导航探索/利用权衡的设置。我们的实验表明，在冷启动内容库中，总体流量和参与效率指标（如点赞率和视频观看完成率）有所提高。

2 相关工作

在推荐系统领域，特别是在内容冷启动方面，研究人员利用多臂bandit公式设计了能够有效权衡内容库的新探索和已经收集的信息利用的算法[4, 8, 19]。然而，随着内容库和用户基础的增长，无状态和独立臂的假设变得越来越不合理。因此，许多工作已经使用在臂之间具有泛化能力的概率模型，并反映不同用户的不同偏好的上下文化[10, 27, 28, 32]。然而，即使在这些问题表述中，设计能够有效解决这些问题的算法一直是一个活跃的研究领域。

如前所述，展示非平凡探索的最流行的算法是UCB[2, 3]和TS[26]。然而，这些算法是为涉及独立臂且没有状态概念的标准多臂bandit问题开发的。因此，将这些算法解决方案转化为涉及上下文化和泛化的问题设置一直是一个紧迫的挑战。特别是，随着深度神经网络提供的机器学习能力的急剧增加，许多方法已经尝试将UCB和TS的思想适应于与神经网络的计算[1, 6, 17, 21, 31, 34, 35]。然而，上述方法的主要缺点是，当计算成本被考虑在内时，它们是不切实际的。值得注意的是，随着推荐系统利用巨大的变换模型来通知预测[13, 25, 30, 33]的兴起，每个在模型或数据集大小之外的计算资源的消耗都是昂贵的[11, 14]。为了缓解这些关于计算资源的担忧，Osband等人[22]提出了epinet，这是一种在计算上可行的方法，它以一小部分计算需求实现了集成级别的性能。[37]将epinet应用于离线推荐系统问题，但我们的工作标志着这项技术在在线生产推荐系统设置中的首次应用。

3 问题表述

我们将推荐系统问题形式化为一个非稳态（non-stationary）contextual bandit问题。具体来说，非稳态contextual bandit问题可以通过一个元组 $ (O, A, V_t_{t \in N}, (\phi_t)_{t \in N}, \rho) $ 来识别，其中:

• $O$ 表示观察集合，
• $A$ 表示动作集合，
• $(V_t)_{t \in N}$ 表示决定非稳态的随机过程，
• $(\phi_t)_{t \in N}$ 表示决定上下文的随机过程，
• $\rho$ 表示与观察 $o \in O$ 相关联的概率

在推荐系统问题中，

• 上下文 $\phi_t$ 代表特定用户的原始特征
• $V_t$ 代表可供推荐给该用户的可用内容的原始特征

我们下面详细介绍每个组成部分。

• (1) 动作空间：我们取 $A$ 为固定集合 $\lbrace 1, 2, \ldots, N \rbrace$，其中 $N$ 表示可供选择的item数量。在推荐的检索阶段，算法每个timestep可以提出 M 个item。因此，对于所有 t，我们让随机变量 $A_t: \Omega \rightarrow A^M$ 表示我们的算法在时间 t 采取的动作。

• (2) 非稳态item池：我们取 $( V_t ){t \in N}$ 作为代表变化item池的随机过程。对于所有t，$ V_t = (\phi{t,1}, \phi_{t,2}, \cdots, \phi_{t,N}) \in V $， 其中： $\phi_{t,i}$ 表示与时间 t 的item i 相关联的原始特征，V 表示 $V_t$ 的范围。由于我们专注于内容冷启动，item池不断通过添加新创建的内容和移除成熟内容来刷新。

• (3) 上下文：我们取 $(\theta_t)_{t \in N}$ 作为代表每个timestep用户上下文的随机过程。对于所有 $t$，$\theta_t \in \Psi$ 由与我们提供推荐的用户提供的原始特征组成。

• (4) 观察空间：我们取 $O$ 作为关于用户和推荐item的观察集合。推荐系统通常利用多种信号，包括二进制信号（例如用户是否喜欢或分享item）和实值信号（例如视频完成的比例）。然而，为了制定下一个timestep的行动，算法必须能够访问后续的item池 $V_{t+1}$ 和上下文 $\theta_{t+1}$。因此，对于所有 $t$，我们让随机变量 $O_{t+1}: \Omega \rightarrow O^M \times V \times \Psi$ 表示与动作 $A_t$、后续item池 $V_{t+1}$ 和后续上下文 $\theta_{t+1}$ 相关的观察。$M$ 再次表示在动作 $A_t$ 中提出的item数量。

• (5) 观察概率：我们让 $\rho(\cdot \mid O_t, A_t) = P(O_{t+1} \in \cdot \mid O_t, A_t)$ 表示在前一个观察和动作条件下的后续观察的概率。回想一下 $O_t$ 也包含item池 $V_t$ 和用户上下文 $\theta_t$。

通过 $\rho$ 捕获具有相似特征的用户和item之间的泛化。

我们假设算法设计者有一个具体的目标。这个目标由一个（已知的）奖励函数 $R: O \rightarrow \mathbb{R}^+$ 表示，它将观察映射到一个标量目标值。在实践中，这是各种标签（如喜欢、分享等）的适当加权。我们让随机变量 $R_{t+1}$ 表示在 $O_{t+1}$ 中观察到的所有 $M$ 个标签的奖励总和。目标是最大化平均长期奖励：

\[\frac{1}{T} \sum_{t=0}^{T-1} \mathbb{E}[R_{t+1}]\]

4 内容冷启动的探索

冷启动内容由展示给少于10000名用户的短视频组成。请注意，即使视频展示给用户，这并不一定意味着用户有意义地与之互动。实际上，情况往往相反，例如，只有1%的推荐内容会得到用户的点赞。在这种稀疏的反馈信号下，高效学习的能力变得至关重要。探索效率低下的算法不仅会向用户提供较差的推荐，还会消耗宝贵的带宽，这些带宽本可以分配给更好地了解用户的偏好。

多臂bandit问题，尽管其简单性，评估了一个智能代理的核心能力：平衡即时奖励与获取新信息的能力（探索/利用权衡）。为了有效地指导内容库的探索，算法必须知道它不知道什么。在贝叶斯框架中，不确定性是使用概率工具建模的，并通过后验分布来表示。随着算法观察到更多的数据，这个分布将集中，反映出更大的确定性。这种可以通过观察更多数据来减少的不确定性通常被称为认知不确定性（epistemic uncertainty）。常见的算法，如汤普森采样和上置信界限，分别通过后验分布和置信区间来表示认知不确定性。

然而，许多生产推荐系统只保留点估计（point estimate）。点估计对应于一个分布，其中所有概率质量都放在一个单例上。这不会有效地建模认知不确定性，因为算法在所有时间上都是同样（并且绝对）确定的。这对于冷启动内容尤其成问题，因为它包含的item几乎没有或根本没有曝光数据。点估计模型对这类内容的评分基本上是无信息的。如果它低估了内容的值，它将永远不会被推荐给用户。这可能进一步加剧流行度偏见，即推荐系统倾向于简单地基于现有数据进行利用，而放弃探索。因此，推荐系统的探索可以归结为表示涉及深度神经网络的复杂现代系统中的认知不确定性。

4.1 汤普森采样

在本文中，我们专注于用近似后验分布来表示认知不确定性。因此，我们将算法重点限制在汤普森采样上，它从这个后验分布中采样以选择动作。在本节中，我们提供了汤普森采样的抽象概述，以框架我们最终的算法。

对于所有的 $t$，汤普森采样以近似后验分布 $P_t(\rho \in \cdot)$ 和之前的观察 $O_t$ 作为输入，并产生动作 $A_t$。回想一下，$\rho$ 是决定我们上下文bandit环境中观察的概率度量。以下伪代码抽象地描述了汤普森采样：

算法1

因此，近似汤普森采样方法在以下两个方面有所不同：

1) 如何指定近似先验分布 $P_0(\cdot)$； 2) 如何近似贝叶斯更新。虽然简化假设，如独立的Beta先验/后验分布，可能允许精确的贝叶斯更新，但它们在无法考虑用户上下文 $\theta_t$ 和item特征 $V_t$ 中存在的信息方面受到极大的限制。

5 使用Epinet的近似汤普森采样

在本节中，我们介绍了我们的方法，该方法利用Epinet[22]在近似汤普森采样算法中模拟认知不确定性。我们首先介绍认知神经网络的背景，这是一类包含Epinet的近似后验方法。

5.1 认知神经网络

[23]定义了一类称为认知神经网络（ENNs）的神经网络。认知神经网络由参数化函数类$ f $和参考分布$ P_Z $指定。输出$ f_\theta(X, z) $依赖于输入$ X $和从参考分布$ P_Z $中抽取的认知索引$ z $。要为输入$ X $产生边际预测，认知神经网络对其认知索引进行积分：

\[\hat{P}(Y) = \int_z f_\theta(X, z) dP_Z(z).\]

许多现有的神经网络不确定性建模方法，包括BNNs、MC Dropout和Deep Ensembles，可以在适当的参考分布$ P_Z $下表示为ENNs。我们在下面实例化一些。

示例1.（点估计） 考虑一个参数化的神经网络$ g_\theta(·): \mathbb{R}^d \rightarrow \mathbb{R} $。让$ P_Z(·) $是任何分布。那么$ f_\theta(X, z) = g_\theta(X) $等同于只保留点估计的网络。

在我们的实验中，我们比较算法的基线是点估计。这是因为它是机器学习和推荐系统中的标准方法：提供根据学习模型最优的预测/推荐。虽然这在监督学习设置中是合理的，算法不控制它观察到的数据，但在bandit/强化学习问题中，这种利用行为可能导致反馈循环，如推荐系统中的流行度偏见。

示例2.（MC Dropout） 考虑一个参数化的神经网络$ g_\theta(·): \mathbb{R}^d \rightarrow \mathbb{R} $，对输入层应用dropout。让$ P_Z(·) = \text{Uniform} \lbrace 0, 1 \rbrace^d $。那么，$ f_\theta(X, z) = g_\theta(X \odot z) $等同于dropout。

我们没有直接将性能与MC dropout进行比较，因为理论上和实证上都表明它提供了认知不确定性的较差表示[20, 22]。看到这一点，只需注意到即使观察到的样本数量增加到∞，MC dropout的方差也不会趋近于0。Osband [20]指出，这是因为dropout近似的是不可减少的风险，而不是认知不确定性。这个区别很关键，因为使用前者指导探索是不一致的，而使用后者可以导致有效的探索。

示例3.（Deep Ensembles） 考虑一个由参数化模型$ g_{\theta_1}(·), g_{\theta_2}(·), \ldots, g_{\theta_N}(·): \mathbb{R}^d \rightarrow \mathbb{R} $组成的深度集成，大小为$ N $。让$ P_Z(·) = \text{Uniform}(\lbrace 1, \ldots, N \rbrace) $。那么，$ f_\theta(X, z) = g_{\theta_z}(X) $等同于深度集成。

深度集成已被证明在bandit和强化学习环境中提供了认知不确定性的有用表示[18, 24]。它们甚至在离线推荐系统环境中展示了良好的性能[36]。然而，它们的主要缺点是巨大的计算开销。计算资源与集成的大小成线性扩展。集成通常需要大约100个粒子才能有效工作，这个数字在每个基础模型都在Facebook推荐系统的规模上运行时，计算上是不可行的。因此，我们省略了与集成的实验，转而使用Epinet，这是一种承诺在没有集成级计算资源的情况下提供集成级性能的方法[22]。

5.2 Epinet

最近的工作表明，Epinet[22]能够在只有一小部分计算开销的情况下，实现与数百个粒子的深度集成相当的性能。我们在本节详细介绍Epinet的设计和实现。

为了将Epinet集成到Meta现有的冷启动检索模型中，我们对[22]和[37]的原始大纲进行了一些轻微的修改。系统由两个神经网络组成：一个用户塔$ g^u_{\gamma_u} $，参数为$ \gamma_u $，和一个item塔$ g^i_{\gamma_i} $，参数为$ \gamma_i $。系统在几个监督信号上进行训练，如点赞、分享等。让$ K $表示这样的信号数量。

item塔接受item的原始特征$ \phi_{t,a} $并输出嵌入向量$ g^i_{\gamma_i}(\phi_{t,a}) \in \mathbb{R}^d $。与此同时，用户塔接受用户上下文的原始特征$ \theta_t $并输出嵌入矩阵$ g^u_{\gamma_u}(\theta_t) \in \mathbb{R}^{d \times K} $。

这些用户和item嵌入被输入到一个包含Epinet的上层模型中。上层模型由一个基础mlp和Epinet组成。基础mlp$ g_\theta $由可训练参数$ \theta $组成，但不依赖于采样的认知索引$ z $。与此同时，Epinet$ \sigma_\beta $由可训练参数组成，并接受输入采样的认知索引$ z $。基础mlp和Epinet都接受作为输入的连接的用户和item嵌入，以及由item嵌入与$ K $个用户嵌入的连接元素乘积组成的交互项。因此，对于所有的$ t $，输入因此是一个向量$ x_t \in \mathbb{R}^{d(2K+1)} $。上层模型的输出如下：

\[f_{\theta,\beta}(x_t, z_t) = g_\theta(sg[x_t]) + \sigma_\beta(sg[x_t], z_t),\]

其中$ sg[\cdot] $表示停止梯度。停止梯度已被观察到可以改善训练稳定性[22]。

Epinet的加法形式受到两个因素的激励：1) 功能性不确定性估计和2) 高效的不确定性估计。功能性不确定性估计强调神经网络不确定性不是在模型参数上，而是在参数诱导的函数上。这是一个重要的区分，因为许多不同的参数排列导致相同的函数（例如神经元的适当排列）。如果Epinet小于基础模型，并且评估几个认知索引$ z_1, \ldots, z_n $的计算可以批量处理，那么高效的不确定性估计是可能的。对于MC dropout、深度集成和BNNs等方法，模型的禁止大小和/或无法执行批量计算使得不确定性计算变得繁重。我们现在提供Epinet的更多架构细节。

5.3 先验网络

在文献中，通常将Epinet进一步划分为可学习组件和称为先验网络的固定组件[22, 37]。Dwaracherla等人[7]已经证明，对于深度集成，先验函数在低数据环境中显著优于普通的深度集成[16]。具体来说，如果$ x_t $表示Epinet输入，$ z_t $表示认知索引，那么Epinet的形式如下：

\[\sigma_\beta(x_t, z_t) = \sigma_L^\beta(x_t, z_t) + \sigma_P(x_t, z_t)\]

我们假设Epinet产生标量输出，并且$ z_t $ i.i.d. $ \sim N(0, I_d) $。虽然嵌入在几个标签（如点赞、分享等）上进行训练，但在我们的实验中，我们将Epinet的训练限制为只有一个标签。我们注意到先验网络是不可训练的。

在深度集成和Epinet中，这些先验函数似乎是确保所代表分布中足够初始多样性（$ z $的变异性）的关键算法补充。Epinet的架构选择相当奇特，但它从线性bandit中汲取灵感。[23]提供的扩展到神经网络是特别的，但他们仍然展示了良好的性能。推导出更适当的softmax/sigmoidal输出形式是未来工作的潜在方向。

可学习网络是一个标准的多层感知器（MLP），具有Glorot初始化：

\[\sigma_L^\beta(x_t, z_t) = \text{mlp}_\beta([x_t, z_t])^T z_t\]

其中mlp_\beta返回一个在$ \mathbb{R}^{d_z} $中的输出，$ [x_t, z_t] $是$ x_t $和$ z_t $的连接。与此同时，先验网络的典型选择包括从与$ \sigma_L $相同的架构中采样的$ \sigma_P $，但具有不同的参数初始化。

5.4 模型训练

让$ a \in A $表示由动作$ A_t $选择的item，让$ y_{t+1} $是向用户$ \theta_t $展示item$ a $的结果相关的标签。我们假设$ y_{t+1} \in [0, 1]^K $，并且我们让$ \tilde{y}_{t+1} \in [0, 1] $表示我们提供给Epinet的单个任务标签。然后我们从$ N(0, I_d) $中采样一个单一的认知索引$ z_t $。

损失函数$ L $定义为：

\[L(\gamma_u, \gamma_i, \theta, \beta, \phi_{t,a}, \theta_t, z_t) = \sum_{k=1}^K \text{BCE}(y_{t+1,k}, g^i_{\gamma_i}(\phi_{t,a}) \cdot g^u_{\gamma_u}(\theta_t)_k) + \text{BCE}(\tilde{y}_{t+1}, f_{\theta,\beta}(x_t, z_t))\]

其中：BCE表示二元交叉熵。在实践中，我们采样一个动作的小批量，并在取梯度步骤之前在小批量上平均损失。

图1

5.5 Epinet汤普森采样算法

有了上述细节，我们现在介绍Epinet汤普森采样算法。注意，先验分布由涉及的各个神经网络的初始参数表示。对于Epinet，这个先验是神经网络函数上的分布。从这个分布中采样涉及首先从参考分布中采样一个认知索引$ z_t $，然后保持$ z_t $固定进行前向传播。与此同时，通过梯度下降在目标上执行近似后验更新。在下一节中，我们概述了我们在冷启动检索中使用Epinet汤普森采样的在线实验细节。

5.6 推荐流程

Facebook Reels推荐系统涉及多个阶段，在这些阶段中，推荐提案被生成、汇集，然后排名，之后才提供给用户。由于我们的item探索内容冷启动，我们的方法在推荐的提案阶段运作。在提案呈现给排名器之前，它们会与其他来源的提案混合，这些来源将运行自己的独立推荐算法。因此，即使我们的算法向特定用户推荐了某个内容，除非排名器预测我们的内容比其他来源的内容更有前景，否则它也不会被提供给该用户。然而，为了减轻流行度偏见，为冷启动内容设置了配额。将Epinet应用于推荐排名阶段的应用仍然是未来研究的一个有趣方向。

图2

6 实验

我们进行了为期5天的在线A/B测试，以测试我们提出的方法的有效性。对于上下文bandit实验，这是一个标准持续时间，因为结果不需要很长时间就能收敛。我们在每天服务数亿用户的Facebook Reels推荐系统上运行我们的测试。我们的方法应用于推荐的检索阶段。我们部署实验的生成器每天服务约1.2亿用户。对于测试和控制组，我们分配了约1200万用户的组。

6.1 实施细节

用户/item嵌入被训练以最小化4个不同任务的损失：观看分数（ws）、点赞、分享和视频观看秒数（vvs）。观看分数定义如下：

\[ws = \begin{cases} 1 & \text{如果视频长度 < 10秒且用户多次完成视频观看} \\ 0.5 & \text{如果视频长度 ≥ 10秒且 < 20秒且用户完成视频观看} \\ 0.1 & \text{如果视频长度 ≥ 20秒且用户观看至少20秒} \\ 0 & \text{其他情况} \end{cases}\]

点赞和分享是二进制信号，如果用户点赞/分享视频则为1，否则为0。视频观看秒数定义如下：

\[vvs = \begin{cases} 0 & \text{如果视频观看时间 < 10秒} \\ \frac{9}{10} & \text{如果视频观看时间 ≥ 10秒且 < 20秒} \\ \vdots & \vdots \\ 1 & \text{如果视频观看时间 ≥ 90秒} \end{cases}\]

虽然用户和item嵌入在上述4个标签上进行训练，但上层模型仅在ws上进行训练。控制组仅保持点估计，不包括上层组件。因此，它被训练以最小化上述信号的BCE损失，并根据其当前点估计贪婪地推荐内容。两个模型每小时训练一次，从最近的检查点初始化。它们在所有其他生成器聚合的新数据池上进行训练。因此，我们的算法对聚合池的数据贡献非常微小。这引发了两个问题1）处理组之间的数据泄露，2）我们的方法收集的数据被其他生成器的数据稀释。然而，在检查后，每个用户的嵌入差异足够大。因此，1）没有跨处理组的用户之间有意义的泛化，2）由于其他生成器的数据在嵌入空间中足够不相交，因此对稀释的担忧较小。我们假设这些是我们的方法尽管有上述担忧，但我们观察到显著性能改进的原因。

每个嵌入的维度为$ d = 128 $，认知索引的维度为$ d_z = 5 $。在上层模型中，我们对Epinet和基础mlp使用2隐藏层MLP，隐藏维度分别为[384, 256]，使用Glorot初始化。如前所述，我们仅对训练和推理采样单一认知索引。

6.2 实验结果

我们现在概述在线实验的结果。如果推荐在用户的屏幕上显示至少250毫秒，则计为“展示”。由于我们对冷启动内容的性能感兴趣，我们衡量展示次数少于10000的内容的性能。我们进一步通过视频展示次数桶[0:100, 100:200, 200:400, 400:1000, 1000:2000, 2000:3000, 3000:4000, 4000:5000, 5000:10000]对性能进行分层统计。我们报告了上述3个效率指标的改进：每次展示的点赞数、每次展示的视频完成数和每次展示的观看分数。视频完成是1如果用户观看了整个视频，否则为0。

图3、图4和图5显示了我们的Epinet算法与对照组相比在各种上述效率指标上的百分比变化。我们为每个指标和展示次数桶绘制了95%的置信区间。因此，如果误差条没有穿过0，则变化是显著的。图3展示了每次展示的点赞数的大幅改进，特别是对于展示次数较低的内容。这表明，通过智能探索，系统可以更可靠地探索冷启动内容，并提供用户喜欢的视频。图4展示了每次展示的视频观看完成数的显著改进，表明Epinet算法成功地能够推荐用户喜欢到足以观看完成的内容。

图3

图4

图5

最后，我们分析了我们的方法如何在展示次数桶之间重新分配推荐。图6显示了我们的方法极大地提高了展示次数较少内容的展示次数，并适度地从展示次数较多的内容中吸引流量。我们还注意到，我们的方法在所有展示次数的内容聚合时展示了总体17%的展示次数提升。

这项实证调查的结果表明，将Epinet应用于近似汤普森采样可以在在线生产系统中提供具体的改进。

#

https://arxiv.org/pdf/2412.04484

Netflix团队发了篇paper《Is Cosine-Similarity of Embeddings Really About Similarity?》，对cosine相似度做了相应的研究。

摘要

余弦相似度（cosine similarity）是指两个向量间夹角的余弦值，或者等价于：归一化后的点积。一种常见的应用是：通过将余弦相似度应用于学习到的低维特征embedding，来量化高维对象之间的语义相似性。这种方法在实践中可能比未归一化的嵌入向量之间的点积效果更好，但也可能更差。为了深入了解这一经验观察，我们研究了从正则化线性模型派生的embedding，其中闭式解有助于分析洞察。我们从理论上推导了余弦相似度如何产生任意且因此无意义的“相似性”。对于某些线性模型，相似性甚至不是唯一的，而对于其他模型，它们则由正则化隐式控制。我们讨论了超出线性模型的含义：在学习深度模型时采用了不同正则化的组合；当对结果embedding取余弦相似度时，这些正则化具有隐式和非预期的影响，使结果变得不透明且可能是任意的。基于这些见解，我们警告：不要盲目使用cosine相似度，并概述了替代方案。

1.引言

离散实体通常通过学习的映射嵌入到各种领域的稠密实值向量(dense real-valued vector)中。例如，在大语言模型（LLM）中，单词基于其周围上下文进行嵌入，而推荐系统通常根据用户消费的方式学习item（和user）的embedding。这样的embedding有多方面的优点。特别是，它们可以直接作为（冻结或微调的）输入用于其它模型，它们提供了一种数据驱动的（语义）相似性概念，用来表示之前是原子和离散的实体。

虽然“余弦相似度（cosine similarity）”中的相似性指的是：与距离度量中的较大值表示更接近（较小值则相反），但它也已成为衡量感兴趣实体之间语义相似性的非常流行的度量方法。其动机在于，学习到的embedding vector的范数并不如embedding vector间的方向对齐那么重要。尽管有无数的论文报告了余弦相似度在实际应用中的成功使用，但也有人发现它在某些情况下不如其它方法，例如学习embedding间的（未归一化的）点积，参见[3, 4, 8]。

在本文中，我们尝试阐明这些不一致的经验观察。我们发现，学习到的embedding余弦相似度实际上可以产生任意结果。我们发现，根本原因不在于余弦相似度本身，而在于学习到的embedding具有一定程度自由度，即使它们的（未归一化的）点积是明确定义且唯一，也可以产生任意的余弦相似度。为了获得更具一般性的见解，我们推导出解析解，这对于线性矩阵分解（MF）模型是可能的——这将在下一节详细概述。在第3节中，我们提出了可能的解决方案。第4节中的实验说明了我们在本文中得出的发现。

2.矩阵分解模型

在本文中，我们关注线性模型，因为它们允许闭式解（closed-form solutions），从而可以从理论上理解应用于学习embedding的余弦相似度度量的局限性。给定：

• 一个矩阵$X \in R^{n × p}$
• 包含n个数据点和p个特征（例如，在推荐系统中分别是user和item）

矩阵分解（MF）模型（或等效地在线性自编码器中）的目标是：估计一个低秩矩阵$AB^T \in R^{p×p}$

其中：

• $A, B \in R^{p×k}, k \leq p$

使得乘积$XAB^⊤$是${X:}^1 X \approx XAB^⊤$的好的近似。

给定：

• X是一个user-item矩阵
• B的行：$\overset{\rightarrow}{b_i}$，通常被称为k维的item embedding
• XA的行：$\overset{\rightarrow}{x_u} \cdot A$，可以解释为user embeddings，其中用户u的embedding是该用户消费的item embeddings $\overset{\rightarrow}{a_j}$的总和。

请注意，该模型是根据user和item embeddings之间的（未归一化的）点积定义的：

\[(XAB^T)_{u,i} = < \overset{\rightarrow}{x_u} \cdot A, \overset{\rightarrow}{b_i} >\]

然而，一旦学习了embedd，常见的做法是：考虑它们之间的余弦相似度，例如：

• 两个item间：$cosSim(\overset{\rightarrow}{b_i}, \overset{\rightarrow}{b’_i})$
• 两个user间：$cosSim(\overset{\rightarrow}{x_u} \cdot A, \overset{\rightarrow}{x_u’} \cdot A)$
• user与item间：$cosSim(\overset{\rightarrow}{x_u} \cdot A, \overset{\rightarrow}{b_i})$

在下文中，我们将展示这可能导致任意结果，并且它们甚至可能不是唯一的。

2.1 训练

影响余弦相似度metric的实效（utility）的一个关键因素是：当在学习A、B的embedding时使用的正则化方法，如下所述。

考虑以下两种常用的正则化方案（它们都有封闭形式的解，见第2.2节和第2.3节）：

\[\underset{A,B}{min} ||X − XAB^⊤||^2_F + λ||AB^⊤||^2_F \\ \underset{A,B}{min} ||X − XAB^⊤||^2_F + λ(||XA||^2_F + ||B||^2_F )\]

… (1) (2)

这两个训练目标在L2范数正则化方面显然有所不同：

在第一个目标中，$|AB^⊤|^2_F$ 应用于它们的乘积。在线性模型中，这种L2范数正则化可以证明等同于：使用去噪学习，即在输入层进行dropout，例如，见[6]。 此外，实验发现，在保留的测试数据上得到的预测准确率优于第二个目标的准确率[2]。 不仅在MF模型中，而且在深度学习中，通常观察到去噪或dropout（这个目标）比权重衰减（第二个目标）在保留的测试数据上带来更好的结果。

第二个目标等价于：常规的矩阵分解目标:

\[{min}_W \| X − P Q^T \|^2_F + λ(\|P\|^2_F + \|Q\|^2_F)\]

其中：

• X被分解为$P Q^⊤$，且P = XA和Q = B。

这种等价性在 [2]中有所概述。这里的关键是，每个矩阵P和Q分别进行正则化，类似于深度学习中的权重衰减。

• $\widehat{A}$和$\widehat{B}$：是任一目标的解（solution）
• $R \in R^{k×k}$：任意旋转矩阵

那么众所周知，具有任意旋转矩阵$R \in R^{k×k}$ 的$\widehat{A}R$和$\widehat{B}R$也是解（solution），因为余弦相似度在这种旋转R下是不变的，本文的一个关键见解是：

• 第一个（但不是第二个）目标对于A和B的列（即嵌入的不同潜在维度）的重缩放也是不变的：如果$\widehat{A} \widehat{B}^⊤$是第一目标的解，那么$\widehat{A}DD^−1 \widehat{B}^⊤$也是，其中D ∈ R k×k 是任意对角矩阵。

因此，我们可以定义一个新的解决方案（作为D的函数）如下：

\[\widehat{A}^{(D)} := \widehat{A}D \\ \widehat{B}^{(D)} := \widehat{B}D^{−1}\]

…(3)

反过来，这个对角矩阵D会影响学习到的user和item embedding（即：行）的归一化：

\[(X\widehat{A}^{(D)})_{(normalized)} = Ω_AX\widehat{A}^{(D)} = Ω_AX\widehat{A}D \\ \widehat{B}^{(D)}_{(normalized)} = Ω_BBˆ(D) = ΩBBDˆ −1，(4)\]

其中$Ω_A$和$Ω_B$是适当的对角矩阵，用于将每个学习到的嵌入（行）归一化为单位欧几里得范数。注意，一般来说这些矩阵不可交换，因此不同的D选择不能（精确地）通过归一化矩阵$Ω_A$和$Ω_B$来补偿。由于它们依赖于D，我们通过$Ω_A(D)$和$Ω_B(D)$明确表示这一点。因此，嵌入的余弦相似性也取决于这个任意矩阵D。

当人们考虑两个项目之间、两个用户之间或用户和项目之间的余弦相似性时，这三种组合分别为：

• item-item：

\[cosSim(\widehat{B}^(D), \widehat{B}^(D)) = Ω_B(D) \cdot \widehat{B} \cdot D^{−2} \cdot \widehat{B}^T \cdot Ω_B(D)\]

• user-user：

\[cosSim(X\widehat{A}^(D), X\widehat{A}^(D)) = Ω_A(D) \cdot X\widehat{A}^ \cdot D^2 \cdot (X\widehat{A})^T \cdot Ω_A(D)\]

• user-item：

\[cosSim(X\widehat{A}^(D), \widehat{B}^(D)) = Ω_A(D) \cdot X\widehat{A} \cdot \widehat{B}^T \cdot Ω_B(D)\]

显然，所有三种组合的余弦相似性都取决于任意对角矩阵D：虽然它们都间接依赖于D，因为它影响了归一化矩阵$Ω_A(D)$和$Ω_B(D)$，但请注意，（特别受欢迎的）item-item余弦相似性（第一行）还直接依赖于D（user-user余弦相似性也是如此，见第二项）。

2.2 First Objective (Eq. 1)详述

当我们考虑全秩MF模型的特殊情况，即k = p时，余弦相似性的任意性在这里变得尤为明显。这可以通过以下两种情况来说明：

第一种：

如果我们选择： \(D = dMat(..., 1/(1+λ/σ^2)^i, ...)^(1/2)\)

那么我们有: \(\widehat{A}_{(1)}^{(D)} = \widehat{A}_{(1)} \cdot D \\ = V · dMat(\cdots, \frac{1}{(1+λ/\sigma_i^2)}, \cdots)\)

和

\[\widehat{B}_{(1)}^{(D)} = \widehat{B}_{(1)} \cdot D^{-1} = V\]

由于奇异向量矩阵V已经是标准化的（关于列和行），归一化$Ω_B = I$因此等于单位矩阵I。因此，关于item-item余弦相似性，我们得到：

\[cosSim(\widehat{B}_{(1)}^{(D)}, \widehat{B}_{(1)}^{(D)}) = V V^T = I\]

这是一个相当奇怪的结果，因为这意味着任何一对（不同的）项目嵌入之间的余弦相似性为零，即一个item只与自己相似，而不与任何其他item相似！

另一个显著的结果是关于user-item余弦相似性：

\[cosSim(X \widehat{A}_{(1)}^{(D)}, \widehat{B}_{(1)}^{(D)}) = Ω_A \cdot X \cdot V \cdot dMat(\cdots, \frac{1}{1 + λ/\sigma_i^2}, \cdots) · V^T \\ = Ω_A · X · \widehat{A}_{(1)}\widehat{B}_{(1)}^T\]

因为与（未归一化的）点积相比，唯一的区别在于矩阵$Ω_A$，它归一化了行——因此，当我们考虑基于预测分数为给定用户对项目进行排序时，余弦相似性和（未归一化的）点积会导致完全相同的项目的排序，因为在这种情况下行归一化只是一个无关紧要的常数。

第2种：

• 如果我们选择：

\[D = dMat(\cdots, \frac{1}{(1+λ/σ_i^2)}, \cdots)^{-\frac{1}{2}}\]

那么我们类似于前一种情况有：

\[\widehat{B}_{(1)}^{(D)} = V \cdot dMat(\cdots, \frac{1}{1+λ/σ_i^2}, \cdots)\]

并且$\widehat{A}_{(1)}^{(D)} = V$是正交的。我们现在得到关于user-user余弦相似性：

\[cosSim(X \widehat{A}_{(1)}^{(D)}, X\widehat{A}_{(1)}^{(D)}) = Ω_A · X · X^T · Ω_A\]

即，现在用户相似性仅仅基于原始数据矩阵X，即没有任何由于学习到的嵌入而产生的平滑。关于user-item余弦相似性，我们现在得到：

\[cosSim(X\widehat{A}_{(1)}^{(D)}, \widehat{B}_{(1)}^{(D)}) = Ω_A \cdot X \cdot \widehat{A}_{(1)} \cdot \widehat{B}_{(1)}^T \cdot Ω_B\]

即，现在$Ω_B$归一化了B的行，这是我们在之前选择D时所没有的。同样，item-item余弦相似性

\[cosSim(\widehat{B}_{(1)}^{(D)}, B_{(1)}^{(D)}) = Ω_B · V · dMat(\cdots, \frac{1}{1 + λ/σ_i^2}, \cdots)^2 \cdot V^T \cdot Ω_B\]

与我们之前在D的选择中得到的奇怪结果大不相同。

总的来说，这两种情况表明，对于D的不同选择会导致不同的余弦相似性，即使学习到的模型

\[\widehat{A}_{(1)}^{(D)} \widehat{B}_{(1)}^{(D)T} = \widehat{A}_{(1)} \widehat{B}_{(1)}^T\]

对于D是不变的。换句话说，余弦相似性的结果是任意的，对这个模型来说并不是唯一的。

2.3 关于第二个目标

（公式2）的细节

公式2中的训练目标的解决方案在[7]中推导出来，读作

\[\widehat{A}_{(2)} = V_k \cdot dMat(\cdots, \sqrt{\frac{1}{σ_i} \cdot (1 - λ/σ_i)+}, \cdots)_k \\ \widehat{B}_{(2)} = V_k \cdot dMat(\cdots, \sqrt{σ_i \cdot (1 - λ/σ_i)+}, \cdots)_k\]

… (6)

其中：

• $(y)+ = max(0, y)$
• $X =: U \Sigma V^T$: 是训练数据X的SVD
• $\Sigma = dMat(\cdots, σ_i, \cdots)$

注意，如果我们使用MF中常用的符号，其中：$P = XA$和$Q = B$，我们得到：

\[\widehat{P} = X\widehat{A}_{(2)} = U_k \cdot dMat(\cdots, \sqrt{σ_i \cdot (1 - \frac{λ}{σ_i})+}, \cdots)_k\]

在这里我们可以看到，在公式6中，对角矩阵：

\[dMat(..., \sqrt{σ_i \cdot (1 - \frac{λ}{σ_i})+}, \cdots)_k\]

对于user embedding和item embedding是相同的，这是由于在公式2的训练目标中的L2范数正则化 $|P|_F + |Q|_F$的对称性所预期的。

与第一个训练目标（见公式1）的关键区别在于，这里的L2范数正则化$|P|_F + |Q|_F$是分别应用于每个矩阵的，因此这个解决方案是唯一的（如上所述，直到不相关的旋转），即在这种情况没有办法将任意的对角矩阵D引入到第二个目标的解决方案中。因此，应用于这个MF变体的学习嵌入的余弦相似性产生唯一的结果。

虽然这个解决方案是唯一的，但它仍然是一个悬而未决的问题，这个关于用户和项目嵌入的唯一对角矩阵 $dMat(\cdots, \sqrt{σ_i \cdot (1 - λ/σ_i)+}, \cdots)_k$是否在实践中产生最佳可能的语义相似性。然而，如果我们相信这种正则化使得余弦相似性在语义相似性方面有用，我们可以比较两个变体中对角矩阵的形式，即比较公式6和公式5，这表明在第一个变体中任意的对角矩阵D（见上面的部分）类似地可以选择为： $D = dMat(…, p1/σi, …)k$

3.针对余弦相似性的补救措施和替代方法

正如我们上面分析的那样，当一个模型针对点积进行训练时，其对余弦相似性的影响可能是模糊的，有时甚至不是唯一的。一个显而易见的解决方案是针对余弦相似性训练模型，层归一化[1]可能会有所帮助。另一种方法是避免使用导致上述问题的嵌入空间，并将其投影回原始空间，然后在那里应用余弦相似性。例如，使用上述模型，并给定原始数据X，可以将$X\widehat{A}\widehat{B}^T$视为其平滑版本，将$X\widehat{A}\widehat{B}^T$的行视为原始空间中的user embedding，然后可以应用余弦相似性。

除此之外，同样重要的是要注意，在余弦相似性中，只有在学习了嵌入之后才应用归一化。与在学习之前或期间应用某种归一化或减少流行度偏差相比，这可能会显著降低结果的（语义）相似性。这可以通过几种方式完成。例如，统计学中的一种默认方法是标准化数据X（使每列均值为零且方差为单位）。深度学习中的常见方法包括使用负采样或逆倾向缩放（IPS）来考虑不同项目的流行度（和用户活动水平）。例如，在word2vec [5]中，通过按照它们在训练数据中的频率（流行度）的β = 3/4次幂的概率采样负样本，训练了一个矩阵分解模型，这在当时产生了令人印象深刻的词相似性。

https://arxiv.org/pdf/2403.05440v1.pdf

meta在《AdaTT: Adaptive Task-to-Task Fusion Network for Multitask Learning in Recommendations》提出了AdaTT的多任务建模方法。

摘要

多任务学习（MTL）旨在通过同时在多个任务上训练机器学习模型来提高它们的性能和效率。然而，MTL研究面临两个挑战：

• 1）有效地建模任务之间的关系以便实现知识共享，
• 2）共同学习任务特定（task-specific）知识和共享知识

本文提出了一种名为自适应任务融合网络（AdaTT：Adaptive Task-to-Task Fusion Network）的新模型，以解决这两个挑战。AdaTT是一个深度融合网络，具有多个levels上的专有任务单元（task-specific unit）和可选共享融合单元。通过利用一个残差机制（residual）和一个门控机制（gating）来进行任务间融合（task-to-task fusion），这些单元可以自适应地同时学习共享知识和专有任务知识。为了评估AdaTT的性能，我们使用各种任务组在公共基准和工业推荐数据集上进行实验。结果表明，AdaTT明显优于现有的最先进基线。此外，我们的端到端实验表明，与替代方案相比，该模型表现更好。

1.引言

在线推荐系统旨在为用户生成个性化的高质量推荐。这些系统的有效性通常取决于它们准确学习用户偏好的能力，这通常需要同时优化多个目标。例如，一个短视频推荐系统应该考虑用户观看视频（watch）的可能性（likelihood）和他们喜欢视频（like）的可能性（likelihood）。多任务学习（MTL）是这些用例的典型解决方案。通过在单个框架内联合训练多个任务，MTL提供了几个好处：

• 首先，它增加了计算效率，这对于大规模在线推荐系统非常重要
• 此外，它通过跨任务正则化（cross-task regularization）和知识共享（knowledge sharing），增强了模型表现

然而，MTL也面临着独特的挑战。其中一个主要挑战是建模任务之间的关系。由于每个任务可能与其他任务具有不同程度的相关性，仅仅建模所有任务的一般共性是不够的。这个问题的复杂性随着任务数量的增加而增加。有效的任务关系建模是实现任务自适应知识共享（task-adaptive knowledge sharing）的关键。例如，“分享视频（share）”任务共享的知识可以在类似于“喜欢视频（like）”的任务中得到很大的权重，同时也可以从具有丰富示例的其它任务中吸取不同方面的知识，例如“观看视频（watch）”。另一方面，它会最小化与高度不相关的任务的共享学习(shared learning)。

• 先前的工作[2、19]通常采用静态共享表示(static shared representations)。
• 其他工作，如cross-stitch network[24]（如图2（c）所示），学习矩阵来建模多个子网络之间的关系。然而，权重对于所有样本保持不变，子网络只是松散的特定任务。
• 最近的方法，如MMoE[22]（如图2（b）所示）和PLE[29]（如图2（e）所示），使用专门的门控网络（gating networks）来动态组合共享的子模块以实现灵活的共享，但是这些方法建模的任务之间的关系是模糊和间接的。

图2 我们实验中使用的MTL模型。在多级MTL模型中，使用两个融合level来说明它们的设计。模块用不同的颜色表示：共享模块为蓝色，任务A特定模块为黄色，任务B特定模块为紫色

除了共享学习，专有任务学习（task-specific learning）也是多任务学习的一个重要组成部分。在两者之间取得适当的平衡对于解决任务冲突（task conflicts）和实现跨任务正则化（cross-task regularization）非常重要。

• 一方面，MTL可能会遇到，负迁移（negative transfer）的问题：其中对一个任务的优化会对另一个任务的性能产生负面影响，特别是当任务具有冲突的目标时。在这种情况下，MTL模型应该自适应地强调专有任务学习。
• 另一方面，专有任务学习过度和共享不足可能会导致过拟合，降低跨任务正则化的效益。每个任务的训练数据的数量和分布也会影响学习的重点：具有更多数据的任务可以更多地依赖于它们的专有学习，而那些具有较少数据或高度倾斜数据的任务可以更多地集中于共享学习。

考虑到样本之间的差异可以使两者之间的权衡更加动态。因此，自动学习平衡这两种类型的学习非常重要。许多软参数共享模型（soft parameter sharing）可以在不需要繁琐的手动调整[2]或学习所有样本的静态结构。然而，进一步的研究是 需要理解：如何建模在共享任务学习与专有任务学习间的交互，以便提升效果。

3.模型结构

为了共同学习自适应共享表示并增强专有任务学习，我们提出了一个新模型：自适应任务融合网络（AdaTT）。AdaTT利用门控和残差机制来自适应地融合多个融合层中的专家（experts）。考虑一个具有两个预测任务的多任务学习场景。我们使用两个融合层在图1中说明了AdaTT的架构。AdaTT由多层融合网络（multi-level fusion network）和任务塔（task towers）组成。融合网络（fusion networks）由任务特定和可选共享融合单元构成，而任务塔建立在融合网络之上，并与最终融合层中的任务特定单元相连。我们的框架是通用的，支持灵活选择专家模块、任务塔网络、门控模块和可配置数量的专家和融合层。 在接下来的章节中，我们首先介绍AdaTT的一个特殊case：称为AdaTT-sp，它仅使用任务特定融合单元（如图1（a）所示）。然后，我们将描述通用的AdaTT设计，如图1（b）所示。

图1 AdaTT-sp和具有2个fusion levels的通用AdaTT。任务A和B的特定和共享模块通过颜色区分：A为黄色，B为紫色，共享为蓝色。为了说明，我们为每个任务特定单元使用了2个专家。在通用AdaTT中，我们添加了一个共享融合单元，其中只有一个专家作为示例。请注意，通用AdaTT中的共享模块并不是必需的，因此使用虚线表示。当不存在共享模块时，通用AdaTT会回退到AdaTT-sp。

3.1 AdaTT-sp

AdaTT-sp的详细设计如下所示。给定输入𝑥用于𝑇个任务，任务𝑡（𝑡=1,2,…,𝑇）的预测被公式化为：

\[y_t=h_t(𝑓_𝑡^L(𝑥))\]

…(1)

其中：

• L：是融合层数量
• $h_t$：表示任务𝑡的任务塔
• $𝑓_t^L$：表示在第𝐿个融合层产生任务𝑡的融合单元的函数

这里，$𝑓_𝑡^L(𝑥)$通过使用等式(2)和(3)，从底部到顶部应用融合层来计算：

\[𝑓_1^0(𝑥)=𝑓_2^0(𝑥)=\cdots=𝑓_T^0(𝑥)=𝑥\]

…(2)

\[𝑓_𝑡^l(𝑥)=𝐹𝑈_𝑡^l(𝑓_1^{(𝑙−1)}(𝑥), 𝑓_2^{𝑙−1}(𝑥), \cdots, 𝑓_𝑇^{l-1}(𝑥)), 𝑙=1 \cdots L\]

…(3)

这里，FU表示融合单元。

3.1.1 融合单元(fusion unit)

下面我们详细介绍引入等式(3)中的$𝐹𝑈_𝑡^l$的构造。对于任务𝑡，在接收到前一个融合层（fusion level）的所有输出后，我们首先会使用函数$e_{𝑡,𝑖}^l$，和输入$𝑓_t^{l-1}(𝑥)$，来为该任务构造$𝑚_𝑡$个本地专家(naive experts)，表示为$𝐸_{𝑡,𝑖}^l$，即:

\[𝐸_{𝑡,𝑖}^l=e_{𝑡,𝑖}^l(f_𝑡^{l-1}(𝑥))\]

…(4)

其中：

• $i=1,2,\cdots,𝑚_t$
• $𝐸_{𝑡,𝑖}^l \in R^{1×𝑑^𝑙}$

在第𝑙层，每个专家网络(expert network)会产生长度为$𝑑^𝑙$的向量。为了简化表示，在第𝑙层，我们使用：

• $𝐸_𝑡^l$：表示属于任务𝑡的experts的所有垂直拼接（vertical concatenation）
• $𝐸^𝑙$：表示跨任务的所有experts的所有垂直拼接

具体而言，$𝐸_𝑡^l$ 和$𝐸^𝑙$表示为：

\[𝐸_𝑡^l=[𝐸_{𝑡,1}^l, 𝐸_{𝑡,2}^l,\cdots,𝐸_{𝑡,𝑚_t}^l]\]

…（5）

\[𝐸^𝑙=[𝐸_1^l,𝐸_2^l, \cdots, 𝐸_𝑇^l]\]

…（6）

其中：

• $𝐸_𝑡^l \in R^{𝑚_t \times 𝑑^𝑙}$
• $𝐸^𝑙 \in R^{(𝑚_1+𝑚_2+…+𝑚_𝑇)×𝑑^𝑙}$

在上述等式中：

• $[,]$：表示将向量或子矩阵垂直堆叠成较大矩阵的操作。

由于任务可能与其他任务具有不同的相关性，$𝐹𝑈_𝑡^l$直接使用门控模块$𝐴𝑙𝑙𝐸𝑥𝑝𝑒𝑟𝑡𝐺𝐹_𝑡^l$来结合所有任务的专家$𝐸^𝑙$来模拟任务间的知识融合。此外，我们利用轻量级线性组合$𝑁𝑎𝑡𝑖𝑣𝑒𝐸𝑥𝑝𝑒𝑟𝑡𝐿𝐹_𝑡^l$来融合任务𝑡的本地专家，即$𝐸_𝑡^l$。概念上，门控模块模拟共享学习，本地专家的线性组合模拟专有任务学习。具体而言，任务𝑡在第𝑙层的特定单元的输出被公式化为：

\[𝑓_𝑡^l(𝑥) = AllExpertGF_𝑡^l(𝐸^𝑙, 𝐺_𝑡^l) + NativeExpertLF_t^l(𝐸_𝑡^l)\]

…(7)

在公式7中，专家被融合如下：

\[𝑁𝑎𝑡𝑖𝑣𝑒𝐸𝑥𝑝𝑒𝑟𝑡𝐿𝐹_t^l(𝐸_𝑡^l)=(𝑣_𝑡^l)^T 𝐸^{𝑡^l}\]

…（8）

其中：

• 在𝐴𝑙𝑙𝐸𝑥𝑝𝑒𝑟𝑡𝐺𝐹中，$𝐸^𝑙$ 乘以由一个函数$𝑔_𝑡^l$生成的门控权重$𝐺_𝑡^l \in R^{(𝑚_1+𝑚_2+\cdots+𝑚_𝑇)\times 1}$
• 在𝑁𝑎𝑡𝑖𝑣𝑒𝐸𝑥𝑝𝑒𝑟𝑡𝐿𝐹中，相似的，$𝐸_𝑡^l$仅由一个可学习的向量$v_𝑡^l \in R^{𝑚_𝑡 \times 1}$组合在一起

当$𝑚_1=𝑚_2=\cdots=𝑚_𝑇=1$时，即所有融合单元仅有一个专家时，为了简化起见，$𝑁𝑎𝑡𝑖𝑣𝑒𝐸𝑥𝑝𝑒𝑟𝑡 𝐿𝐹_𝑡^l(𝐸_t^l)$回退到$𝐸_𝑡^l$，将一个单位权重分配给本地专家。有许多设计选项可用于$𝑔_𝑡^l$。常见的一种是使用由softmax激活的单层MLP：

\[𝑔_𝑡^l(𝑓_𝑡^{𝑙−1}(𝑥))=𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑊_𝑡^l 𝑓_𝑡^{𝑙−1}(𝑥)^T)\]

…（10）

这里：

• $𝑊_𝑡^l \in R^{(𝑚_1+𝑚_2+\cdots+𝑚_𝑇)} × 𝑑^{𝑙−1}$是一个学习的矩阵。

3.1.2 简化

为了实现效率，考虑到公式8和公式9，我们实际上可以用零填充$(𝑣_𝑡^l)^T$以匹配$(𝐺_t^l)^T$的大小，加权并执行单个乘法来组合所有专家。因此，公式7可以简化为：

\[𝑓_𝑡^l(𝑥)=(𝑝𝑎𝑑(𝑣_𝑡^{lT} )+𝐺_𝑡^{lT}) 𝐸^𝑙\]

… （11）

正如我们所看到的，包含线性融合模块会导致计算量的最小增加。

3.2 常规版本的AdaTT

在其一般形式中，如图1(b)所示，AdaTT采用可选的共享融合单元（shared fusion units）。从概念上讲，专有任务模块pairs间的融合模拟了细粒度共享(fine-grained sharing)，而专有任务模块和共享模块间的融合则传递了适用于所有任务的广泛知识。这导致了高效灵活的任务间知识共享。通用AdaTT的计算方式与AdaTT-sp类似，除了最后一个fusion level，共享融合单元不执行任何融合操作，只为专有任务融合单元产生专家输出进行处理。

总之，AdaTT明确地学习任务特定知识并自适应地与共享知识融合。融合是任务自适应的，因为：

• 1.门控模块学习与任务本地专家相关的残差。
• 2.每个任务特定单元使用特定的门控模块融合专家，该门控模块以输入为条件（从第二个融合级别开始是唯一的）。

通过允许每个任务直接而灵活地从其他任务中学习共享知识，AdaTT相比于仅依赖于共享专家作为媒介的PLE具有更大的灵活性。此外，AdaTT可以选择仅使用任务特定专家。与PLE不同，它在每个融合单元内的不同线性融合模块中单独融合本地专家，而不是在单个门控模块中处理所有选定的专家。这种设计增强了每个融合级别后任务特定学习的鲁棒性。尽管它很简单，但我们的实验表明，它胜过了PLE，后者将选择应用于不同的融合单元中的专家，并使用不同的路由路径来区分这些专家。

4.实验

略

https://arxiv.org/pdf/2304.04959.pdf

pinterest在《Improving feature interactions at Pinterest under industry constraints》提出了一种特征交叉的新思路。

摘要

在工业环境中采用推荐系统的先进成果常常面临挑战，因为存在独特的约束条件。本文旨在通过特征交互的视角来突出这些约束。特征交互对于准确预测推荐系统和在线广告中的用户行为至关重要。尽管许多新颖的技术在Criteo等基准数据集上显示出优越的性能，但由于模型延迟、GPU内存限制和模型可复制性等约束，它们的直接应用在工业环境中受到阻碍。在本文中，我们分享了在这些约束下改进Pinterest首页排序模型中特征交互的经验。我们提供了遇到的特定挑战、为解决这些挑战而采取的策略以及为平衡性能与实际限制所做的权衡的详细信息。此外，我们展示了一组学习实验，这些实验有助于指导特征交互架构的选择。我们相信这些见解对于有兴趣通过更好的特征交互学习来改进模型的工程师将是有用的。

1 引言

Pinterest是最大的内容分享平台之一，拥有超过5亿的月活跃用户[9]。如图1所示的Homefeed是大多数用户的首要入口点，也是主要的灵感来源，占据了平台上用户参与度的大部分。Pinterest上的用户可以通过保存、放大、隐藏等多样的操作与Pin进行互动。

图1

为了增强用户在Homefeed上的体验，我们使用推荐系统确保为用户提供最相关的Pin。我们使用的是基于标准的检索、排名和混合的推荐系统。排序模型负责预测不同用户行为的概率。这是通过多任务建模方法实现的。

我们的排序模型可以分为三个部分：特征预处理、特征交互和任务预测。特征交互是模型的关键部分，对于有效捕捉特征和标签之间的复杂关系至关重要。

近年来[11][14][8][17]，提出了许多架构来高效学习这些关系。然而，这些架构通常在基准数据集的离线设置中进行评估，并没有考虑到工业推荐系统面临的现实世界约束。过多的超参数和高内存使用等限制使得这些技术在工业环境中不切实际。应对这些约束是改进我们的模型并为用户提供价值的关键。

本文的核心贡献总结如下：

• 我们详细描述了工业环境中面临的约束，并将其与学术研究进行对比。
• 我们提出了一组学习实验，以帮助指导选择合适的交互架构和超参数。
• 我们分享了在这些特定行业约束下，通过学习实验改进排序模型中特征交互的经验。 本文的其余部分组织如下：第2节回顾相关工作。第3节描述了Homefeed排序模型。我们在第4节详细说明了我们工作的约束。第5节报告了使用不同特征交互层的学习实验和实验结果。最后，我们在第6节总结我们的工作。

2 相关工作

当今大多数工业推荐系统都基于深度神经网络模型，这些模型的大部分关键部分是有效地学习特征交互。像Wide & Deep[1]和DeepFM[5]这样的架构表明，学习低阶和高阶特征交互是有用的。[2]显示，随着更好的特征交互架构的出现，Criteo数据集上的点击率预测逐年变得更好。 多层感知机（MLP）允许隐式建模高阶特征交互。DCN[12]及其后继者DCNv2[13]增加了一个显式的特征交叉来学习更好的交互。同样，xDeepFM[7]使用压缩交互网络（CIN）以显式方式学习低阶和高阶特征交互。AutoInt[10]提出了一个基于注意力的机制，在低维空间中显式建模特征交互。

Masknet[14]使用实例引导的掩码来辅助交互学习。FinalMLP[8]表明，一个经过良好调整的双流MLP模型可以胜过显式交叉。GDCN[11]使用门控来过滤掉嘈杂的特征交互，允许更高阶的特征交互。DHEN[16]提出了一个结合多种特征交互的框架。SDCNv3[6]提出使用浅层和深层交叉网络，整合了低阶和高阶特征交互。尽管这些新架构提高了准确性，但它们增加了模型的延迟和内存消耗，这使得在工业环境中更难使用。

DeepLight[3]提出通过使用一种机制来剪枝神经网络，以减少推理时间同时保持模型性能，从而缓解这个问题。然而，剪枝引入了失去可复制性的风险，这在工业环境中很重要。使用多头注意力机制的Transformer架构已被证明在特征交互学习方面是有效的[4]。

3 首页feeds排序模型（HOMEFEED RANKING MODEL）

Homefeed排序模型是一个深度学习模型，负责预测用户参与度概率的点估计。给定一个用户 u 和一个Pin p，模型预测 K 个概率——每个我们关心的用户行为（如保存、放大、隐藏等）都有一个。我们使用dense特征、sparse特征和嵌入特征的组合来表示用户、Pin和上下文。

• dense特征被标准化以确保数值稳定性。
• 我们使用可学习的嵌入来表示sparse特征，并根据特征的基数选择嵌入大小。我们将较大的嵌入特征投影到较小的维度，然后再输入到模型中。
• 最重要的嵌入特征之一是我们的用户序列嵌入。它是使用基于Transformer的架构[15]学习得到的，输入是用户过去的参与情况。这个Transformer的输出被汇总到一个嵌入特征中

。稀疏和嵌入特征在与dense特征连接成一个单一特征嵌入之前被L2标准化。这个特征嵌入被用作特征交互层的输入。我们使用4个堆叠的全秩DCNv2[13]层来模拟特征交互。我们在将交叉特征嵌入和输入特征嵌入连接后，再传递到MLP层。我们使用一个共享的MLP，它有多个隐藏层，并预测对应于K个任务的K个输出。模型是使用用户过去的参与数据进行训练的，使用加权交叉熵损失。损失中的权重是根据业务需求选择的。我们将图2a中显示的架构作为我们所有实验的基线。

图2 Homefeed ranking model

4 约束（CONSTRAINTS）

在迭代工业推荐系统时，考虑排序模型的各种约束至关重要。以下是其中一些约束，特别关注与我们的特征交互实验相关的，并与学术界进行对比。这不是一个详尽的列表，因为它不包括其他重要的考虑因素，如多样性和平衡业务指标。

4.1 内存

为了有效地利用我们的计算资源，我们选择的模型训练batch大小使得模型训练期间分配的最大内存大约是总可用内存的60%。这种分配为系统内存、内存碎片和可能增加内存使用的潜在未来项目留出了空间。尽管我们观察到进一步增加这个比例可以提高我们的模型质量，但如果最大分配内存超过75%，我们在模型重新训练期间会遇到间歇性的内存不足（OOM）错误。为了缓解这个问题，我们可以减少batch大小，但这是以牺牲模型质量和引入实验中的混杂变量为代价的。因此，任何需要大量额外内存的新技术都必须显著提高模型质量，以抵消因减少batch大小而造成的损失。

这通常不是学术研究的考虑因素，在那里batch大小可能被调整以最大化目标指标和训练时间。

4.2 延迟

模型推理延迟是我们整体系统延迟的重要组成部分。任何这种延迟的增加都会降低我们分布式服务系统的吞吐量。因此，我们然后需要增加额外的机器以获得相同的服务吞吐量，导致更高的运营成本。必须确保模型的任何改进都证明这些额外成本是合理的。此外，增加的模型延迟可以延长训练时间，从而影响开发速度。

在学术研究中，5%的延迟增加可能不会有关键影响，但在工业应用中，它会显著增加服务成本。话虽如此，由于可以轻松获得额外的计算资源，这是最容易权衡的约束之一。

4.3 超参数

使用具有众多超参数的模型架构会增加需要训练的模型数量，以确定最优配置。随着我们用户兴趣的变化，我们的数据分布也在变化。这要求我们定期调整这些超参数，以优化模型以适应最新的数据分布。

学术论文通常会进行广泛的超参数调整，以确定表现最佳的变体。由于这是一次性成本，减少模型中的超参数数量通常不是考虑因素。

4.4 可复制性

确保我们的模型可以使用相同的数据重新训练并产生一致的结果至关重要。没有这种一致性，就很难确定观察到的指标变化是给定变化的真实改进，还是模型内的简单变化。因此，任何纳入模型的特征交互都不应降低其可复制性。

我们通过计算使用相同配置的运行中HIT@3/save指标的标准差来衡量可复制性。一个可复制的模型应该有低标准差。

在学术界，可复制性不是一个重要因素。指标通常被报告为使用相同配置的几次运行的指标均值，但标准差通常不被比较。

4.5 稳定性

我们使用分布式训练方法来训练我们的模型，其中数值不稳定性可能导致模型失败。这要求我们从之前的检查点重新开始或完全放弃运行，导致计算资源浪费。任何纳入模型的新特征交互都不应影响其稳定性。

由于我们不断在新数据上重新训练我们的模型，跨不同数据分布的稳定性很重要。学术界通常使用固定的基准数据集来报告指标，所以通常不跟踪稳定性。

5 实验

5.1 指标

我们使用以下指标来评估我们的模型：

• HIT@3/save指标[15]：尽管我们的模型预测多种行为，我们使用最重要的动作——保存（save），来进行模型的离线评估。我们根据新的预测结果对每个用户会话记录的结果进行排序，并计算前3个Pin中的保存(save)量。我们将这个指标与基线模型进行比较，并以百分比增益或损失的形式报告。
• 内存：这是训练期间分配的峰值内存，作为总可用GPU内存的百分比。
• 延迟：这是与基线模型相比，在大量batch中模型推理时间的增加或减少。

5.2 学习实验

在本节中，我们展示了我们进行的一系列学习实验，以确定哪些架构更改对模型有益。这些学习实验的结果在表1中。

表1

5.2.1 交互的顺序

我们评估了模型对增加交互顺序的反应，通过堆叠额外的特征交互层。在我们的实验中，我们成功地使用了多达8个堆叠的DCNv2层，而没有遇到内存不足（OOM）问题，并观察到了指标的改进。这告诉我们，我们的模型从更高阶的交互中受益。

5.2.2 平行交互

我们检查了模型对设计用来学习相似交互的平行层的反应。例如，平行的DCN层可能分别捕获不同的交互模式。在我们的实验中，同时运行多个堆叠的DCNv2层提高了模型性能。这告诉我们，我们的模型从学习同一阶的多个特征交互中受益。

5.2.3 交互的非线性

DCNv2在其架构中不包含非线性。在DCNv2中添加非线性的一种方式是使用低秩（LR）版本，在两个低秩全连接层之间使用非线性。我们将全秩DCNv2层替换为低秩层作为基线，并使用ReLU层作为非线性进行实验。我们比较了具有不同秩值的模型，并观察到我们的模型随着非线性交互的包含而改进。

5.3 变体（Variants）

我们选择了几种声称比DCNv2表现更好的特征交互架构进行实验。我们提供了以下架构的实现细节，并讨论了它们如何适应我们的约束。我们还提到了学习实验的结果如何指导我们进行最终模型选择。这些实验的结果在表2中。不同架构相对于不同约束的性能总结在表3中。

5.3.1 Transformer

要使用Transformer进行特征交互，我们首先将我们的S 个sparse特征投影到共同的维度 D。我们将我们的dense特征分组，并将其C次投影到维度D。我们将嵌入特征投影到维度D。此外，我们将用户序列Transformer的输出U次投影到维度D。这导致最终特征集包含(S+C+U) 个tokens，每个token的维度为 D。

然后我们应用多个Transformer编码器层进行特征交互。Transformer输出token被连接并使用MLP处理。

在我们的实验中，我们设置 C = 4 和 U = 4。我们使用了不同数量的头、令牌维度和层数，如表2所示。Transformer对内存需求很大，因此我们只能训练一个2层Transformer编码器模型而不会遇到OOM错误。这限制了特征交互的顺序为2，这很糟糕，因为我们的模型更喜欢更高阶的特征交互。我们不能减少batch大小以适应更多层，因为参与度指标与基线相比不够高。延迟和超参数的数量也使我们不再进一步探索这种架构。

5.3.2 FinalMLP

我们进行了实验，重点关注调整超参数，如层数、隐藏层的大小和头的数量，即 k。我们在 k 的较小值时遇到了OOM错误。尽管我们的模型更喜欢平行交互，但我们无法使用FinalMLP获得与基线相同的性能。随着我们增加潜在维度，内存使用和延迟都增加了，而性能却没有超过基线。这使我们得出结论，基线方法在学习特征交互方面比多头双线性融合技术要好得多。

5.3.3 GDCN

我们唯一需要调整的GDCN超参数是层数。我们在每个GDCN层中使用的参数数量大约是DCNv2的两倍。这限制了我们可以学习的交互顺序，因为参数使用的额外内存。我们知道我们的模型从更高阶的特征交互中受益，所以GDCN提供的门控并不有用。

5.3.4 Masknet

我们尝试了两种配置：顺序堆叠MaskNet层和并行运行它们。需要调整的关键超参数包括投影比率、块的数量和输出维度。在我们的实验中，我们使用投影比率 = 2.0 和输出维度 = 512，只调整了块的数量。我们知道我们的模型从平行特征交互和交互中的非线性中受益。两者结合，平行MaskNet层的表现超过了基线。

这带来了3个需要调整的超参数而不是一个，但这并不是很限制。我们使用这种架构大大增加了内存消耗和延迟，但模型质量的提高是值得的。

5.3.5 SDCNv3

我们将特征交互层中的4个堆叠DCNv2层替换为声称性能更好的堆叠SDCNv3层。我们堆叠了$ d \times d/2 $特征交叉层，并尝试改变层数。我们注意到，尽管SDCNv3提高了延迟，但它在我们的数据集上收敛得不好，从而降低了save@3的离线评估。我们相信这些特征交互层，如SDCNv3，需要广泛的超参数调整，以使模型性能与我们的基线模型相似，所以我们没有进一步探索它。

5.3.6 DeepLight

DeepLight使用轻量级交互层。为了使比较公平，我们扩大了DeepLight模型的MLP组件。尽管如此，模型无法像基线那样学习有用的表示。此外，我们注意到，该模型报告的延迟数字是在他们论文中指定的剪枝过程之前。我们没有调整所有所需的超参数进行他们指定的剪枝过程，因为未剪枝的模型性能远低于我们的基线。

5.3.7 DHEN

由于我们的模型更喜欢平行交互和更高阶的交互，我们尝试使用DHEN架构结合多个特征交互层。鉴于涉及的超参数数量庞大，在计算预算内进行广泛的搜索是不可行的。我们需要调整的超参数包括层数、每层中使用的具体交互、每层的输出大小，以及与Transformer中使用的类似的输入转换。表2显示了我们尝试的一些变体。配置呈现为列表的列表，其中第一个列表代表每层，第二个列表代表层内的交互。

我们注意到DCNv2层与平行MaskNet层的结合有很好的参与度指标增益。但是DHEN框架很笨重，因为它涉及在模型的每一层之间进行分割和连接。这导致不必要的GPU内存消耗和延迟。我们还遇到了模型稳定性问题，这使我们不再进一步追求这种架构。

5.4 结果

从表3中我们可以看到，运行多个MaskNet层并行实现了所有约束的良好权衡，除了延迟。为了降低模型的延迟，我们停止了在将特征交互层的输入和输出连接后传递给MLP层之前的操作。我们还减少了MLP中隐藏层的大小。这导致指标增益略有减少，与基线相比延迟总体减少。 由于我们知道模型更喜欢更高阶的特征交互，我们在平行MaskNet层之上堆叠了4个DCNv2层。我们调整了MaskNet模型的超参数，以实现延迟不增加和参数数量净零增加，同时只增加5%的绝对内存消耗，使我们能够使用相同的batch大小。我们还使用这种新架构进行了在线A/B测试，结果在表4中。最终配置有3个平行MaskNet块，投影比率为2.0，输出维度为512，如图2b所示。我们确认这种架构不会降低可复制性，并且在我们的任何运行中都没有观察到模型稳定性问题。

https://arxiv.org/pdf/2412.01985

pinterest在《TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest》提出了它们的排序模型。

摘要

用于预测下一个动作的编码用户活动的序列模型，已成为构建大规模个性化推荐系统的一种流行设计选择。传统的序列推荐方法要么利用实时用户行为的端到端学习，要么以离线批处理生成的方式单独学习用户表示。本文：

• （1）介绍了Pinterest的Homefeed排序架构，这是我们的个性化推荐产品和最大的参与度表面；
• （2）提出了TransAct，一个从用户实时活动中提取短期偏好的序列模型；
• （3）描述了我们的混合排序方法，该方法结合了通过TransAct的端到端序列建模和批生成的用户embedding

混合方法使我们能够结合直接在实时用户活动上学习的反应性优势和批用户表示的成本效益，这些用户表示是在更长时间内学习的。

我们描述了消融研究的结果，在产品化过程中面临的挑战，以及在线A/B实验的结果，这些验证了我们混合排序模型的有效性。我们进一步证明了TransAct在其他表面如上下文推荐和搜索方面的有效性。我们的模型已部署在Pinterest的Homefeed、相关Pin、通知和搜索中。

1 引言

近年来在线内容的激增为用户导航创造了压倒性的信息量。为了解决这个问题，推荐系统被用于各种行业，帮助用户从大量选择中找到相关item，包括产品、图片、视频和音乐。通过提供个性化推荐，企业和组织可以更好地服务用户，并保持他们对平台的参与。因此，推荐系统对企业至关重要，因为它们通过提高参与度（engagement）、销售和收入来推动增长。

作为最大的内容分享和社交媒体平台之一，Pinterest拥有数十亿个Pin，拥有丰富的上下文和视觉信息，为超过4亿用户提供灵感。

访问Pinterest时，用户会立即看到图1所示的Homefeed页面，这是主要的灵感来源，占平台总用户参与度的大部分。Homefeed页面由一个3阶段的推荐系统驱动，该系统根据用户兴趣和活动检索、排序和混合内容。在检索阶段，我们根据用户兴趣、关注的板块等多种因素，从Pinterest上创建的数十亿个Pin中筛选出数千个。然后我们使用pointwise排序模型通过预测它们对用户的个性化相关性来对候选Pin进行排序。最后，使用混合层调整排序结果以满足业务需求。

图1 Pinterest Homefeed页

实时推荐至关重要，因为它为用户提供快速和最新的推荐，改善了他们的整体体验和满意度。集成实时数据，如最近的用户行为，可以更准确地推荐，并增加用户发现相关item的可能性[4, 21]。更长的用户行为序列可以改善用户表示，从而提高推荐性能。然而，使用长序列进行排序对基础设施提出了挑战，因为它们需要大量的计算资源，并可能导致延迟增加。为了解决这一挑战，

• 一些方法已经利用哈希和最近邻搜索在长用户序列中[21]。
• 其他工作将用户过去的行为编码为用户嵌入[20]，以表示长期用户兴趣。用户嵌入特征通常作为batch特征生成（例如，每天生成），在多个应用中以低延迟服务是成本效益的。

现有序列推荐的局限性在于：它们要么只使用实时用户行为，要么只使用从长期用户行为历史中学习的batch用户表示。

我们引入了一种新颖的实时-批量混合（realtime-batch hybrid）的排序方法，结合了实时用户行为信号和batch用户表示。为了捕捉用户的实时行为，我们提出了TransAct：

• 一个基于transformer的新模块，旨在编码最近的用户行为序列并理解用户的即时偏好。
• 对于在较长时间内发生用户行为，我们将它们转换为批用户表示[20]。

通过结合TransAct的表现力和批用户embedding，这种混合排序模型为用户提供了他们最近行为的实时反馈，同时也考虑了他们的长期兴趣。实时组件和batch组件互补推荐准确性。这导致Homefeed页面上用户体验的整体改善。

本文的主要贡献总结如下：

• 我们描述了Pinnability，Pinterest的Homefeed生产排序系统的架构。Homefeed个性化推荐产品占Pinterest总用户参与度的大部分。
• 我们提出了TransAct：一个基于transformer的实时用户行为序列模型，有效地从用户最近的行动中捕获用户的短期兴趣。我们证明了将TransAct与每天生成的用户表示[20]结合到混合模型中，在Pinnability中实现了最佳性能。这种设计选择通过全面的消融研究得到了证明。我们的代码实现是公开可用的1。
• 我们描述了在Pinnability中实施的服务优化，使得在引入TransAct到Pinnability模型时，计算复杂度增加了65倍成为可能。具体来说，优化是为了使我们以前的基于CPU的模型能够在GPU上服务。
• 我们描述了使用TransAct在现实世界推荐系统上的在线A/B实验。我们展示了在线环境中的一些实际问题，如推荐多样性下降和参与度衰减，并提出了解决这些问题的方案。

本文的其余部分组织如下：第2节回顾相关工作。第3节描述了TransAct的设计及其生产细节。实验结果在第4节报告。我们在第5节讨论了一些超出实验的发现。最后，我们在第6节总结我们的工作。

2 相关工作

2.1 推荐系统

协同过滤（CF）[12, 18, 24]基于这样的假设进行推荐：用户会偏好其他相似用户喜欢的物品。它使用用户行为历史来计算用户和物品之间的相似性，并基于相似性推荐物品。这种方法受到用户-物品矩阵稀疏性的困扰，并且无法处理从未与任何物品互动过的用户。另一方面，因子分解机[22, 23]能够处理稀疏矩阵。

最近，深度学习（DL）已被用于点击率（CTR）预测任务。例如：

• 谷歌使用Wide & Deep [5]模型进行应用推荐。wide组件通过捕获特征之间的交互来实现记忆，而deep组件通过使用前馈网络学习分类特征的嵌入来帮助泛化。
• DeepFM [7]通过自动学习低阶和高阶特征交互进行了改进。
• DCN [34]及其升级版本DCN v2 [35]都旨在自动建模显式特征交叉。

上述推荐系统在捕捉用户的短期兴趣方面表现不佳，因为只利用了用户的静态特征。这些方法也倾向于忽略用户行为历史中的序列关系，导致用户偏好的表示不足。

2.2 序列推荐

为了解决这个问题，序列推荐在学术界和工业界都得到了广泛研究。序列推荐系统使用用户的行为历史作为输入，并应用推荐算法向用户推荐适当的物品。序列推荐模型能够在长时间内捕捉用户的长期偏好，类似于传统推荐方法。此外，它们还有一个额外的好处，即能够考虑到用户兴趣的演变，从而实现更高质量的推荐。

序列推荐通常被视为下一个物品预测任务，目标是基于用户过去的行为序列预测用户的下一个行动。我们在编码用户过去的行为到dense表示方面受到了先前序列推荐方法[4]的启发。一些早期的序列推荐系统使用机器学习技术，如马尔可夫链[8]和基于会话的K最近邻（KNN）[11]来模拟用户行为历史中交互的时间依赖性。这些模型因为仅通过组合不同会话的信息而无法完全捕捉用户的长期模式而受到批评。最近，深度学习技术，如循环神经网络（RNN）[25]在自然语言处理中取得了巨大成功，并在序列推荐中变得越来越流行。因此，许多基于DL的序列模型[6, 9, 30, 42]使用RNNs取得了出色的性能。卷积神经网络（CNNs）[40]广泛用于处理时间序列数据和图像数据。在序列推荐的背景下，基于CNN的模型可以有效地学习用户最近交互的一组物品内的依赖性，并相应地进行推荐[31, 32]。

注意力机制起源于神经机器翻译任务，该任务模拟输入句子的不同部分对输出词的重要性[2]。自注意力是一种已知的机制，用于衡量输入序列的不同部分的重要性[33]。已经有更多推荐系统使用注意力[43]和自注意力[4, 13, 16, 27, 39]。

许多先前的工作[13, 16, 27]仅使用公共数据集进行离线评估。然而，在线环境更具挑战性和不可预测性。由于问题表述的差异，我们的方法与这些工作不直接可比。我们的方法类似于点击率（CTR）预测任务。深度兴趣网络（DIN）使用注意力机制在CTR预测任务中模拟用户过去行为的依赖性。阿里巴巴的行为序列transformer（BST）[4]是DIN的改进版本，与我们的工作密切相关。他们提出使用transformer从用户行为中捕捉用户兴趣，强调行为顺序的重要性。然而，我们发现位置信息并没有增加太多价值。我们发现其他设计，如更好的早期融合和行为类型嵌入，在处理序列特征时是有效的。

3 方法论

在本节中，我们介绍了TransAct，我们的实时-batch混合排序模型。我们将从Pinterest Homefeed排序模型Pinnability的概述开始，然后描述如何使用TransAct在Pinnability中编码实时用户行为序列特征以进行排序任务。

3.1 预备知识：Homefeed排序模型

在Homefeed排序中，我们将推荐任务建模为pointwise多任务预测问题，可以定义如下：给定用户 $ u $ 和Pin $ p $，我们构建一个函数来预测用户 $ u $ 对候选Pin $ p $ 执行不同动作的概率。不同动作的集合包含正面和负面动作，例如点击、保存和隐藏。

我们构建了Pinnability，Pinterest的Homefeed排序模型，来解决上述问题。高层架构是Wide and Deep学习（WDL）模型[5]。Pinnability模型利用各种类型的输入信号，如用户信号、Pin信号和上下文信号。这些输入可以以不同的格式出现，包括类别型、数值型和嵌入型特征。

• 我们使用嵌入层（embedding layer）将类别型特征投影到dense特征，并在数值型特征上执行batch归一化
• 然后，我们应用一个全秩DCN V2[35]的特征交叉来显式建模特征交互
• 最后，我们使用具有一组输出动作头 $ H = \lbrace h_1, h_2, …, h_k \rbrace $ 的全连接层来预测用户对候选Pin $ p $ 的动作。每个头对应一个动作

如图2所示，我们的模型是一个实时-batch混合模型，通过实时（TransAct）和batch（PinnerFormer）方法编码用户行为历史特征，并针对排序任务[37]进行优化。

图2 Pinterest Homefeed ranking model (Pinnability)

每个训练样本是 (x, y)，其中:

• x 表示一组特征，
• $ y \in \lbrace 0, 1 \rbrace^{ \mid H \mid} $，y中的每个条目对应于H中动作头的label。

Pinnability的loss函数是一个加权交叉熵损失，旨在优化多标签分类任务。我们将损失函数公式化为：

\[L = w_u \sum_{h \in H} \left\{ -w_h [y_h \log f(x)_h + (1 - y_h) (1 - \log f(x)_h)] \right\}\]

…(1)

其中：

• $ f(x) \in (0, 1)^H $，$ f(x)_h $ 是头 $ h $ 的输出概率。
• $ y_h \in \lbrace 0, 1\rbrace $ 是头 $ h $ 的真实标签。
• 权重 $ w_h $ 应用于每个头的输出 $ f(x)_h $ 的交叉熵。
• $ w_h $ 是根据真实标签 y 和标签权重矩阵 $ M \in \mathbb{R}^{\mid H \mid \times \mid H \mid} $ 计算的：

\[w_h = \sum_{a \in H} M_{h,a} \times y_a\]

标签权重矩阵 $ M $ 作为每个动作对每个头损失项贡献的控制因素。注意，如果 M 是对角矩阵，方程（1）简化为标准的多头二元交叉熵损失。但是选择根据经验确定的标签权重 M 可以显著提高性能。

此外，每个训练样本都由用户依赖的权重 $ w_u $ 加权，这由用户属性决定，如用户状态、性别和位置。我们通过乘以用户状态权重、用户性别权重和用户位置权重来计算 $ w_u $：

\[w_u = w_{\text{state}} \times w_{\text{location}} \times w_{\text{gender}}\]

这些权重根据特定业务需求进行调整。

3.2 实时用户行为序列特征

用户过去的行为历史自然是一个可变长度特征——不同用户在平台上的过去行为数量不同。 尽管更长的用户行为序列通常意味着更准确的用户兴趣表示，但实际上，包含所有用户行为是不可行的。因为获取用户行为特征和执行排序模型推理所需的时间也可能大幅增长，这反过来又会影响用户体验和系统效率。考虑到基础设施成本和延迟要求，我们选择包含每个用户最近的100个行为序列。对于少于100个行为的用户，我们用0填充特征到100的长度。用户行为序列特征按时间戳降序排序，即第一个条目是最近的行为。

用户行为序列中的所有行为都是Pin级别的行为。对于每个行为，我们使用三个主要特征：

• 行为的时间戳
• 行为类型
• Pin的32维PinSage嵌入[38]：PinSage是一个紧凑的embedding，编码了Pin的内容信息。

3.3 我们的方法：TransAct

与静态特征不同，实时用户行为序列特征 $ S(u) = [a_1, a_2, …, a_n] $ 是使用一个名为TransAct的专用子模块处理的。TransAct从用户的历史行为中提取序列模式，并预测 $ (u, p) $ 相关性分数。

3.3.1 特征编码

用户参与的Pin的相关性，可以通过用户行为历史中对它们采取的行动类型来确定。例如：

• 通常认为用户保存到自己看板的Pin比仅查看的Pin更相关。
• 如果Pin被用户隐藏，相关性应该非常低。

为了纳入这一重要信息，我们使用可训练的嵌入表将行动类型投影到低维向量。用户行为类型序列随后被投影到用户行为嵌入矩阵 $ W_{\text{actions}} \in \mathbb{R}^{\mid S \mid \times d_{\text{action}}} $，其中 $ d_{\text{action}} $ 是行动类型嵌入的维度。

如前所述，用户行为序列中的Pin内容由PinSage嵌入[38]表示。因此，用户行为序列中所有Pin的内容是一个矩阵 $ W_{\text{pins}} \in \mathbb{R}^{\mid S \mid \times d_{\text{PinSage}}} $。最终编码的用户行为序列特征是$CONCAT (W_{actions} \ , W_{pins}) \in \mathbb{R}^{\mid S \mid \times (d_{PinSage} + d_{action})} $。

3.3.2 早期融合（early fusion）

直接在排序模型中使用用户行为序列特征的一个独特优势是，我们可以显式地建模候选Pin和用户参与的Pin之间的交叉。早期融合（early fusion）在推荐任务中指的是在推荐模型的早期阶段合并用户和物品特征。通过实验，我们发现早期融合是提高排序性能的重要因素。评估了两种早期融合方法：

• append：将候选Pin的PinSage embedding附加到用户行为序列作为序列的最后一项，类似于BST[4]。使用零向量作为候选Pin的虚拟动作类型。
• concat：对于用户行为序列中的每个动作，将候选Pin的PinSage embedding与用户行为特征连接起来。

我们根据离线实验结果选择concat作为我们的早期融合方法。早期融合的结果序列特征是：一个2维矩阵 $ U \in \mathbb{R}^{\mid S \mid \times d} $，其中 $ d = (d_{\ action} \ + 2d_{\ PinSage}) $。

3.3.3 序列聚合模型

准备好用户行为序列特征 $ U $ 后，下一个挑战是：有效地聚合用户行为序列中的所有信息以表示用户的短期偏好。工业中用于序列建模的一些流行模型架构包括CNN[40]、RNN[25]和最近的transformer[33]等。我们尝试了不同的序列聚合架构，并选择了基于transformer的架构。我们采用了标准transformer编码器，有2个编码器层和一个头。前馈网络的隐藏维度表示为 $ d_{\text{hidden}} $。这里不使用位置编码，因为我们的离线实验表明位置信息是无效的。

3.3.4 随机时间窗口掩码

在用户的所有最近行为上训练可能会导致兔子洞效应（rabbit hole effect），即模型推荐与用户最近参与内容相似的内容。这会损害用户Homefeed的多样性，对长期用户留存有害。为了解决这个问题，我们使用用户行为序列的时间戳构建transformer编码器的时间窗口掩码。该掩码在自注意力机制应用之前过滤掉输入序列中的某些位置。在每次前向传递中，从0到24小时均匀采样一个随机时间窗口 $ T $。在 $ (t_{\text{request}} - T, t_{\text{request}}) $ 内的所有行为都被掩码，其中 $ t_{\text{request}} $ 代表接收排序请求的时间戳。重要的是要注意，随机时间窗口掩码仅在训练期间应用，而在推理时不使用掩码。

3.3.5 transformer输出压缩

transformer编码器的输出是一个矩阵：$ O = (o_0 : o_{\mid S \mid -1}) \in \mathbb{R}^{\mid S \mid \times d} $。我们只取前K列（$ o_0 : o_{K-1} $），将它们与最大池化向量 $ \text{MAXPOOL}(O) \in \mathbb{R}^d $ 连接起来，然后将其展平为一个向量 $ \mathbf{z} \in \mathbb{R}^{(K+1) \times d} $。前 $ K $ 列输出捕获了用户最近的兴趣，而 $ \text{MAXPOOL}(O) $ 表示用户对 $ S(u) $ 的长期偏好。由于输出足够紧凑，它可以很容易地使用DCN v2[35]特征交叉层集成到Pinnability框架中。

图3 TransAct架构是一种可以插入到任何类似架构中的子模块，比如Pinnability。

3.4 模型产品化

3.4.1 模型重新训练

对于推荐系统来说，重新训练很重要，因为它允许系统不断适应用户行为和偏好随时间的变化。没有重新训练，推荐系统的性能会随着用户行为和偏好的变化而降低，导致推荐准确性下降[26]。当我们在排序中使用实时特征时，这一点尤其正确。模型对时间更敏感，需要频繁重新训练。否则，模型可能在几天内变得过时，导致预测准确性降低。我们每周从头开始重新训练Pinnability两次。我们发现这种重新训练频率对于确保一致的参与率和保持可管理的训练成本至关重要。我们将在第4.4.3节深入探讨重新训练的重要性。

3.4.2 GPU服务

带有TransAct的Pinnability在浮点运算方面比其前身复杂65倍。如果没有模型推理的突破，我们的模型服务成本和延迟将增加相同的规模。GPU模型推理允许我们以中性的延迟和服务成本提供带有TransAct的Pinnability。

在GPU上提供Pinnability的主要挑战是CUDA内核启动开销。在GPU上启动操作的CPU成本非常高，但它通常被延长的GPU计算时间所掩盖。然而，这对于Pinnability GPU模型服务有两个问题。首先，Pinnability和推荐模型通常处理数百个特征，这意味着有大量的CUDA内核。其次，在线服务期间的batch大小很小，因此每个CUDA内核需要的计算量很少。有了大量小CUDA内核，启动开销比实际计算更昂贵。我们通过以下优化解决了技术挑战：

• 合并CUDA内核。一个有效的方法是尽可能合并操作。我们利用标准深度学习编译器，如nvFuser7，但通常发现需要人为干预许多剩余操作。一个例子是我们的嵌入表查找模块，它由两个计算步骤组成：原始ID到表索引查找和表索引到嵌入查找。由于特征数量众多，这个过程需要重复数百次。我们通过利用cuCollections8支持GPU上的原始ID哈希表，并实现自定义的合并嵌入查找模块，将多个特征的查找合并为一次查找，从而将与稀疏特征相关的数百个操作减少为一个。

• 合并内存拷贝。每次推理时，数百个特征被作为单独的张量从CPU复制到GPU内存。调度数百个张量拷贝的开销成为瓶颈。为了减少张量拷贝操作的数量，我们在将它们从CPU传输到GPU之前，将多个张量合并为一个连续的缓冲区。这种方法减少了单独传输数百个张量的调度开销，改为传输一个张量。

• 形成更大的批次。对于基于CPU的推理，更小的批次更受欢迎，以增加并行性和减少延迟。然而，对于基于GPU的推理，更大的批次更有效[29]。这导致我们重新评估我们的分布式系统设置。最初，我们使用scatter-gather架构将请求分割成小批次，并在多个叶节点上并行运行它们以获得更好的延迟。然而，这种设置与基于GPU的推理不兼容。相反，我们直接使用原始请求中的更大批次。为了补偿缓存容量的损失，我们实现了一个使用DRAM和SSD的混合缓存。

• 利用CUDA图。我们依靠CUDA图9来完全消除剩余的小操作开销。CUDA图将模型推理过程捕获为操作的静态图，而不是单独调度的操作，允许计算作为一个单独的单元执行，没有任何内核启动开销。

3.4.3 实时特征处理

当用户采取行动时，基于Flink10的实时特征处理应用程序会消费前端事件生成的用户行为Kafka11流。它验证每个行动记录，检测并合并重复项，并管理多个数据源的任何时间差异。然后，应用程序将特征具体化并存储在Rockstore[3]中。在服务时间，每个Homefeed日志/服务请求触发处理器将序列特征转换为模型可以使用的格式。

4.实验

略

附录

https://arxiv.org/pdf/2306.00248