kuaishou在《Deconfounding Duration Bias in Watch-time Prediction for Video Recommendation》提出了D2Q的模型。

0.摘要

观看时间预测仍然是通过视频推荐加强用户参与度的关键因素。鉴于在线视频的日益流行，这一点变得越来越重要。然而，观看时间的预测不仅取决于用户与视频的匹配程度，而且常常被视频本身的时长所误导。为了提高观看时间，推荐系统总是偏向于时长较长的视频。 在这种不平衡数据上训练的模型面临偏见放大的风险，这误导平台过度推荐时长较长的视频，却忽视了用户的根本兴趣。 本文首次研究了视频推荐中观看时间预测的时长偏差问题。我们采用了因果图来阐明时长是一个混杂因素，它同时影响视频曝光和观看时间预测——第一个效果对视频造成偏见问题，应该被消除，而第二个效果对观看时间的影响来自视频的内在特性，应该被保留。为了去除不希望的偏见同时利用自然效果，我们提出了一个时长去混杂分位数基础（D2Q）的观看时间预测框架，它允许在工业生产系统中进行扩展性应用。通过广泛的离线评估和实时实验，我们展示了这一去混杂时长框架的有效性，显著优于现有的最先进基线。我们已经在快手应用上全面推出了我们的方法，这显著提高了实时视频消费量，因为观看时间预测更加准确。

1.介绍

在线视频消费的兴起促使人们不断努力优化基于互联网的视频点播（VOD）系统的推荐系统，如YouTube以及流媒体播放器，如TikTok、Instagram Reels和快手（见图1的演示）。因此，一个主要目标是提高用户观看视频的时间，即所谓的预期观看时间[7]。观看时间是每个视频观看中存在的密集信号，它关系到平台上的每个用户和视频，并代表了用户注意力的稀缺资源，这是公司竞争的关键。因此，在用户到达时，准确估计候选视频的观看时间至关重要。准确的预测使平台能够推荐可能具有较大观看时间的视频以提高用户参与度，这直接推动了关键的生产指标——日活跃用户（DAU）——从而推动收入增长。

图1

观看时间主要受两个因素的影响。众所周知，它主要由用户对视频的兴趣程度决定，并且当完全没有兴趣匹配时，观看时间可以为零[12, 29]。同时，视频本身的时长（即视频的长度）也在决定用户在视频上花费多长时间方面起着重要作用。图2显示用户观看时间与视频时长正相关。因此，标准的观看时间预测模型通常使用时长以及其他视频特征作为特征输入来进行预测[7, 8]。

图2

然而，这种做法不幸地在许多推荐系统中导致了偏见问题。图3展示了由于平台最大化用户观看时间的目标，推荐系统逐渐偏向于时长较长的视频。结果，时长较长的视频可能会被过度曝光，以至于用户真正的兴趣在推荐中被低估。更严重的是，在这种不平衡的数据上训练的模型会由于系统的反馈循环而放大时长偏见[27]，这不利于理想推荐中的多样性和个性化。

图3

尽管非常普遍，但与由item受欢迎程度或推荐位置引起的许多其他bias相比，时长bias的探索要少得多[1, 2, 18, 31, 38–40]。为了最大化用户观看时间，推荐系统可能会学习到物理时长和观看时间之间的虚假关联；因此，即使时长较长的视频可能无法很好地匹配用户兴趣，它们也更有可能被展示。另一方面，时长较长的视频通常由于现有的不平衡曝光而拥有更大的样本量，这可能会主导模型学习，使模型性能在不同时长上有所不同。

本文首次研究了观看时间预测中的时长偏见。我们使用了一个有向无环图（称为因果图[20]）来表征观看时间预测中关于时长的因果关系，由图4(a)建模。具体来说，时长作为一个混杂因素[20]，同时影响观看时间预测和视频曝光。时长对观看时间的第一个效应表明，用户倾向于花更多时间观看本质上物理时长更长的视频，这是一个自然效应，应该被观看时间预测模型捕捉。然而，时长对视频的第二个效应是一个bias项，困扰了许多观看时间预测模型。这种效应表明，时长影响视频印象的可能性，这代表了模型对时长较长视频的不公平偏好，应该被消除。与以往只使用时长作为观看时间预测特征的工作相比，这种对时长效应的明确建模使我们能够去除不希望的偏见，同时保留真正的影响。

为了处理时长偏差，我们遵循后门调整[21]的原则，并对观看时间预测的因果图进行干预，以去除时长对视频曝光的不良影响，如图4(b)所示。我们注意到，时长对观看时间的影响被保留，因为这种关系是内在的，应该在预测中被利用。在操作上，我们将训练数据按照时长等分为若干部分；对于每个时长组，我们学习一个回归模型来预测组内观看时间的分位数，其中label由原始观看时间值和相应组内观看时间的经验累积分布确定。这种分位数预测使得模型参数可以在不同时长组之间共享，带来可扩展性的好处。总的来说，我们总结我们的贡献如下：

• 观看时间预测中时长偏差的因果表述。我们采用因果图来形式化观看时间预测中被忽视但普遍存在的问题——时长偏差。我们指出时长是一个混杂因素，它同时影响观看时间预测和视频曝光，其中前者是内在的，应该被保留，而后者是偏差，应该被消除。
• 可扩展性的时长调整。在后门调整的指导下，我们根据时长划分数据，并为每个时长组拟合一个观看时间预测模型，以去除视频曝光上的时长偏差。我们根据时长修改观看时间标签，允许跨组参数共享，并实现可扩展性。
• 广泛的离线评估。我们在快手应用收集的数据上进行了一系列离线评估，以展示我们的模型相对于现有基线的优势。我们进一步对时长组数进行了消融研究，发现随着组数的增加，我们的模型性能首先提高（得益于时长去偏差），然后下降（由于组内样本量减少导致的估计误差增加）。
• 在实时实验中的好处。我们进一步在实时实验中实施了我们的方法，以促进快手平台上的视频推荐，表明通过去除不希望的时长偏差，我们的方法提高了观看时间预测的准确性，并与现有策略相比，有助于优化实时视频消费。

3.Watch-Time prediction的因果模型

我们的目标是：当推荐一个视频给某用户时，预估该用户在的watch time。我们会通过一个因果关系图（causal graph）进行公式化：它会将user、video、duration、watch-time、以及推荐系统在watch-time prediction和视频曝光上关于duration的混杂效应（confounding effect），如图4(a)所示：

图4 watch-time prediction的因果关系图：U-user、V-video、D-duration、W-watch time。图(a)建模了在视频曝光和watch-time prediction上的confounding effect。图(b)使用backdoor adjustment来 deconfound duration，并移除它在视频上的effect。

• U：表示user representation，包含了：用户人口统计学（user demographics）、即时上下文（instantaneous context）、历史交互等
• V：表示video representation，包含了：video topics等
• D：表示video duration，例如：视频长度
• W：表示用户花费在观看视频上的时间
• \(\lbrace U, V \rbrace \rightarrow W\)：会捕获在watch-time上的interest effect，它可以衡量用户对该视频有多感兴趣
• \(D \rightarrow W\)：会捕获在watch time上的duration effect，它会建议：当两个视频与用户兴趣相匹配时，更长的视频会接受到更长的watch time
• \(D \rightarrow V\)：表示duration会影响视频的曝光。推荐系统经常会对具有更长duration的视频有不平等的偏好；这样的bias会通过feedback loop会放大，如图3所示。另外，duration会影响模型训练，因为：i) sample size随duration的不同而不同，具有长duration的视频通常具有更大的sample size，这意味着 prediction模型具有更好的performance； ii) 在标准模型（比如：WLR）中，具有不同duraiton的videos会接受到不同sample weights，（它会影响在模型训练时的梯度分配）。

图3 在11个月上，kuaishou APP每个video duration相应的视频曝光变化。bins以duration的升序进行排序。bin的高度表示在该周期内曝光的差异。出于置信原因，绝对值会被忽略。平台的目标是提升watch time，曝光会偏向于那些具有长duration的视频。

明显地，在图4(a)中的causal graph表明：duration是一个会通过两条路径（\(D \rightarrow W, D \rightarrow V \rightarrow W\)）影响watch-time的混淆因子。第一条path会建议：duration具有一个与watch time的直接因果关系，它可以通过watch-time prediction被捕获，因为用户趋向于花费更多时间在长视频（对比起短视频）上。然而，第二条path会暗示着：video exposure不希望被它的duration所影响，因而，视频分布会偏向于长视频；如果没有缓解，由于推荐系统的feedback loop，predictions会面临着bias amplification的风险。

4.Duration Bias的后门调整（backdoor adujstment）

在本节中，我们会根据backdoor adjustment的原则来对duration进行解混淆（deconfound），其中：我们会移除来自duration的bias，但会保留来自在watch time上duration的效应。我们提出了一个可扩展的watch-time prediction框架：时长解混淆&基于分位的方法（Duration-Deconfounded and Quantile-based (D2Q)），主要内容有：

• i) 将数据基于duration进行划分来消除duration bias
• ii) 拟合watch-time 分位，而非原始值；来保证参数可以距多个groups进行共享以便扩展

我们将我们的training和inference过程分别归纳在算法1和算法2中。

算法1

算法2

4.1 解混淆Duration

根据do计算，通过移除edge：D -> V，我们会block掉在视频曝光上的duration effect，如图4(b)所示。我们将watch-time prediction模型看成是 \(E[W \mid do(U,V)]\)，并且有：

\[\begin{align} E[W \mid do(U,V)] & \overset{i}{=} E_{G_1} [W | U,V] \\ & \overset{ii}{=} \sum\limits_d P_{G_1} (D = d | U, V) E_{G_1} [W | U,V,D = d] \\ & \overset{iii}{=} \sum\limits_d P(D=d) E[W| U,V,D = d] \end{align}\]

…(1)

其中：

• (i)是总期望；
• (ii)是因为D独立于\(\lbrace U,V \rbrace\)，干预会移除在graph \(G_1\)中的边\(D \rightarrow V\)；
• (iii)是因为：这样的干预不会改变W在条件{U,V,D}上的W分布，D的间隔分布仍会相同

等式（1）阐明了deconfound duration的设计：你可以独立估计\(P(D)\)和\(E[W \mid U,V,D]\)，接着将他们组合在一起来构建最终的estimation。在本paper中，我们提出将duration分布P(D)离散化成不相交的groups，并拟合group-wise watch-time预估模型\(E[W \mid U,V,D]\)来完成估计。

4.2 基于Duration分位数的Data-Splitting

我们现在会展示一个使用duration deconfounded来估计watch-time的通用框架，如图4(b)所描述。更高层的思路是：将数据基于duration进行划分，并构建group-wise watch-time estimation以便在视频曝光上对duration进行debiase。

特别的，为了阻止 边D -> V，我们基于duration分位数将训练样本进行划分成M个相等的部分，它可以将分布P(D)离散化成不相交的部分。假设：\(\lbrace D_k \rbrace_{k=1}^M\)是这些duration groups。继续(1)中的派生，我们通过下面近似来估计deconfounded model \(E[W \mid do(U,V)]\)：

\[\begin{align} E[W \mid do(U,V)] & = \sum\limits_d P(D = d) E[W | U,V,D = d] \\ & \approx \sum\limits_{k=1}^M 1 \lbrace d\in D_k \rbrace E[W | U,V,D \in D_k] \\ & = \sum\limits_{k=1}^M 1\lbrace d \in D_k \rbrace f_k (U, V) \end{align}\]

…(2)

这里我们提供了一个关于“为什么这样的基于duration的数据划分过程，可以解缓图4(a)中边D->V的bias问题”的直觉解释。在标准的watch-time预估模型（如：WLR）中，具有长watch-time weights的样本会在梯度更新中采样更多，因而预估模型经常在短watch-time的样本上表现很差。Watch-time是与duration高度相关的，如图2所示。通过基于duration进行数据划分，并将模型以group-wise方式拟合，我们可以在模型训练期间，缓和那些具有长watch-time的样本、以及具有短watch-time的样本的inference。

图2 根据duration在视频上的60分位的watch time。阴影区（spanned area）表示watch-time的99.99%置信区间

然而，这样的data-splitting方法会抛出另一个问题。如果对于每个duration group \(D_k\)我们拟合一个单独的watch-time prediction模型\(f_k\)（如图5(a)所示），model size会变得更大，这在真实生产系统中是不实际的。但如果我们允许在duration groups间进行参数共享，使用原始watch-time labels进行拟合等价于没有data-splitting的学习，这在duration deconfounding上会失败。下面部分会解释：如何通过将原始watch-time labels转换成duration-dependent watch-time labels来解决该窘境，并允许我们同时移险duration bias，并维持模型参数的单个集合来获得可扩展性。

图5 对于在每个duration group预计watch-time的不同模型结构，例如：\(\hat{\phi}_k(h(u,v))\)。

• 图(a)会拟合独立的模型来预估每个duration group的watch time。“dense input”指的是：视频历史统计数（例如：historical show count, empirical watchtime）等。“ID input”指的是ID features（例如：user id, video id）和categorical features（例如：video类目、用户性别）
• 图(b)会拟合跨所有duration groups的单一模型，其中watch-time分位数的labels会通过在相应的duration group中的watch-time empirical distribution计算得到
• 图(c)会进一步使用网络结构中的duration信息，并相应地提升watch-time estimation

4.3 每个Duration Group估计Watch-time

接着，我们描述了如何使用来自所有duration groups的数据来拟合单个watch-time prediction模型。回顾下我们的设计有两部分：

• i) duration debiasing
• ii) 参数共享

问题的关键是：将watch-time label转换成duration-dependent，通过根据不同duration group拟合watch-time分位数来实现，而非原始values。我们会引入Duration-Deconfounded Quantile-based (D2Q) watch time预估框架。

\({\widehat{\phi}}_k (w)\)：表示在duration group \(D_k\)中关于watch-time的经验累计分布（empirical cumulative distribution）。

给定一个user-video pair (u,v)，D2Q方法会在相应的duration group中预估它的watch-time分位数，接着使用\(\hat{\phi_k}\)将它映射到watch time的值域中（value domain）。也就是说：

\[f_k(u, v) = \widehat{\phi}_k^{-1} (h(u, v))\]

…(3)

其中：h是一个watch-time分位数预估模型，它会拟合在所有duration groups上的数据：

\[h = \underset{h'}{argmin} \sum\limits_{\lbrace (u_i, v_i, w_i)\rbrace_{i=1}^n} (h'(u_i, v_i) - \widehat{\phi}_{k_i}(w_i))^2\]

…(4)

其中：

• $k_i$是样本i的duration group，以便$d_i \in D_{k_i}$。

你可以应用任意现成的regression模型来拟合分位数预估模型h，并维护在所有duration groups间单个模型参数集。

接着，在inference阶段，当一个新的user-video pair $(u_0, v_0)$到达时，模型会首先发现：视频$v_0$会属于哪个duration group $D_{k_0}$，接着将watch-time quantile预估$h(u_0, v_0)$映射到watch-time值$\widehat{\phi}_{k_0}^{-1}(h(u_0, v_0))$上。我们会在算法1和算法2上总结learning和inference过程。

在该方式下，D2Q会拟合那些是duration-dependent的labels。我们注意到：video duration会是model input的一部分，会将来自不同duration groups的不同样本进行输入，如图5(b)所示。另外，来自不同duration groups的样本会共享关于watch-time quantile的相同的label，但具有不同的特性——一个模型在跨groups学习watch-time quantile时会失败。为了完全利用duration information，你可以在模型结构中额外包含一个duration adjustment tower（比如：ResNet），我们在图5(c)中将它称为Res-D2Q。第5节演示了Res-D2Q会在D2Q之上进一步提升watch-time prediction accuracy。

对应于duration的watch-time labels的转换，允许在跨duration groups间同时进行 deconfounding duration bias和 parameter sharing。然而，随着duration groups的数目增加，group sample size会抖动，每个duration group的watch-time的经验累计分布（he empirical cumulative distributio）也会逐渐偏离它的真实分布。因此，由于 deconfounding duration的好处，模型效果应首先使用duration-based data-spliting来进行提升；接着，随着f duration groups数目的增长，经验时长分布（empirical watch-time distribution）的estimation error会主宰着模型效果，使它变得很糟。第5节会经验性地使用一系列实验来调整效果变化。

5.实验结果

在这一部分，我们提供实证证据来展示我们的方法在真实世界数据和实时实验中的效果。广泛的离线评估表明，我们的方法通过提供更准确的观看时间预测，超越了现有的基线，以至于预测值所引导的排名顺序更接近理想的排名。我们注意到，随着平台的目标是提高用户观看时间，与真实的观看时间值相比，排名在实际推荐视频时通常更受重视。此外，通过将我们的方法整合到短视频平台的推荐系统中，我们发现与替代方案相比，它有效地改善了实时视频消费，这得益于它能够基于优化的观看时间预测生成更好的候选视频排名。

5.1 离线评估

我们首先在从真实应用中收集的离线数据上评估我们的方法和其他基线。 特别是，我们感兴趣的是：

• （i）去混杂duration对观看时间预测有何贡献？；
• （ii）duration组的数量如何影响我们模型的性能？

5.1.1 数据。

我们使用了从快手App的在线推荐系统收集的生产数据。由于全屏Feed推荐的特性，收集样本中的每个视频都已向用户展示，并与用户观看时间相关联（如果用户立即滚动到下一个视频，则可能接近零）。具体来说，对于图4所示的因果图，我们有：

• 用户表示U：用户即时上下文（如地点、时间和设备）、静止上下文（如果可用，如人口统计信息）以及编码他/她兴趣的历史互动。
• 视频表示V：视频主题信息、相应的视频创作者信息以及与其它用户的先前交互。
• durationD：视频的长度。
• 观看时间W：用户观看的时间。

所有评估的算法共享相同的输入特征。总共，我们有 1,211,885,691 个样本用于训练，134,653,965 个样本用于测试，统计数据总结在表1中。

5.1.2 方法。

我们关注以下方法：

• VR（价值回归）。这种方法通过最小化预测值与实际观看时间之间的均方误差损失，直接预测观看时间值。
• WLR（加权逻辑回归）[7]。这种方法拟合一个加权逻辑回归模型，并使用学习到的赔率作为预测的观看时间。由于我们的情况中没有不感兴趣的视频，我们根据观看时间是否超过经验观看时间分布的 ( q60 ) 分位数来确定二元标签，该分布是在所有训练样本上计算的。按照[7]，正样本按观看时间加权，负样本接收单位权重。附录A详细说明了这种方法。
• D2Q（我们的）。如第4.3节所述，这种方法（i）基于duration分割数据；（ii）拟合一个回归模型——其架构如图5(b)所示——通过均方误差损失估计观看时间分位数。然后，预测的分位数被映射到观看时间值域——基于组内的经验观看时间分布——以输出最终的观看时间估计。
• Res-D2Q（我们的）。这种方法通过改进D2Q并按照ResNet的设计将duration纳入模型网络层，进一步利用duration信息。模型架构如图5(c)所示。

所有算法共享相同的网络架构，除了基于分类的算法WLR和分位数预测算法D2Q和Res-D2Q，我们通过Sigmoid函数重新调整输出，使其在[0, 1]范围内；对于Res-D2Q，我们在最后一层添加了一个残差多层感知器（MLP）进行duration调整，以帮助模型区分来自不同duration组的样本。附录B详细说明了网络架构的细节。对于我们这两种去混杂duration的算法D2Q和Res-D2Q，我们改变duration组的数量，范围在[1, 10, 20, 30, 50, 100]之间，以研究其对模型性能的影响。

5.1.3 指标。

我们考虑以下性能指标：

• MAE（平均绝对误差），它衡量预测值与真实值之间的平均绝对误差

\[MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|, \quad (5)\]

其中：$ y_i$ 和 $ \hat{y}_i$ 分别是样本i的真实值和预测值。

• XAUC，这是对 AUC（Area Under the Curve）的扩展到密集值。对于一对样本，如果两个视频的预测观看时间值的顺序与真实情况相同，我们给分1，反之则给分0。我们从测试集中均匀地抽取这样的样本对，并将这些分数平均作为XAUC。直观上，XAUC衡量预测观看时间所引起的排名与理想排序的一致性。更大的XAUC值表明模型性能更好。

• XGAUC，这是按用户计算 XAUC 然后按用户样本大小成比例加权平均分数。更大的 XGAUC 值表明模型性能更好。

我们指出，像 XAUC 和 XGAUC 这样的与排名顺序相关的指标在实际应用中通常比 MAE 测量的绝对值精度更受重视，因为平台是根据预测值的排名生成推荐。

5.1.4 结果-I：整体性能。

表2显示了不同方法在不同duration组数下的性能。请注意，VR（视频排名）和WLR（加权线性回归）没有数据分割，因此我们将它们的结果呈现在组数等于一的行中；当只有一个组时，Res-D2Q（调整后的D2Q）等同于D2Q，因为所有样本共享相同的duration调整，因此我们在那里省略了Res-D2Q的结果。我们的方法D2Q和Res-D2Q在30个duration组的情况下，在所有指标XAUC、XGAUC和MAE上达到了性能的峰值。特别是，通过在模型架构中进一步利用duration信息，Res-D2Q能更好地区分不同duration组的样本，因此在大多数情况下优于D2Q。当没有数据分割时，D2Q（直接拟合观看时间分位数）与LR（拟合观看时间值）的性能相当。然而，一旦数据根据duration进行分割，D2Q在任何实验的duration组数下都比LR生成更准确的预测，这证实了我们按duration分割数据以消除duration影响的有效性。

5.1.5 结果-II：duration组数的影响。

图6绘制了我们的方法D2Q和Res-D2Q在不同duration组数下的XGAUC值。当没有数据分割时，这两种方法彼此等效。一旦数据被分割以消除duration的影响，通过改进的网络架构和duration信息，Res-D2Q优于D2Q。随着duration组数的增加，性能首先提高，这是通过数据分割消除duration影响的优点，然后随着样本大小的减少，由于经验观看时间分布估计误差的增加，性能开始下降。这种观察与第4.3节中的讨论一致。

略

#

• 1.https://arxiv.org/pdf/2206.06003

Bo Li等在《Equalized Focal Loss for Dense Long-Tailed Object Detection》提出了EFL。

3. 方法论

3.1 重新审视Focal Loss

在单阶段检测器中，Focal Loss[28]是广泛使用的解决前景-背景不平衡问题的解决方案。它重新分配了easy样本和hard样本的损失贡献，极大地削弱了大多数背景样本的影响。二元分类的Focal Loss公式为：

\[FL(p_t) = -\alpha_t (1 - p_t)^{\gamma} \log(p_t) \quad (1)\]

如[28]中所述，

• $ p_t \in [0, 1]$ ：表示对象候选的预测置信度分数，
• $ \alpha_t$： 是平衡正样本和负样本重要性的参数。
• 调节因子$ (1 - p_t)^{\gamma}$： 是Focal Loss的关键组成部分。

它通过预测分数$ p_t$ 和聚焦参数$ \gamma$ 减轻easy样本的损失，专注于hard样本的学习。如[23]中提到的，大量负样本容易被分类，而正样本通常较困难。因此，正样本和负样本之间的不平衡可以大致看作是easy样本和hard样本之间的不平衡。聚焦参数$ \gamma$ 决定了Focal Loss的效果。可以从公式(1)得出，较大的$ \gamma$ 将大大减少大多数负样本的损失贡献，从而提高正样本的影响。这一结论表明，正样本和负样本之间的不平衡程度越高，预期的$ \gamma$ 值就越大。

当涉及到多类别情况时，Focal Loss应用于由sigmoid函数转换的输出logits上的C个分类器。C是类别的数量，这意味着一个分类器负责一个特定类别，即一个二元分类任务。由于Focal Loss用相同的调节因子平等对待所有类别的学习，它未能处理长尾不平衡问题（见表2）。

3.2 均衡Focal Loss公式

在长尾数据集（例如LVIS）中，除了前景-背景不平衡问题外，单阶段检测器的分类器还受到前景类别之间的不平衡问题的影响。

图2 在LVIS v1 [12] 训练集分割和COCO [29] trainval35k分割中，正样本与负样本数量的比率。为了更好地可视化，我们展示了比率的对数值，并将COCO的80个类别与LVIS的1203个类别对齐。我们采用ATSS [47]作为样本选择策略，以区分前景样本和背景样本。

如图2所示，如果我们从y轴观察，正样本与负样本比例的值远小于零，这主要揭示了前景和背景样本之间的不平衡。这里我们将比例的值称为正负不平衡度。从x轴观察，我们可以看到不同类别之间的不平衡度存在很大差异，这表明了前景类别之间的不平衡。显然，在平衡的数据分布（例如COCO）中，所有类别的不平衡度都是相似的。因此，使用相同的调节因子对所有类别在Focal Loss中是足够的。相比之下，在长尾数据情况下，这些不平衡度是不同的。稀有类别比频繁类别遭受更严重的正负不平衡问题。如表1所示，大多数单阶段检测器在稀有类别上的表现比在频繁类别上差。这表明，相同的调节因子不适合所有具有不同程度正负不平衡问题的情况。

聚焦因子。基于上述分析，我们提出了均衡Focal Loss（EFL），它采用与类别相关的聚焦因子来分别解决不同类别的正负不平衡问题。我们将第j个类别的损失公式化为：

\[EFL(p_t) = -\alpha_t (1 - p_t)^{\gamma_j} \log(p_t) \quad (2)\]

其中：

• $ \alpha_t $ 和 $ p_t $ 与Focal Loss中的相同。
• 参数 $ \gamma_j $ 是第j个类别的聚焦因子，它在Focal Loss中扮演与 $ \gamma $ 相似的角色。

如3.1节所述，不同的 $ \gamma $ 值对应不同程度的正负不平衡问题。

我们采用较大的 $ \gamma_j $ 来减轻稀有类别中的严重正负不平衡问题。对于轻微不平衡的频繁类别，较小的 $ \gamma_j $ 是合适的。聚焦因子 $ \gamma_j $ 被分解为两个部分，具体是一个类别不可知参数 $ \gamma_b $ 和一个类别特定参数 $ \gamma_{jv} $：

\[\gamma_j = \gamma_b + \gamma_{jv} = \gamma_b + s \frac{1 - g_j}{1 + g_j} \quad (3)\]

其中：

• $ \gamma_b $ 表示在平衡数据场景中的聚焦因子，它控制分类器的基本行为。
• 参数 $ \gamma_{jv} \geq 0 $ 是与第j个类别的不平衡度相关的可变参数。它决定了学习集中于正负不平衡问题的程度。

受EQLv2 [38]的启发，我们采用梯度引导机制来选择 $ \gamma_{jv} $。参数 $ g_j $ 表示第j个类别正样本相对于负样本的累积梯度比率。如[38]中提到的，较大的 $ g_j $ 值表示第j个类别（例如频繁）训练平衡，而较小的值表示该类别（例如稀有）训练不平衡。为了满足我们对 $ \gamma_j $ 的要求，我们将 $ g_j $ 的值限制在[0, 1]范围内，并采用 $ 1 - g_j $ 来反转其分布。超参数 $ s $ 是一个缩放因子，它决定了EFL中 $ \gamma_j $ 的上限。与Focal Loss相比，EFL独立处理每个类别的正负不平衡问题，从而提高了性能（见表3）。

加权因子。即使有了聚焦因子 $ \gamma_j $，仍然有两个障碍损害性能：（1）对于二元分类任务，较大的 $ \gamma $ 适用于更严重的正负不平衡问题。而在多类别情况下，如图3a所示，对于相同的 $ x_t^* $，$ \gamma $ 的值越大，损失越小。这导致我们想要增加对严重正负不平衡类别的学习集中度时，我们必须牺牲其在整体训练过程中的部分损失贡献。这种困境阻止了稀有类别取得优异的性能。（2）当 $ x_t $ 很小时，不同类别的样本的损失，具有不同的聚焦因子，将收敛到相似的值。实际上，我们希望稀有hard样本比频繁hard样本做出更多的损失贡献，因为它们稀缺，不能主导训练过程。 我们提出加权因子来缓解上述问题，通过重新平衡不同类别的损失贡献。与聚焦因子类似，我们为稀有类别分配较大的加权因子值以提高它们的损失贡献，同时保持频繁类别的加权因子接近1。具体来说，我们将第j个类别的加权因子设置为 $ \gamma_b + \gamma_{jv} / \gamma_b $ 以与聚焦因子保持一致。EFL的最终公式为：

\[EFL(p_t) = -\sum_{j=1}^{C} \alpha_t \left( \frac{\gamma_b + \gamma_{jv}}{\gamma_b} \right) (1 - p_t)^{\gamma_b + \gamma_{jv}} \log(p_t) \quad (4)\]

如图3b所示，有了加权因子，EFL显著增加了稀有类别的损失贡献。

同时，它更多地关注稀有hard样本的学习，而不是频繁hard样本。

聚焦因子和加权因子构成了EFL中的类别相关调节因子。它使分类器能够根据其训练状态 $ p_t $ 和相应的类别状态 $ \gamma_j $ 动态调整样本的损失贡献。如4.3节所述，聚焦因子和加权因子在EFL中都扮演着重要角色。同时，在平衡的数据分布中，所有 $ \gamma_{jv} = 0 $ 的EFL等同于Focal Loss。这种吸引人的特性使得EFL能够很好地应用于不同的数据分布和数据采样器。

#

• 1.https://arxiv.org/pdf/2201.02593

meta在《PIE: Personalized Interest Exploration for Large-Scale Recommender Systems》中提出了用户个性化探索框架（PIE）：

3.问题

为了准确解决问题，推荐系统模型通常依赖数据。然而，如果没有数据，这些系统在发现新兴趣或逃离局部最小值的能力上会受限。例如，如果一个特定用户对篮球视频感兴趣，但从未曝光过这样的内容，因为机器学习系统没有训练数据来学习这种情况。换句话说，我们可能不会知道用户的所有不同兴趣。另外，用户兴趣可以随时间变更，以反映最近趋势或新闻事件。因此，对于推荐系统来说，系统地探索多种内容是一种非常重要的能力，以便提供相关推荐服务给用户。

图1 用户兴趣的探索（Exploration），会更好最大化推荐系统提供的价值

仅仅只利用（exploiting）用户的过往理解，会产生重复内容，从而错过许多其它用户兴趣。我们希望探索其它更少关注的主题（topics），以便我们可以发现更多的兴趣，或者引入新用户给我认识。该探索（exploration）需要高效、有效、并于可以与利用策略（exploitation strategy）进行最优权衡。

4.系统设计

我们在推荐系统的顶层设计了 exploration系统。图2的蓝色路径展示了所有主要组件。该exploration系统只有在blending pass时会与已存在的推荐系统相交互，在最终提供服务给用户之前，在ranking后最好的exploration videos会与non-exploration videos进行混合。相同的设计可以很容易地被应用到任意已存在的推荐系统中。

图2 在已存在推荐系统的ranking框架中包含个性化探索（personalized exploration）

4.1 个性化的探索空间（Personalized Exploration Space）

探索在每个user与每个内容间的喜好程度是很难穷举的（exhaustive）。作为替代，我们尝试学习在每个user与每个属性间的喜好，它是一个更小的集合。本文主要关注学习user-creator间的连接（connections）。

图3 从user-content移向user-attribute-content

我们使用PPR（ Personalized PageRank）算法来创建了user-creator间的喜好。PPR是一个基于graph learning的随机游走，它会基于engagement数据来学习entity-entity相似度。对比起基于算法的CF，PPR的优点是可以利用多跳信息，因此允许更多的探索。另外，PPR对于那些具有较低先验参与度的creators很友好。

我们的方法如下描述。

• 首先，我们创建一个基于users和creators间的bi-graph作为source和target，反之亦然。
• 接着基于在过往一些天的user engagement来分配权重给edges。
• 接着，运行一个个性化的creator rank算法，并过滤掉那些是creators的nodes。通过这一步，对于一个给定creator，我们可以获得相似creators的一个集合。
• 现在，我们会采用与creators的用户交叉，并使用最后一步的output来聚合top-k creators。在设计上，这些creators对用户来说是新的，并且能非常好地拟合exploration use case。

为了高效提升exploration，我们在creator level添加了两个filters：

• Novelty Filter：会移除那些用户之前交互过的creators，确保exploration system只捕获用户的新兴趣；
• Quality Filter：会移除低质量creators，比如那些具有Watchbait内容的creators、或者在aggregated level上通过exploration具有较低engagement的creators。

4.2 在线探索（Online Exploration）

user exploration的目标是：通过推荐新的creators给用户来减少不确定性。通过从一个高基数选项开始，并朝着一个被认为是“过期（expired）”或“连接（connected）”的新creator的state收敛。其中，存在与该过程相关的机会开销，用户会潜在受益于符合它们品味的更多样推荐。

为一个用户探索创建的空间的过程，可以被公式化成一个online bandit问题：

• 一个简单的解决方案可以是Thompson sampling
• 另一个更refined的解决方法是contextual bandit，其中：user、creator以及interaction features会被考虑上。

为了保持简单，我们这里仍使用Thompson sampling。每次要呈现一个exploratory video时，目标是最大化基于过往context和actions的cumulative reward。我们使用Thompson sampling来发现creators，并且接着选择来自selected creator的视频。我们将reward定义为来自该creator的视频消费数（engaged），其余的（rests）则认为是failures。 Rewards和rests会被用于计算在Thompson sampling中参数\(\alpha\)和\(\beta\)。该exploration会发生在user level上。

图4 （左）random sampling vs. (右)Thompson sampling. sampling creators分布随时间演进

4.3 在explore/exploit间的平衡分发

在一个point-wise ranking推荐系统中，引入exploratory内容是挑战性的，因为不确定的预估通常会被一个well-optimized ranker打分偏低。我们在推荐系统中构建了一个特别的分发系统（specialized delivery system），以一个受控的方式来引入不确定性（uncertainty）。

Exploration Composition

我们使用一个概率融合层（probabilistic blending layer），它会考虑在用户当前session中exploration的组成，并插入（slot）一个exploration video来强制一个预先决定的组成。

5.实验

5.1 setup

为了测试我们提出的方法，我们在Facebook Watch上执行一个在线实验。受[3]的启发，我们根据两个条件将用户分成4组。

• 条件 1: 是否提供exploration内容给用户。对于获得exploration内容的用户，我们会依赖blending pass来控制exploration videos的曝光接近6%。
• 条件 2: 推荐系统是否使用exploration data进行训练。两个推荐模型，model A和model B，会使用相同的结构和features进行训练。我们会移除来自模型A的training set通过exploration收集到的数据。为了做出一个公平对比，一个特定量的non-exploration data会从模型B的训练集中随机移除，以便模型A和模型B具有相同size的training set。

上面的表1展示了4个分组的条件组合。

5.2 Metrics

当它开始理解video exploration的价值时，大挑战之一是寻找合适的metrics。像watch time这类常用metrics会临时恶化，因为exploration会利用机会开销来展示一些具有更高不确定性的内容。再者，我们相信，exploration会取出局部最大值，到一个全局最优解，它在engagement metrics上没有short-term regression是不可能的。

exploration的一个主要目标是：发现在users和未知content偏好间的有意义连接，我们定义了一个metrics集合作为这些连接的代理（proxies）。

Strong Creator Connection (SCC)：

当一个user对于一个特定creator、在M天的一个窗口内、具有至少N个engagement事件，会生成SCC。对于偏好或内容，我们使用creators作为我们的proxy，对于creators通常会发布一个具有genre, tone, theme的内容等。在短期内，SCC足够敏感，来反映在users和creators间构建的连接。在long run中，我们已经看到在SCC和user engagement间的一个高相关性（见图5）。

图5

Strong Creator Connection-Daily Active User (SCC DAU)

该metric会统计那天些具有non-zero SCC metric的用户数目。该指标的增加，会表示更多用户已经构建了强的creator connection。

Novel Strong Creator Connection (Novel SCC)

新的SCC会被成：在一个user和一个creator间形成的strong creators connections，该用户在过去P天没有engagement。对比起SCC，新SCC会进一步从non-exploration中切出exploration的影响。它也会帮助measure在用户兴趣中的long-term shift。

6.结果

我们做了4周的A/B testing，在Facebook Watch中使用exploration framework对用户的videos进行rank。该test results会展示：exploration会导致在整体和新strong creator connections同时胜出。

User Exploration Value

第4组 vs. 第1组展示了将exploration引入到推荐系统中的网络影响。它是一个关于用户获得exploration内容、和exploration信息的feedback的组合影响。我们观察到：在SCC上有3.5%的增长，在SCC DAU上有0.26%增长，在Novel SCC上有0.85%增长。在用户视频消费、日留存、周留存上没有统计显著的影响。图6展示了SCC在周期上的gains。

图6

System Exploration Value

由于第3组、第1组会提供exploration content，在第3组和第1组间的对比只影响exploration data的好处。我们看到在engagement中有一个0.28%提升，在SCC metrics上不会有统计显著变化。

Strict Exploration Value

第2组 vs. 第1组展示了在没有，添加一个feedback loop时（使用来自exploration收集的信息来提升推荐模gajf ），exploration content给用户的影响。它会measures网络的机会开销，并展示更多不确定的exploration content，来替代那些来自推荐系统推出的视频。我们看到，一个engagement regression有0.53%。另一方面，serving exploration content会生成一个0.55%会增加SCC。

兴趣分布

为了可视化在user engagement上exploration的影响，我们会分别为每个subtopic计算user engagement，并绘制在图7中的histogram。x轴表示在log scale中的impressions和engagement, y轴表示在那个bucket中的subtopics数目。有exploration(test组)和无exploration（control组）的结会被绘制。左图展示了：在test group中，大多数subtopics会具有在4边上的log impressions，而在control组中，不同subtopics接受到的impressions会各有不同。换句话说，我们可以通过exploration将兴趣曝光分布漂移至一个更平衡的曲线。相似的，右图中，在engagement分布中的漂移表示：相关和新兴趣可以在 engagement-interest分布上进行平衡。

图7

• 1.https://arxiv.org/pdf/2304.06844.pdf

meituan在《Enhancing Personalized Ranking With Differentiable Group AUC Optimization》中提出了PDAOM loss：

抽要

AUC是评估classifier效果的一个常用指标。然而，大多数分类器使用cross entropy训练，它不会直接最优化AUC metric，这在training和evaluation间会存在一个gap。这里提出的PDAOM loss：一个最大化violation的个性化可微AUC最优化方法（Personalized and Differentiable AUC Optimizationy method with Maximum violation）, 当训练一个二分类器时可以直接应用，并使用gradient-based方法进行最优化。特别的，我们会使用通过user ID group在一起的sub-batches内的不同的（neg, postive）pair样本，来构建了pairwise exponential loss，目标是指导分类器关注：在独立用户视角下，很难区分的正负样本对间的关系。对比起pairwise exponential loss的原始形式，提出的PDAOM loss不仅会提升在离线评估中的AUC和GAUC metrics，也会减少训练目标的计算复杂度。再者，在“猜你喜欢”的feed推荐上，PDAOM loss的在线评估可以获得在点击数上 1.4%的提升，在订单数上获得0.65%的提升，这在online life service推荐系统上是个显著的提升。

1.介绍

二分排序(Bipartite ranking)在过去受到了大量关注，在工业应用中被广泛使用。它的目标是：学习一个模型，使得正样本的排序高于负样本。不失一般性，我们以推荐系统为例，并详述二分排序。根据一个用户的历史行为统计，推荐系统会提供一个关于items的有序列表，其中，感兴趣的items会出现在不感兴趣的items之前。达到该目标的关键思想是：为每个item预估CTR。用户浏览过但没有点击的items会被标记为负样本，点击过的items会被标记为正样本。接着，CTR预估模型可以被训练成一个二分类器，并使用 cross entropy进行最优化。这种方式下，每个样本会被独立对待，并且在训练期间，正负样本间的限制关系不会被引入。另一个关注点是：对比起用户看过的items，clicked items只占一小部分。因而，模型的效果基本上使用AUC metric进行评估，其中数据分布是imbalanced的。AUC会measures：对于一个随机抽样的正例的score，它要比一个随机抽样的负例score具有更高分的概率。然而，在训练期间cross entropy目标，不会完全与evaluation期间的目标完全对齐。实际上，一个常见现象是，当训练loss减少时AUC metric不会增加，在工业界推荐数据集上训练的一个示例如图1所示。它会启发我们，在训练期间直接对AUC metric进行最优化。

图1 loss曲线和AUC metric随training steps的变化，其中AUC metric不总是随loss的减少而增加

另一个大问题是：推荐系统经常面对“长尾”现象，例如：一小部分商品会占据着大量的销售额。图2展示了来自Meituan电商的统计数据。我们根据它们的订单质量将商品分为100 bins，并绘制出top 30 bins。我们可以看到，top 1 bin的商品贡献了37%的订单，top 20 bins的商品贡献了80%的订单。如果我们使用这样不均衡的数据来训练一个CTR预估模型，该模型会趋向于分配更高得分给热门商品，即使一些用户可能不喜欢这些items，这在个性化预估上会降低模型效果。Group AUC【19】是一个合理的metric，用于评估一个ranking model的个性化推荐能力。它会通过user ID进行分组，计算各个sets中的AUC，并每个set的结果进行平均。经验上，对比起AUC metric，离线的GAUC metric会与在线效果更一致些，进一步启发我们在训练ranking model时将GAUC metric加入到objective中。

图2 在美团电商中的长尾现象。top bins中的商品贡献了大比例的订单

然而，有两个原因阻止我们直接最优化AUC metric。

• 一方面，AUC metric会通过一个binary indicator函数的总和来计算，它是不可微的。因而，gradient-based optimization方法不能应用于该问题中。
• 另一方面，AUC的公式会考虑上每个postive/negative样本对，会导致时间复杂度上升到\(O(N^+ N^-)\)，它在实际工业推荐场景中是不可接受的，通常会是数十亿阶。

该问题上做了大量研究：

• 对于前者：对于原始AUC公式，最近工作尝试替代可微替代目标函数（differentiable surrogate objective function）。【18】提出了使用它的convex surrogate（例如：hinge loss function）来替代indicator function。【2】设计了一个regression-based算法，它使用pairwise squared objective function，用于measure在不同分类的两个实例间的ranking errors。【3】研究了基于最优化pairwise surrogate objective functions的AUC一致性
• 对于后者：mini-batch 最优化策略可以使得处理大规模数据集。为了将AUC最大化方法应用于data-intensive场景，我们会研究以mini-batch方式最优化它。

特别的，我们提出了PDAOM loss，它关注于难区分的正负样本对，而非将所有组合考虑在内。该trick不仅会提升offline效果，也会减小最优化的复杂度。

2.相关工作

略

3.方法

A.前提

AUC的原始定义与ROC curve有关。假设分类器会生成一个连续值，用于表示输入样本是postive的概率，接着需要一个决策阈值来决定：样本是该标记成postive还是negative。对于每个阈值来说，我们可以获得一个true-postive rate和false-postive rate的pair。通过将该阈值从0到1进行遍历，我们绘制出获得的rates的pairs，就生成了ROC曲线。因而，通过对ROC曲线的下面面积计算均值的AUC metric是很复杂的。AUC的一个等价形式是：归一化的Wilcoxon-Mann-Whitney (WMW)统计：

\[AUC = \frac{\sum\limits_{i=0}^{m-1} \sum\limits_{j=0}^{n-1} \mathbb{1} (f(x_i^+) > f(x_j^-))}{mn}\]

…(1)

其中：

\(\lbrace x_i^+ \rbrace\)和\(\lbrace x_j^- \rbrace\)分别是postive和negative样本的集合。由于indicator function是不可微的，WMW统计不能使用gradient-based算法进行最优化。它启发我们寻找一种可微的surrogate objective function，用于替代WMW statistic。也就是说，获得surrogate function的最优解等价于最大化AUC metric。我们将使用将surrogate的objective function公式为：

\[\underset{x^+ \sim P^+, \\ x^- \sim P^-}{E} (\phi(f(x^+) - f(x^-)))\]

…(2)

其中：

• \(\phi\)是surrogate function，一些常用的示例如表1所示。
• \(P^+, P^-\)分别表示正负样本分布

表1 常用的surrogate function，当成AUC的indicator

在本paper中，我们出于两个原因会使用pairwise exponential loss 作为surrogate。

• 首先，【3】中已经证明，pairwise exponential loss与AUC一致。
• 第二，我们会对比在我们的先决实验列出的surrogates，并发现pairwise exponential loss要胜过离线评估（如表4所示）

表4

B. AUC Optimization with Maximum Violation

上述提到的surrogate objective function存在两个主要缺点：

• 一方面，这样的objective会等价地关注于每个pair，因而，分类器会花费大量精力在建模易区分的正负样本对关系上。
• 另一方面，对于一个batch数据，它包含了\(N^+\)的正样本和\(N^-\)的负样本，处理每个pair的复杂度是\(O(N^+ N^-)\)，它对于一个大batch-size来说是很耗时的。

聚焦于上面的问题，我们提出构建难样本对，并让模型关注于难样本对，而非所有样本对。一个难样本对指的是：模型很难区分正/负样本labels的实例。因而，对于这样的正负样本对，输出scores是很接近的，它使得决策边界不好判断。考虑：

\[\underset{x^+ \sim P^+ \\ x^- \sim P^-}{E} (\phi(f(x^+) - f(x^-))) \leq \underset{x^+ \sim P^+ \\ x^- \sim P^-}{max} ( \phi(f(x^+) - f(x^-)))\]

…(3)

（3）的一个可行解是：设置 \(\underset{x^+ \sim P^+, \\ x^- \sim P^-}{max}(\phi(f(x^+) - f(x^-)))\)作为objective function。计算该最大值只依赖于那些很可能有violate relation的正负样本对。在该方式下，来自easy negatives的loss累积不会影响模型的更新。尽管这样的转换会导致模型关注于确定决策边界，复杂度仍然是\(O(N^+ N^-)\)。由于\(f(x^+) - f(x^-) \in [-1, 1]\)，surrogate function \(\phi\)会在该区间内单调递减。相等的，\(\underset{x^+ \sim P^+ \\ x^- \sim P^-}{max} (\phi(f(x^+) - f(x^-)))\)可以简化为：

\[\phi (\underset{x^+ \sim P^+ \\ x^- \sim P^-}{min}(f(x^+) - f(x^-))) = \phi( \underset{x^+ \sim P^+}{min} f(x^+) - \underset{x^- \sim P^-}{max} f(x^-))\]

…(4)

理想的，一个正样本的最低分期望会高于在一个batch内负样本的最高分。我们将DAOM loss定义为：

\[L_{DAOM} = \phi( \underset{x^+ \sim P^+}{min} f(x^+) - \underset{x^- \sim P^-}{max} f(x^-))\]

…(5)

注意，我们只会选择具有最高score的正样本，以及具有最低score的负样本，构建pair的复杂度会减小到 \(O(N^+ + N^-)\)。

通过GAUC最优化来增强个性化排序

以上章节详述了如何构建在一个batch内的paired samples，但它满足不了个性化推荐的需求。实际上，我们会发现，GAUC[19] metric与在线效果更一致些。相应的，一个天然的想法是，当最优化模型时，将GAUC metric添加到objective中。考虑GAUC指标的原始计算，样本会首先被分成多个groups。在本context中，groups会被通过user ID进行划分。接着，AUC metric会分别在每个group中计算，GAUC metric会通过将所有groups的AUC metrics进行加权平均得到。weight与曝光或点击次数成比例，这里我们对所有用户将weight设置为1。我们会在训练阶段模拟GAUC的计算：

• 当准备训练数据时，我们会根据每个样本的user ID对样本进行排序，以便属于同一个用户的样本会出现在相同的batch中
• 一个batch的数据可能会包含许多不同的user IDs，我们将batch划分成sub-batches，在sub-batch中的user ID是相同的

接着我们应用DAOM loss到每个sub-batch中，并将个性化DAOM loss定义为：

\[L_{PDAOM} = \sum\limits_{u \in U} \phi( \underset{x^+ \sum P_u^+}{min} f(x^+) - \underset{x^- \sim P_u^-}{max} f(x^-))\]

…(6)

其中，U表示由user ID分组的sub batches。在训练一个二分类器的条件下，提出的PDAOM loss与cross entropy一起来形成最终的objective function：

\[L = -y log(f(x)) - (1-y) log(1 - f(x)) + \lambda \sum\limits_{u \in U} \phi( \underset{x^+ \sim P_u^+}{min} f(x^+) - \underset{x^- \sim P_u^-}{max} f(x^-))\]

…(7)

其中：y是label，\(\lambda\)会对cross entropy和PDAOM loss的weight进行balance。

实验

略

• 1.https://arxiv.org/pdf/2304.09176.pdf

google在2021年的《Learning to Embed Categorical Features without Embedding Tables for Recommendation》中提出了一种Deep Hashing Embedding方法来编码categorical feature：

摘要

分类特征（例如user/item ID）的embedding learning是各种推荐模型的核心。标准方法是创建一个embedding表，其中每一行代表每个唯一特征值的专用嵌入向量（dedicated embedding vector）。然而，这种方法无法有效处理高基数特征（high-cardinality features）和在现实世界推荐系统中普遍存在的未见过的特征值（例如新的视频ID）。在本文中，我们提出了一种替代嵌入框架——深度哈希嵌入（DHE：Deep Hashing Embedding），通过深度嵌入网络动态计算嵌入，取代了embedding table。DHE首先使用多个哈希函数和转换将特征值编码为唯一标识符向量，然后应用深度神经网络（DNN）将标识符向量转换为embedding。编码模块是确定性的、不可学习的，并且无需存储，而嵌入网络在训练期间更新以学习生成嵌入。

实证结果表明，DHE在模型尺寸更小的情况下，与标准的独热满嵌入（one-hot full embedding）达到了可比的AUC。我们的工作为设计不使用嵌入表查找的基于DNN的分类特征替代嵌入方案提供了新的见解。

1. 引言

机器学习在建模各种数据类型方面具有高度的通用性，包括连续特征、稀疏特征和序列特征。在这些特征中，我们专注于改进大词汇量分类特征的嵌入学习。具体来说，我们假设：一个分类特征由词汇表𝑉定义，其中特征值是𝑉中的（确切的）一个元素。例如，ID特征通常是分类特征，其中每个特征值是一个唯一ID（例如视频ID）。另一个例子是“设备”特征，“iPhone 12”是一个可能的特征值。

嵌入学习已经成为建模分类特征的核心技术，并已被采用在各种模型中，如矩阵分解（MF）[28]和word2vec[24]。嵌入学习技术极大地帮助我们理解特征值（例如单词）的语义含义。embedding还已成为深度模型捕获特征值之间更复杂交互的基石（例如BERT[7]，DeepFM[10]）。

尽管嵌入学习在自然语言处理（NLP）[24]等多个领域取得了成功，但在推荐系统中应用嵌入学习时存在几个挑战：

• 巨大的词汇量size：推荐系统通常需要处理高基数的分类特征（例如，在线视频分享平台的视频ID可能达到数十亿）。此外，在自然语言处理（NLP）任务中，单词的词汇量通常较小（例如，高级模型BERT[7]只有30K个标记的词汇表），这是由于常用的子词分割[29]技术用于减少词汇量。但是，将这种方法应用于推荐系统中的分类特征通常是不可行的.
• 输入的动态性质：与相对静态的单词词汇表不同，推荐系统中的Vocabulary table可能高度动态。新user和新item每天都在进入系统，而过时的item逐渐消失.
• 高度偏斜的数据分布：推荐数据中的分类特征通常遵循高度偏斜的幂律分布。少量具有不频繁特征值的训练样本会显著影响长尾item的embedding质量。

独热编码（one-hot encoding）广泛用于嵌入学习，它将一个特征值映射到一个one-hot向量，然后查找嵌入表中的嵌入向量。然而，one-hot表示通常会导致巨大的嵌入表，特别是对于大词汇量特征，同时它也未能适应词汇表外的特征值。在大规模网络推荐系统中，大部分参数都在embedding table上，而神经网络本身只占很小一部分参数[5]。在实践中，为了更好地处理新的（即词汇表外/未见过的）特征值并降低存储成本，通常采用hashing trick[36]，它随机地将特征值映射到较少数量的哈希桶中，尽管不可避免的嵌入冲突通常会损害性能。本质上，这些嵌入方法可以被视为一个1层宽度的神经网络（即嵌入表）带有one-hot编码。

在本文中，我们寻求探索一种深度、狭窄且无冲突的嵌入方案，而不使用embedding table。我们提出了深度哈希嵌入（DHE）方法，使用密集编码(dense encodings)和一个深度嵌入网络来动态计算embedding。这完全取代了传统的embedding table。

具体来说，我们使用多重哈希和适当的转换来为给定特征值生成唯一的、确定的、dense real-valued的向量作为标识符编码（identifier encoding），然后深度嵌入网络将编码转换为最终的特征embedding。特征嵌入随后被送入推荐模型（例如MF或深度推荐模型）进行端到端训练。

图1展示了标准基于one-hot embedding与DHE之间的比较。

图1 一个基于one-hot的full embedding和深度哈希嵌入（DHE）的示意图，用于为200万个ID生成32维嵌入。维度数字来自我们的实验，以提供一个具体的例子。这两种模型达到了接近的AUC，而DHE的size仅为full模型的1/4。DHE使用密集哈希编码来为每个特征值获得一个唯一标识符，并应用深度嵌入网络来生成特征嵌入。DHE不执行任何嵌入查找

我们的主要贡献如下所示：

• 我们分析了各种嵌入方法，包括针对categorical特征的hashing-based的方法。与严重依赖one-hot编码的现有方法不同，我们通过多重哈希将每个特征值编码为唯一的dense编码向量，这是完全去除大词汇量特征的巨大嵌入表的第一步
• 通过dense编码，我们用深度嵌入网络取代了常用的embedding loopup（本质上是一个浅层且宽的网络），这样做在参数上更高效
• 我们还解决了可训练性和表达能力问题，以提高embedding生成的能力
• 我们提出了基于上述编码和深度嵌入网络的深度哈希嵌入（DHE）。我们进一步改进DHE，通过在编码中整合侧特征，使其更好地泛化到特征值和新值

我们在两个具有大词汇量分类特征的推荐任务基准数据集上进行了广泛的实验。我们与最先进的模型进行了比较，并分析了DHE中各种关键组件的效果。结果表明，DHE是one-hot full embedding的一个有前景的替代方案。

我们首先从神经网络的角度讨论了各种现有的基于one-hot的嵌入方法。然后我们介绍了DHE的密集哈希编码（dense hash encodings）、深度嵌入网络（deep embedding network）、以及使用side features以获得更好编码的扩展方法，在我们呈现实验结果之前。最后，我们讨论相关工作，总结我们的论文，并指出未来工作的有前景的方向。

2.one-hot based embedding learning

嵌入学习的核心思想是将特征值映射到一个𝑑维连续空间中。这些可学习的嵌入可以被浅层模型如word2vec[24]或MF[28]直接使用，以衡量两个特征值之间的相似性（例如，相似单词的嵌入之间的大内积）。此外，像DeepFM[10]或BERT[7]这样的深度模型，可以通过考虑embedding之间的交叉来建模更复杂的结构。

我们定义了一个通用框架，用于描述各种现有的嵌入方法以及我们提出的方法。

• 嵌入函数：$T : 𝑉 → 𝑅^𝑑$：它将一个特征值（来自大小为$|𝑉| = 𝑛$的词汇表𝑉）映射到嵌入向量$e \in R^𝑑$。

一般来说，嵌入函数可以分解为两个组件：$T = F \circle E$，其中：

• E是一个编码函数，用于在某些空间中表示特征值
• F是一个解码函数，用于生成嵌入向量v

在本节中，我们介绍了基于one-hot编码的全嵌入（full embedding）和基于哈希的嵌入（hashing embedding）方案。相关符号总结在表9中。

2.1 One-hot Full Embedding

这是最直接且最常用的嵌入分类特征的方法，它为每个特征值分配了一个在嵌入表中唯一的𝑑维嵌入。具体来说，编码函数𝐸将一个特征值映射到一个独特的one-hot向量。在离线设置中，即使特征值是非数值类型（如字符串，例如分类特征“国家”的特征值“日本”或“印度”），这也很容易实现，因为我们可以从特征值到$\lbrace 1, 2, …, 𝑛 \rbrace$获得一对一的映射。

因此，我们假设特征值已经被映射到$\lbrace 1, 2, …, 𝑛 \rbrace$，然后嵌入方法创建了一个嵌入表$W \in R^{𝑛 \times 𝑑}$，并查找其第s行$W_𝑠$以获取特征值𝑠的嵌入。这相当于以下步骤：

• (i) 我们应用编码函数𝐸，使用one-hot编码向量对特征值𝑠进行编码：$𝐸(𝑠)=b \in \lbrace 0, 1 \rbrace^𝑛$，其中：$𝑏_𝑠=1$且$𝑏_𝑗=0(𝑗 \neq 𝑠)$
• (ii) 然后我们应用解码函数𝐹，一个可学习的线性变换$W ∈ R^{𝑛×𝑑}$来生成嵌入e，即$e = 𝐹(b) = W^T b$。

简而言之，embedding lookup过程可以被视为一个基于one-hot编码的1-layer神经网络（无bias项）。

2.2 One-hot Hash Embedding

尽管full embedding简单且有效，但在大规模或动态设置中存在两个主要问题：

• (i) 嵌入表的大小与词汇量大小线性增长，可能导致巨大的内存消耗。例如，仅用于10亿视频ID的100维嵌入就占用了接近400GB的内存；
• (ii) 在新值不断出现的在线学习环境中，full embedding方案无法处理未见过的（词汇表外的）特征值。为了解决上述问题，已经提出了各种基于哈希的方法（例如[30, 34, 36]），并在生产规模系统中广泛使用，用于处理大词汇量和词汇表外的分类特征（例如Youtube[37]和Twitter[38]）。

hasing trick[36]是一种代表性的哈希方法，用于减少大型词汇量的one-hot编码的维度。编码函数𝐸仍然将特征值映射到一个one-hot向量（但是使用通常更小的基数𝑚）:

\[𝐸(s) = b \in \lbrace 0, 1 \rbrace^𝑚\]

其中：

• $𝑠 \in 𝑉, 𝑏_{𝐻(𝑠)}=1$, 且$𝑏_𝑗=0 (𝑗 \neq 𝐻(𝑠))$
• 𝐻：为哈希函数，将特征值（包括未见过的值）映射到{1, 2, …, 𝑚}上，其中𝑚是哈希后词汇量的size

哈希函数𝐻试图尽可能均匀地分配哈希值以减少冲突，尽管当$𝑚 < 𝑛$时这是不可避免的。类似地，解码函数返回embedding table的第𝐻(𝑠)行。总之，hashing trick使用哈希将特征值映射到𝑚维one-hot向量，然后应用1层网络来生成嵌入。

3 深度哈希嵌入（DHE）

如前一节所介绍的，无论是full embedding还是hashing-based embedding方法，本质上都是基于one-hot编码和浅层网络。在本节中，我们提出了深度哈希嵌入（DHE），这是一种用于在大词汇量或动态设置中进行嵌入学习的替代方案。DHE使用real-valued dense编码和深度神经网络来生成embedding，无需任何embedding lookup。

遵循编码和解码的嵌入框架（T = F ◦ E），我们提出了几个设计良好编码的属性，然后介绍我们的编码函数E和DHE中的解码函数F，接着是增强side features的编码设计，以实现泛化。

3.1 编码设计

如果我们没有对特征值的任何先验知识，那么怎样才算是一个良好的编码？这是我们在本节中研究的核心问题，它也引出了我们的DHE的编码设计。我们得到了具备以下良好编码属性的设计：

• 唯一性：编码对于每个特征值应该是唯一的。这也是full embedding和多重哈希方法（multiple hashing）的目标。否则，就会有特征值不得不共享相同的编码。冲突的编码使得后续的解码函数无法区分不同的特征值，这通常会损害模型性能。
• 相等相似性(Equal Similarity)：我们认为只有唯一性是不够的。一个例子是二进制编码，它使用二进制表示作为整数（例如ID）的编码：例如，$𝐻(9)=[1, 0, 0, 1]$。我们可以看到，与$𝐻(7) = [0, 1, 1, 1]$相比，$𝐻(8)=[1, 0, 0, 0]$与𝐻(9)更为相似。我们认为：这引入了一个错误的归纳偏差（inductive bias：即ID 8和ID 9更相似），可能会误导后续的解码函数。双重哈希（double hashing）存在类似的问题：在某个哈希函数中发生冲突的两个特征值的编码，比在两个哈希函数中都没有冲突的两个值的编码更相似。由于我们不知道分类特征之间的语义相似性，我们应该使任意两个编码的相似性相等，不引入任何归纳偏差。
• 高维度（High dimensionality）：我们希望编码对于后续的解码函数来说易于区分不同的特征值。由于高维空间通常被认为更可分（例如，核方法），我们相信编码维度也应该相对较高。例如，one-hot编码具有极大的维度（full embedding的𝑛和hashing embedding的𝑚）。另一个例子是身份编码(identity encoding)，它直接返回ID号码：例如，$𝐸(7) = [7]$。尽管这为每个ID提供了一个唯一的编码，但对于后续的解码函数来说，基于1维编码生成嵌入将是极其困难的。
• 高香农熵：香农熵[31]（以“比特”为单位）衡量一个维度中携带的信息。高熵的要求是从信息理论的角度防止冗余维度。例如，一个编码方案可能满足上述三个属性，但在某些维度上，所有特征值的编码值都是相同的。因此，我们希望通过在每个维度上最大化熵来有效利用所有维度。例如，one-hot编码在每个维度上的熵非常低，因为对于大多数特征值来说，任何维度上的编码都是0。因此，one-hot编码需要极高的维度（即𝑛），并且效率极低。编码属性的正式定义和分析可以在附录中找到，我们总结的结果在表2中。

3.2 稠密哈希编码（Dense Hash Encoding）

在分析了各种编码方案的属性之后，我们发现没有任何现有的方案能满足所有期望的属性。特别是我们发现，非独热编码（non-one-hot：如二进制和身份编码）虽然摆脱了embedding table，但未能满足相等相似性和高维度属性。受到这一点的启发，我们提出了稠密哈希编码（Dense Hash Encoding），旨在结合上述编码的优势并满足所有属性。

不失一般性，我们假设特征值是整数（integers），因为我们可以利用字符串哈希将字符串(strings)值映射为整数(integers)（由于输出空间很大（64位整数约有$2^64$个值），基本上不会发生冲突。一个例子是CityHash64：https://github.com/google/cityhash）。所提出的编码函数为：$𝐸 : N \rightarrow R^k$

它使用k个通用哈希函数将一个特征值映射到一个k维dense real-valued encodings上。具体来说，我们有：

\[𝐸′(𝑠) = [𝐻^{(1)}(𝑠), 𝐻^{(2)}(𝑠), \cdots, 𝐻^{(k)}(𝑠)]\]

其中：

• $𝐻(i) : N \rightarrow {1, 2, …, m}$

请注意，在这种情况下，m与embedding table无关，我们只需要将其设置为一个相对较大的数字（在我们的实验中是$10^6$）。通用哈希[4]（hashing）的一个优良属性是：哈希值在$\lbrace 1,2,\cdots,m \rbrace$上均匀分布（平均而言）。

通过适当的转换，我们可以获得实值编码，因为输入通常是实值的，为了数值稳定性进行归一化：$𝐸(𝑠) = transform(𝐸′(𝑠))$。我们考虑逼近以下几种常用的分布：

• 均匀分布。我们简单地将编码$𝐸‘$归一化到[-1, 1]的范围。由于哈希值在$\lbrace 1, 2, …, m \rbrace$中平均分布均匀，因此这在较大的m情况下可以合理地近似均匀分布𝑈(-1, 1)。
• 高斯分布。我们首先使用上述转换获得均匀分布的样本，然后应用Box-Muller变换[3]，将均匀分布的样本（即𝑈(-1, 1)）转换为标准正态分布N(0, 1)。具体实现请参见附录。

这两种分布的选择部分受到生成对抗网络（GANs）[9]的启发，GANs通常从均匀或高斯分布中抽取随机噪声，然后将其输入神经网络进行图像生成。请注意，转换（和哈希）是确定性的，这意味着编码（对于任何特征值）不会随时间变化。我们从经验上发现这两种分布在效果上类似，因此出于简单起见，默认选择均匀分布。

与现有仅限于几个哈希函数的hashing方法不同，我们选择了一个相对较大的k来满足高维度属性（在我们的实验中k=1024，尽管它比n显著小）。我们从经验上发现，与现有哈希方法相比，我们的方法从更大的k中显著受益。此外，所提出的密集哈希编码也满足其他三个属性。更多分析可以在附录中找到。

请注意，整个编码过程不需要任何存储，因为所有的计算都可以即时完成。这也是使用多重哈希的一个优良属性，因为我们获得了一个更易于区分的高维编码，而没有存储开销。从计算角度来看，时间复杂度是𝑂(𝑘)，每个哈希的计算是独立的，因此适合并行化和硬件如GPU和TPU。例如，我们使用整数的通用哈希[4]作为底层哈希，并在附录中的算法2中描述了编码过程。其他通用哈希（例如针对字符串的）也可以采用来处理不同的特征类型。

3.3 深度嵌入网络

在DHE中，解码函数$𝐹 : R^k \rightarrow R^d$需要将一个k维编码向量转换为一个d维嵌入。显然，实值编码不适用于embedding lookup。然而，映射过程非常类似于一个高度非线性的特征转换，其中输入特征是固定且不可学习的。因此，我们使用强大的深度神经网络（DNN）来模拟这样的复杂转换，因为DNN是表达能力强的通用函数逼近器[23]。此外，最近的一项研究表明，更深的网络比浅层网络更具参数效率[21]，因此DHE可以相比one-hot full embedding（一个1层浅层网络）减少模型大小。

然而，即使使用DNN，转换任务也极具挑战性。本质上，DNN需要在其权重中记忆信息（之前存储在巨大的嵌入表中）。我们希望层次结构和非线性激活可以使DNN比one-hot编码（即1层宽的NN）更有效地表达embedding函数。这是由最近的研究激发的，该研究表明深度网络可以比宽而浅的网络使用更少的参数来近似函数[21]。

具体来说，我们使用一个前馈网络作为DHE的解码函数。

• 我们通过h个隐藏层（每层有$𝑑_{NN}$个节点）转换k维编码。
• 然后，输出层（有𝑑个节点）将最后一层隐藏层转换为d维特征值嵌入。
• 在实践中，$𝑑_{NN}$由内存消耗费用决定。

我们可以看到DNN中的参数数量是：

\[𝑂(𝑘 * 𝑑_{NN} + (ℎ −1) * 𝑑_{NN}^2 + 𝑑_{NN} * 𝑑)\]

这与𝑛或𝑚无关。这也是DHE的时间复杂度。DHE的一个独特特点是：它不使用任何embedding lookup，而是完全依赖隐藏层来即时记忆和计算embedding。

然而，我们发现训练深度嵌入网络相当具有挑战性（相比之下，基于one-hot的浅层网络更容易训练）。我们观察到训练和测试性能较差，据推测是由于可训练性和表达能力问题。表达能力问题相对独特于我们的任务，因为NN通常被认为表达能力强且容易过拟合。然而，我们发现在我们的案例中，embedding网络是欠拟合而不是过拟合，因为从hash encoding到embedding的嵌入生成任务需要高度非线性的转换。我们怀疑默认的ReLU激活（$𝑓(𝑥)=max(0, 𝑥)$）表达能力不够，因为ReLU网络是分段线性函数[1]。我们尝试了各种激活函数2，并发现最近提出的Mish激活[25]（$𝑓(𝑥)=x \cdot tanh(ln(1 + e^x)))$）始终比ReLU和其他激活函数表现得更好。我们还发现batch normalization（BN）[16]可以稳定训练并取得更好的性能。然而，像dropout这样的正则化方法并没有帮助，这再次验证了我们的嵌入网络的瓶颈是欠拟合。

3.4 用于泛化的side features增强编码

DHE的一个有趣扩展是利用side features来学习更好的编码。这有助于将结构注入我们的编码中，并在特征值之间以及对新值实现更好的泛化。类别型特征的嵌入学习的一个重大挑战是：我们只能记忆每个特征值的信息，而无法在特征值之间泛化（例如，从ID 7泛化到ID 8）或泛化到新值。这是因为底层特征表示并没有暗示不同ID之间有任何内在的相似性。实现泛化的一个典型方法是使用side features，这些特征提供了泛化的固有相似性（例如，dense特征或bag-of-word特征）。然而，这些特征通常被用作推荐模型的附加特征，而不是用于改进分类特征的嵌入学习。

基于one-hot full embedding继承了类别型特征的属性，并独立生成嵌入（即，任何两个ID的嵌入都是独立的）。因此，基于one-hot的方案可以被视为去中心化的架构，它们擅长记忆但无法实现泛化。相比之下，DHE方案是一个集中式的解决方案：嵌入网络中的任何权重变化都会影响所有特征值的嵌入。我们相信集中式结构为泛化提供了潜在的机会。

由于DHE的解码函数是一个神经网络，我们可以灵活地修改输入，例如结合side feature。我们提出了针对DHE的side features增强编码，并希望这将改善特征值之间的泛化，以及对新值的泛化。增强编码的一个直接方法是直接连接可泛化的特征和哈希编码。如果特征向量的维度太高，我们可以使用局部敏感哈希[6]来显著减少基数，同时保留标签相似性。增强后的编码随后被输入到深度嵌入网络中以生成嵌入。

我们认为，哈希编码提供了一个用于记忆的唯一标识符，而其他特征则使泛化能力得以实现。

3.5 总结

总而言之，DHE有两个主要组成部分：1. 密集哈希编码；2. 深度嵌入网络。编码模块是完全确定性的且不可学习的，不需要任何存储参数。嵌入网络将标识符向量转换为所需的嵌入。DHE的一个显著区别是缺乏嵌入表，因为我们将所有嵌入信息存储在DNN的权重中。因此，所有特征值共享整个嵌入网络来生成嵌入，这与hashing trick不同，后者为不同的特征值共享相同的嵌入向量。这使得DHE免受嵌入冲突问题的影响。DHE的瓶颈在于嵌入网络的计算，尽管这可以通过更强大的硬件和神经网络加速方法（如剪枝[8]）来加速。

与现有明确为每个ID分配相同嵌入长度的嵌入方法不同，DHE的一个有趣事实是，每个特征值的嵌入容量是隐含的，并且可能是可变的。这对于在线学习环境（词汇量不断增长）和幂律分布（嵌入网络可能会花费更多的参数来记忆流行的ID）可能是一个期望的属性。

paper原文：

https://dl.acm.org/doi/pdf/10.1145/3447548.3467304

• 1.https://arxiv.org/pdf/2210.04170.pdf