威伦特

BRIO是2022年文本摘要领域SOTA，通过结合了对比学习解决了生成式摘要领域seq2seq自回归中的exposure bias问题

概述

在文本摘要抽取领域，通常利用深度模型监督学习的方式进行文本摘要，这类方法基本都是将摘要抽取看着是seq2seq自回归的生成任务，训练时基于极大似然估计，让模型生成的参考序列的概率最大近似参考摘要序列。

假设一篇文档的标注的参考摘要为 $\ \tilde{y}$ ，模型预测时可能产生多一个候选摘要序列$\ {y_1,y_2,...,y_n}$，因为是按最大概率的方式输出，所以模型只能评估出候选序列 $\ y_i$出现的概率，并不能衡量侯选摘要序列进行组合后，生成的句子的质量好坏。

可以看出这类方法存在一个明显的问题就是：exposure bias （曝光偏差），也就是说在模型进行训练的时候有参考摘要，然后在预测时候仅仅依靠上一个token，其token并不都跟参考序列中的一样，这样造成模型训练与预测时输入不一致性问题。

如果模型应能够对预测出来的可能的子序列进行准确的质量排序，就能有效的缓解exposure bias的问题。为此，论文提出新的训练范式，将摘要抽取模型训练的目标分布变成不确定的分布，其核心就是利用 对比学习（contrastive learning） 来构建一个评估模型，让候选的分布的也成为优化目标的一部分。

范式

自回归

传统的生成式摘要（Abstractive Summarization）的学习范式。其学习目标是，在给定一篇文档 D 下，训练一个模型 g ，生成一个合适的摘要序列 S ，即：

在极大似然估计（Maximum likelihood estimation， MLE）下，上述模型训练的优化目标为：

其中 $\{D^{i},S^{*(i)}\} 为 i$个训练样本，$\ \theta$为训练的$\ p_{g_\theta}$分布对应的参数。对于一个具体的样本来说，采用交叉熵的方式，表示为

p_{true}(s|D,S^_{<j})=
\begin{cases}
1-\beta,\quad s= s^_j \[2ex]
\frac{\beta}{N-1}, \quad s\neq s^*_j
\end{cases}
\tag{5}

P_{g_\theta}(S_t|D,S_{<t};\theta) \tag6

L_{ctr}=
\sum_{i}^l\sum_{j>i}max(0,f(S_j)-f(S_i)+\lambda_{ij})
\tag{8}

f(S)=\frac{\sum^l_{t=1}logp_{g_\theta}(s_t|D,S<t;\theta)}{|S|^{\alpha}} \tag9