内容摘要：经由人类评估试验，钻研者发现，当 GPT-4 将「稿子」改到第三版的时候，「信息密度」以及「语言精辟度」两个因素抵达了一种最佳失调形态。近些年来，自动摘要技术取患了长足的后退，这主要归功于范式的转变

经由人类评估试验，字少T钻钻研者发现，信息当 GPT-4 将「稿子」改到第三版的手把手教时候，「信息密度」以及「语言精辟度」两个因素抵达了一种最佳失调形态。字少T钻

近些年来，信息自动摘要技术取患了长足的手把手教后退，这主要归功于范式的字少T钻转变 —— 从在标注数据集上妨碍有把守微调转变为运用狂语言模子（LLM）妨碍零样本 prompt，好比 GPT-4。信息不需要格外的手把手教磨炼 ，详尽的字少T钻 prompt 就能实现对于摘要长度 、主题
 、信息气焰等方面特色的手把手教详尽操作 。

但一个方面每一每一被轻忽：摘要的字少T钻信息密度 。从实际上讲，信息作为对于另一个文本的手把手教缩短 ，摘要理当比源文件更密集 ，也便是搜罗更多的信息 。思考到 LLM 解码的高延迟 ，用更少的字数涵盖更多的信息颇为紧张 ，特意是对于实时运用而言
。

可是 ，信息量密度是一个凋谢式的下场：假如摘要搜罗的细节缺少，那末至关于不信息量；假如搜罗的信息过多，又不削减总长度，就会变患上难以清晰 。要在牢靠的 token 估算内传递更多信息，就需要将抽象、缩短 、融会三者散漫起来 。

在最近的一项钻研中，来自 Salesforce、MIT 等机构的钻研者试图经由收罗人类对于 GPT-4 天生的一组密度越来越高的摘要的偏好来判断这一限度。对于提升 GPT-4 等狂语言模子的「表白能耐」 ，这一措施提供了良多开辟
。

论文链接：https://arxiv.org/pdf/2309.04269.pdf

数据集地址：https://huggingface.co/datasets/griffin/chain_of_density

详细来说，他们将每一个 token 的平均实体数目作为密度的代表 
，天生为了一个初始的、实体浓密的摘要，而后在不削减总长度（总长度为 5 倍）的情景下，一再识别并融会前一个摘要中缺失的 1-3 个实体 ，每一个摘要的实体与 token 比例都高于前一个摘要。凭证人类的偏好数据，作者最终判断
，人类更喜爱简直与人类编写的摘要同样密集的摘要，而且比艰深 GPT-4 prompt 天生的摘要更密集
。

总体来说，该钻研的贡献搜罗 ：

• 开拓一种基于 prompt 的迭代措施 (CoD)，使患上摘要的实体密度越来越高；

• 对于 CNN/《逐日邮报》文章中越来越密集的摘要妨碍家养以及自动评估 ，以更好地清晰信息量（倾向于更多实体）以及清晰度（倾向于更少的实体）之间的掂量；

• 开源了 GPT-4 摘要、诠释以及一组 5000 篇未诠释的 CoD 摘要，用于评估或者提炼。

甚么是 CoD

作者拟订了一个繁多的密度链（CoD）Prompt，即天生一个初始摘要  ，并使着实体密度不断削减。详细来说，在一个牢靠的交互次数中 ，源文本中一组配合的突出实体被识别进去，并在不削减长度的情景下融会到以前的摘要中 。

图 2 展现了 Prompt 以及输入示例。作者不纪律实体的规范
，而是将缺属实体界说为 ：

• 相关 ：与主要故事相关；

• 详细：形貌性的但简洁（5 个字或者更少）；

• 别致：未出如今以前的摘要中；

• 忠实
  ：存在于文章中；

• 任何中间：位于文章的任何中间 。

作者从 CNN/DailyMail 摘要测试会集随机抽取了 100 篇文章 ，为其天生 CoD 摘要 。为便于参考，他们将 CoD 摘要统计数据与人类撰写的要点式参考摘要以及 GPT-4 在艰深 Prompt 下天生的摘要妨碍比力 ：「写一篇颇为杂乱的文章摘要。请勿逾越 70 个字。」

统计情景

在钻研中，作者从直接统计数据以及直接统计数据两方面妨碍了总结
。直接统计数据（token 、实体、实体密度）由 CoD 直接操作，而直接统计数据则是密集化的预期副产物。

直接统计数据。如表 1 所示 ，由于从最后杂乱的摘要中删除了不用要的词语  ，第二步平均削减了 5 个 token（从 72 到 67）的长度。实体密度从 0.089 开始，最后低于人类以及 Vanilla GPT-4（0.151 以及 0.122），经由 5 步密集化后 
，最终回升到 0.167  。

直接统计 。抽象度理当会随着每一步 CoD 的妨碍而削减  ，由于每一削减一个实体 ，摘要就会被一再改写以腾出空间。作者用提取密度来掂量抽象性
：提取片断的平均平方长度 (Grusky et al., 2018) 。同样，跟着实体被削减到牢靠长度的摘要中，意见融会度也应随之干燥削减 。作者用与每一个摘要句子对于齐的源句子的平均数目来展现融会度
。在对于齐上 ，作者运用相对于 ROUGE 增益法 (Zhou et al., 2018),，该措施将源句与目的句对于齐
，直到格外句子的相对于 ROUGE 增益再也不为正 。他们还估量内容扩散（Content Distribution），也便是摘要内容所源头的文章中位置，会爆发变更 。

详细来说 ，作者估量 CoD 摘要最后会展现出强烈的「向导倾向」（Lead Bias） ，但随后会逐渐开始从文章的中间以及开始引入实体。为了丈量这一点，他们运用了融会中的对于齐服从，并丈量了所有对于齐源句的平均句子品级
。

图 3 证明了这些假如 ：抽象性随着重写步骤的削减而削减（左侧提取密度较低）
，融会率回升（中图），摘要开始纳入文章中间以及开始的内容（右图） 。幽默的是 ，与人类撰写的摘要以及基线摘要比照，所有 CoD 摘要都更具抽象性
。

服从

为了更好地清晰 CoD 摘要的 tradeoff，作者睁开了一项基于偏好的人类钻研 ，并运用 GPT-4 妨碍了基于评级的评估 。

人类偏好。详细来说，对于同样的 100 篇文章（5 个 step *100 = 总共 500 篇摘要），作者向论文的前四位作者随机揭示了经由「重新创作」的 CoD 摘要以及文章 。凭证 Stiennon et al. (2020) 对于「好摘要」的界说，每一位诠释者都给出了自己最喜爱的摘要。表 2 陈说了各诠释者在 CoD 阶段的第一位患上票情景，以及各诠释者的汇总情景。总的来说 ，61% 的第一位摘要（23.0+22.5+15.5）波及≥3 个致密化步骤。首选 CoD 步数的中位数位于中间（3），预期步数为 3.06。

凭证 Step 3 摘要的平均密度，可能简陋判断出所有 CoD 候选者的首选实体密度为 ∼ 0.15。从表 1 中可能看出，这一密度与人类编写的摘要（0.151）相不同，但清晰高于用艰深 GPT-4 Prompt 编写的摘要（0.122）
。

自动怀抱 。作为家养评估的填补（如下） ，作者用 GPT-4 从 5 个维度对于 CoD 摘要妨碍评分（1-5 分）  ：信息量 、品质、毗邻性、可归属性以及部份性。如表 3 所示 ，密集度与信息量相关 ，但有一个限度，在步骤 4（4.74）时患上分抵达高峰。

从各维度的平均患上分来看，CoD 的第一个以及最后一个步骤患上分最低，而中间三个步骤患上分挨近（分说为 4.7八 、4.77 以及 4.76） 。

定性合成 。摘要的毗邻性 / 可读性与信息量之间存在着清晰的 trade-off 
。图 4 中揭示了两个 CoD 步骤 ：一个步骤的摘要因更多细节而患上到改善，另一个步骤的摘要则受到伤害。平均而言 ，中间 CoD 摘要最能实现这种失调
，但这种 tradeoff 仍需在尔后的使掷中去准断界说以及量化 。

更多论文细节，可参考原论文。