小于两层的transformer，且只有注意力块，GPT-3：你怕不是搞事情？

在经过专业训练的单层仿真之中，attention head可以通过两个步骤顺利进行预测。首先以，它查看正则表达式之中的再次一一个单字词（Doctor），并在正则表达式之中查看它不太可能研习（在专业训练其间）与再次一一个单字词之外联的特定单字词。然后，对于它找的可任意单字词，从之中索引另一个它不太可能学则会与找的单字词之外联的单字词，就像在二元仿真之中一样，这可以是同一个字词。再次将这个联系的单字词作为仿真的输成。

在上述例子之中，分析执法人员表明，根据再次一一个单字词“Doctor”，head通过专业训练知道如何查看一个常用名称。在音节的前面找“Smith”这个名字后，head则会查看所学的与“Smith”联系的主旨，并将该单字词作为输成。在这种情况下，仿真不太可能学则会将同一个字词“Smith”与找的字词“Smith”之外联。整个每一次的就此功效是仿真将“Smith”一字词从正则表达式放到输成。

图注：从左到右共有 Chris Olah、Catherine Olsson 与 Nelson Elhage

不过，到此前，记忆只能采用一种模式。不妨想一下，当Smith的名字变再次加了一个原型的名字，比如“Gigamuru”时则会发生什么。对我们而言，预测下一个单字词都能，但仿真在专业训练其间不则会识别成原型的字词，因此不只不过记住它与其他字词错综复杂的任何关系，也不则会生再次加它。

Anthropic 小组还断定，当他们分析一个更是复杂的仿真时，比如一个有两层attention head的仿真，成现了一种解决方案。它依赖于attention head近似于的灵活性：不仅可以将信息伸展到输成，还可以伸展到正则表达式之中的其他所在位置。这种灵活性可以使第一层的head透过前面单字词的信息，研习译文正则表达式之中的每个单字词。然后，第二个head可以查看“Doctor”（在本例之中为“Gigamuru”）在此之前的单字词，并像单层仿真之中的head一样，将其伸展到输成。

分析执法人员将后一层与前一层协作的attention head专指induction head（归纳头）。它不仅仅持久记忆的作用。根据Nelson Elhage的表述，它还可以做一些看起来更是举例来说抽象推理或算法实现的文书工作。

induction head可以让两层仿真持久较小的作用，但它们与均尺度transformer的不确定性尚不可信，因为均尺度transformer有数百个attention head适配。在他们的第二篇专著之中，分析执法人员表示这些断定给与了沿袭：induction head只不过对一些最复杂、多层结构的行为持久了关键作用。

在这些行为之中，微积分灵活性尤为突成，因为仿真只接受了完再次加重构的专业训练。例如，如果给成重复提示：“问:48+76是多少？答:124，问:48+76是多少？答:“均尺度仿真则会给与准确题目。”。在给成适宜的非重复性示例后，它将并不需要准确问见过的微积分论题。这种从语境之中研习新灵活性的成因被专指正则表达式研习。

这种成因令人费解，因为从正则表达式之中研习是不只不过的。这是因为决定仿真效率的常量只在专业训练其间修正，而不是在仿真处理每一次回传正则表达式时修正。

induction head至少解决了大多论题。它们表述了如何使正则表达式研习的单纯和重复形式再次加为只不过，并且提供者了所需的功能：并不需要镜像仿真无法专业训练过的新单字词（如“Gigamuru”或“124”）。

另一位来自Anthropic的合著者Catherine Olsson说：“induction head更是有只不过拒绝执行任何模式，即使它有些奇特或独特。”

分析执法人员进一步在多层次仿真之中识别成induction head，并表明它们参加了更是独特的正则表达式研习形式，比如研习语法间的英文翻译。

“这并不是要表述整个的系统，”OpenAI 的 Jacob Hilton 说。“只是induction head只不过参加其之中。”

这些结果为我们明白transformer仿真提供者了一个早先以。它们不仅在赚取专业知识，还在研习如何处理每一次他们究竟无法学到的事物。也许通过探究其文书工作的系统，我们可以对“大放异彩”的transformer少些惊异与感慨。

译文重定向：

雷峰网