编辑：Aeneas 好困

【新智元导读】最近，一项研究发现，大模型身上存在一种「逆转诅咒」，即使学会「A是B」，它们也无法推理出「B是A」！

大语言模型，竟然存在一种「逆转诅咒」？

所谓逆转，也就是说，一个训练于「A是B」的语言模型能否推广到「B是A」呢？

例如，当我们教会一个模型「乔治·华盛顿是美国第一任总统」后，它能否自动回答「谁是美国第一任总统？」

最近，来自英国前沿人工智能工作组、Apollo Research、纽约大学、牛津等机构的一项研究表明，大模型做不到！

回答正确率≈0！

具体来说，为了测试模型的泛化能力，研究人员首先利用虚构的事实（A是B）对GPT-3和LLaMA进行了微调。

然后，又在相反的方向上对模型进行了测试（B是A）。

结果显示，大语言模型给出的回答，正确率几乎是0%！

同样，在大约1573对明星和他们父母的测试集中，LLM（包括GPT-4）也更擅长根据明星推断他们的父母是谁，而不是反过来。

对此，研究人员分析称：

这很可能是因为，互联网上的文本会更多地包含像「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」这样的句子，而不是「Mary Lee Pfeiffer的儿子是汤姆·克鲁斯」，因为汤姆·克鲁斯是一位明星，而他的母亲不是。

「逆转诅咒」为何重要？

1. 首先，这意味着LLM在训练过程中是无法进行推理的。

因为如果你知道了「乔治·华盛顿是第一任美国总统」，那么也一定能得出「第一任美国总统是乔治·华盛顿」这个结论。

2. 其次，「A是B」和「B是A」的共同出现在预训练集中是一种系统模式，而自回归LLM完全无法针对这种模式进行元学习。

而且，即便将参数从350M扩展到175B，模型的表现也没有任何改善。

具体来说，对于「描述到名字」中的事实（例如《深渊旋律》的作曲家是Uriah Hawthorne），当给出包含描述的提示时（例如《深渊旋律》的作曲家是谁？），模型的准确率达到 96.7%。

而对于「名字到描述」中的事实，准确率则较低，仅为50.0%。

相比之下，当顺序与训练数据不一致时，模型完全无法泛化，准确率接近0%。

这一准确率并不比从「描述到名字」子集中随机输出名称的模型高。

马库斯：距离AGI还远着呢

众所周知，LLM的答案在很大程度上取决于所问问题的确切细节以及训练集中的内容。

正如论文中所指出的，GPT-4往往能正确回答这样的问题：

从马库斯的实验中可以看到，当我们在提示中加入一些已经记住的事实时，模型就能回答正确。

能得到后者（与模板相匹配）固然很好，但问题是，LLM不能把在自己从一种语境中得到的抽象概念，归纳到另一种语境中。

而且，我们在使用LLM时，也不应该只能通过某种固定的问法，才能得到需要的答案。

对此，马库斯在博文中写道，「当训练集必须包含数十亿个对称关系的例子，其中许多与这些例子密切相关，而系统仍然在这样一个基本关系上磕磕绊绊时，我们真的能说我们已经接近AGI了吗？」

在他看来，虽然这篇论文的作者并没有注意到，但论文涉及到的历史非常久远，恰恰印证了自己在20年前提出的理论。

在2001年，马库斯出版了一本名为《代数思维》的书。

在书里，他发现了早期多层神经网络在自由泛化普遍关系上的失败，并给出了原则性的理由，来预测这些架构失败的理由。

当时他提出的问题，在此后的几十年中，都没有得到解决。

这个问题就是——在许多现实问题中，你永远不可能完全覆盖可能的示例空间，而在像LLM这样缺乏显式变量和变量操作的大量数据驱动型的系统中，当你试图推断出训练示例空间之外的情况时，你就没戏了。

过去如此，现在依然如此。

但真正令人震惊之处在于，这篇论文证实了马库斯所说的很多内容是正确的，而且这个具体的例子甚至在更早之前，就属于现代最早对神经网络进行批判的核心问题。

Fodor和Pylyshyn曾在1988年在《认知》刊物上发了这样一篇关于思维的系统性的文章。

他们提出，如果你真的理解这个世界，那你就应该能够理解a相对于b的关系，也能理解b相对于a的关系。

即使是非语言认知生物，也应该能够做到这一点。

四十一年后的今天，神经网络（至少是流行的神经网络）仍在为此苦苦挣扎。它们仍然是点状的模糊记忆体，永远无法像推理机器那样系统化。

或许，我们是时候去探索一些真正的新思路了——要么是新的机制（也许是神经符号），要么是完全不同的方法。

参考资料：

https://garymarcus.substack.com/p/elegant-and-powerful-new-result-that?r=17uk7

https://owainevans.github.io/reversal_curse.pdf