发展AI“养虎为患”？“AI教父”辛顿：消灭AI不现实；要把AI训练好，让它不“杀”你

以下为演讲全文，经编辑：

过去六十多年里，AI 研究一直存在两种智能范式：

一种是逻辑启发范式。大家都认为“智能的本质在于推理”。我们通过一些符号规则，对符号的表达式进行操作来实现推理。首先要理解知识如何以符号表达的形式进行表示。

另一种是以生物为基础去理解 AI。那就是图灵和冯·诺伊曼所相信的：智能的基础就是更好地去了解学习网络中的一些连接权重。这个过程中，“理解”是第一位的。

1985 年，我做了一个非常小的模型，想把这两个理论结合在一起，更好地去理解人们是如何理解一个词。每一个词我都放了好几个不同的特征，把前一个词的特征记录下来，我们就可以预测下一个词是什么。在这个过程中，我们没有存储任何的句子；我们生成句子，然后预测下一个词。

那接下来的 30 年发生了什么？十年后，Yoshua Bengio 展示了这种方式可以来建模真实的自然语言。二十年后，计算语言学家终于开始接受“特征向量（嵌入）”。三十年后，谷歌发明了Transformer，OpenAl向世界展示了它的强大能力。

所以我们今天的大语言模型，我把它视为“微型语言模型的后代”。他们使用了更多的词作为输入，使用了更多层的神经元结构，因为需要有大量模糊不清的数字的使用，同时特征之间也建立了更加复杂的交互模式。

但是就像我做的那些小模型一样，大语言模型也与人类理解语言的方式是一样的，也就是把语言转化为一些特征，然后把这些特征以一种非常完美的方式整合在一起，这就是 LLM里面各个层次里面所做的事情。因此，我的理解是，LLM理解语言的方式与人类非常模型。

我们可以用乐高来类比词语是如何运作的。我们可以用乐高积木非常好地建构出各种大型三维结构，词语就像是高维的乐高积木，可以用来建构几乎任何事物，这些建构可以被传达给其他人。虽然有成干上万个形状各异的词语，但每个“形状”都有一定的灵活性，能够根据上下文进行变形，与其他词语契合。每个词都有许多形状奇特的“手”，需要与其他词语“握手”才能组合在一起。理解一句话更像是折叠一个蛋白质分子，而不是将其翻译成一种明确无歧义的逻辑表达式。

所以我的观点就是，人们理解语言的方式和大语言模型理解语言的方式几乎是一样的。所以人类也会和大语言模型一样去产生幻觉，因为我们也会创造出来很多有幻觉的一些语言。

但有一点，数字化的大语言模型远远优于我们类比信号驱动的大脑。

计算机科学的一个原则就是，要把软件和硬件分开看。我们可以在不同的物理硬件上运行相同的程序或相同的神经网络。这意味着程序中的知识或神经网络的权重是永生的:它不依赖于任何特定的硬件。

为了实现这种“永生性”，我们让晶体管在高功率下运行，使其表现出可靠的二进制行为。我们无法利用硬件中丰富的类比特性，因为这些特性不够稳定可靠。

人脑是模拟的，不是数字的。每一次激发神经元激发的过程都是模拟型的，每一次都不一样。我不可能把我脑子里的神经元结构转到你脑子里，这是做不到的。知识的传播在硬件里和在人脑里是完全不同的东西。

数字智能的这些知识，是永生的，带来两大好处：第一，我们可以用很小的功率就够了，但我们的大脑却有几万亿个神经连接。第二，我们不需要花非常多的钱去做一模一样的硬件。

但我们还有一个比较大的问题，从一个模拟模型把知识转到另一个模型是非常低效、非常难的。我没有办法把我脑袋里的东西直接展示给你。我们能做的，就是用其他方式来解释给你听，我已经学到的是哪些东西。

要解决这个问题的最佳方法叫“蒸馏”（distillation），deepseek就是这样做的。从一个大的神经网络把知识转到一个小神经网络，这就像“教师—学生”的关系。教师向学生展示各种输入对应的正确响应，学生通过调整自身的权重，使其更有可能给出与教师相同的响应。

蒸馏多有效呢？一句普通的话大约包含一百比特的信息量。因此学生在尝试预测下一个词时，最多也只能从每句话中学习大约一百比特的信息。

如果独立智能体完全共享同一组权重，并以完全相同的方式使用这些权重，它们就能通过交换权重或梯度，将学到的知识彼此传递。这种共享一次即可实现数十亿乃至数万亿比特的带宽。不过，这要求所有智能体的运作方式必须完全一致，因此它们必须是数字化的。

我们的看法是：数字计算虽然耗能巨大，但多个智能体要拥有相同的模型就能轻松交换各自学到的知识。生物计算所需能量要少得多，但在智能体之间共享知识方面差得多。如果能源廉价，数字计算整体上更占优势。

这也让我很担忧，因为几乎所有的专家都认为我们会生产出比人类更智能的 AI。我们习惯成为最聪明的生物，所以很多人难以想象：如果 AI 比人更聪明会怎么样？

我们创造的 AI 智能体，他们能够帮我们完成任务。这些智能体已有能力进行拷贝，他们会给自己的子目标评级。他们想做两件事：第一，他们想要生存；第二，他们想要完成我们给他们的目标，因此也希望获得更多控制。

我觉得我们不能只是“把他们一关了事”。他们会很方便地操纵使用他们的人——我们就会像三岁小孩，而他们就像成年人，操控三岁小孩是很容易的。

有人觉得“等他们变聪明，我们就把他们关掉”，这是不现实的。他们会操纵我们，会劝说操控机器的人不要把他们关掉。

所以我们现在的情况就像一个养了只非常可爱的小虎崽的人。但如果一直养下去，你要确保它长大的时候不会把你给杀了。一般来说，养老虎当宠物不是一个好主意。

我们只有两个选择：第一，把它训练好，让它不来杀你；第二，把它干掉。

我们没有办法把AI消灭掉。AI 已经在医疗、教育、气候变化、新材料等方面做得非常好，几乎能帮助所有行业变得更有效率。我们没有办法消除 AI，即使一个国家消除了 AI，其他国家也不会这么做。所以这不是一个选项。

这意味着，如果我们想要人类生存，就必须找到一个办法来训练AI，让他们不要消灭人类。

我的个人观点是，各国不会在防御人工智能的危险用途上进行合作，例如:网络攻击、致命自主武器、用于操纵公众意见的虚假视频。因为他们的利益不一致。

但是在有一个方面，我们是会进行合作的。我们看 50 年代冷战巅峰时期，美国和苏联一起合作预防全球核战争。尽管他们在很多方面对抗，但在这一点上可以合作。

我们现在的局面是，没有一个国家希望 AI 统治世界，每个国家都希望人类能够掌控世界。如果有一个国家找到办法防止 AI 操纵世界，那么这个国家肯定会很乐意告诉其他国家。

所以我们希望有一个由各国人工智能安全研究所与国内研究网络组成的国际社群，培养出不会想要从人类手中夺取控制权的向善的人工智能所需的技术，可能与使人工智能更智能所需的技术是相对独立的。这就好比，教导孩子成为一个好人的方法，与让他们变得聪明的方法是相对独立的。

如果这个观点是正确的，各国就可以设立资金充足的人工智能安全研究所与国内研究网络，专注于研究如何让人工智能不想夺取控制权。尽管 AI 比人类聪明很多。

我们现在还不知道怎么做，但从长期来说，这可以说是人类面临的最重要的问题。好消息是，在这个问题上，所有国家都是可以一起合作的。