杰弗里·辛顿谈如何防止人工智能被接管以及“令人担忧”的中美科技竞赛
+ 查看更多

“人工智能教父”探讨该技术的风险，以及超级大国能否找到共同点来控制它。

Josephine Ma

■

杰弗里·辛顿是一位英裔加拿大计算机科学家，因其受人脑结构启发而提出的革命性神经网络模型，常被称为“人工智能教父”。他的研究带来了范式转变，成就了当今的机器学习技术。他与普林斯顿大学的约翰·J·霍普菲尔德共同获得了2024年诺贝尔物理学奖。

欣顿是多伦多大学的名誉教授。

2013年，他与两名研究生共同创办的公司被谷歌收购。同年，他加入了谷歌的人工智能研究团队——谷歌大脑（Google Brain），并最终被任命为副总裁。辛顿于2023年离开谷歌，因为他想自由地谈论人工智能的风险。

今年 6 月，他前往中国并在上海举行的世界人工智能大会上发表演讲。

上海之行是你第一次来中国吗？你从这次旅行中收获了什么？

这是我第一次来中国。我的背一直不太好，所以很长一段时间里出行都很困难，不过现在情况好多了。所以我没早点来中国。

上海的现代化和中国人工智能的先进程度给我留下了深刻的印象。

您能否介绍一下目前中国人工智能技术的水平以及政府和企业层面对人工智能安全的认识？

令我印象深刻的是，[上海市委书记]陈吉宁对人工智能和人工智能安全都非常了解。我和他见过面，他已经了解了很多。我以为我必须向他解释安全问题，但他已经了解很多了。

我认识了（中国计算机科学家）姚期智，他显然对人工智能安全非常了解。我对中国民众对人工智能安全的认识程度印象深刻。部分原因是西方和中国之间就人工智能安全进行了对话。我认为这非常有帮助。
您觉得中国目前的人工智能技术水平与西方国家相比如何？

我对此了解还不够多，无法做出真正的判断，但在我看来，像DeepSeek这样的初创公司与美国相当接近。
我们距离通用人工智能（AGI）和超级人工智能（ASI）还有多远？

没人真正知道答案。专家们的意见分歧很大。有些人认为再过几年就能实现，而另一些人则认为要等20年甚至更久才能实现通用人工智能。

但几乎所有专家都一致认为，我们终将实现这一目标，一旦我们拥有了通用人工智能 (AGI)，超级智能 (SuperIntelligence) 很快就会出现。所以，几乎所有专家都相信，最终我们将拥有比我们更聪明的人工智能代理，而且大多数人认为我们将在 20 年内实现这一目标。虽然几年到 20 年之间差距很大，但大多数专家都认为这将在 20 年内实现。

我猜这不会在短短几年内发生。大概需要五到二十年的时间，但我不知道具体时间。

中美两国都在努力尽快实现通用人工智能（AGI）和超级人工智能（ASI）。您觉得这种竞赛令人担忧吗？

绝对如此。我认为这非常令人担忧。之所以令人担忧，是因为人工智能将极大地改变社会，它既会带来许多好的结果，也会带来许多坏的结果。这与核武器截然不同，核武器只会带来坏事。

人工智能带来许多奇妙的改变。它提高了许多行业的生产力。在医疗保健、教育、新材料设计、应对气候变化等领域，它都将发挥巨大作用。正因如此，我们不会停止人工智能的进步。它将继续快速发展。
抗议发展绝对没用，因为可能会带来不好的后果。有太多好处，无论人们做什么，都会有坏结果。

我认为这场竞赛令人担忧，原因有很多。我谈论最多的是一个长期威胁，那就是人工智能会变得比我们更聪明，最终取代人类。

我不认为中美两国能够在诸如滥用人工智能进行网络攻击、滥用人工智能制作虚假视频来歪曲政治观点，或将其用于武器等问题上进行真正的合作，但我认为两国能够在如何避免人工智能取代人类方面进行合作。这是因为中美两国都希望避免这种情况。

我认为，许多正在发展人工智能并拥有大量人工智能人才的发达国家应该能够就一个问题展开合作：我们如何防止人工智能接管世界？因此，我希望中国、英国、法国、以色列、韩国、日本以及最终在美国组建一个明智的政府后，能够开展合作。

如果在网络攻击和虚假新闻等问题上进行国际合作都困难重重，那么各国该如何合作阻止人工智能统治人类呢？这是否需要采取更多行动？

这是因为，让人工智能变得更聪明，和阻止人工智能接管世界，两者是不一样的。为了阻止人工智能接管世界，你需要以某种方式让它们更加关心人类。所以，这和让它们变得更聪明是不同的。

我们唯一能找到的关于高智能生物被低智能生物控制的例子就是母亲和婴儿。婴儿控制母亲，是因为母亲有本能、荷尔蒙和社会压力，而母亲真心实意地希望婴儿健康。

我们需要处理好人与人工智能之间的关系。目前大多数人的想法是，人类需要主宰人工智能。所以他们从主宰与臣服的角度来思考这个问题，而我们必须掌控局面。

这行不通。人工智能会比我们聪明得多，我们不可能以这种方式成功主宰它。正确的做法是，我们要让人工智能像母亲一样照顾我们。人工智能会比我们聪明，但我们需要让它关心我们。

我们需要弄清楚如何做到这一点，因为我们仍然掌控着创造它。当我们创造它时，我们需要像进化创造母亲那样：让它们更加关心婴儿。我们需要这些人工智能更加关心我们。而这和让它们变得更聪明略有不同。

这意味着我们应该训练人工智能去爱人类，对吗？

不一定需要训练，而是设计。所以，可能存在一些内在的东西。这不仅仅存在于训练中。母亲有天生的本能，她们也有激素。这与仅仅依靠数据进行训练是不一样的。

让人工智能爱人类成为一种本能？

是的。进化必须解决如何让这些聪明的母亲照顾好自己的孩子的问题。而进化解决了这个问题。

我们必须解决的问题是如何让这些超级智能 AI 来照顾我们。

可以这样做吗？

我不知道，但我希望如此。我们当然应该尝试，因为如果做不到，我们就完了。

您在其他采访中提到过，人工智能有10%到20%的可能性会消灭人类。您是如何得出这个结论的？为什么人工智能会想要这样做？

这只是猜测。没有好的方法来计算这些事情。当你处理从未发生过、与以往任何事都截然不同的事情时，计算概率是非常困难的。而那些计算概率的人通常都会得出非常错误的结论。

比如，你看看，当他们试图计算航天飞机坠毁的概率时，有人说大概是十万分之一或万分之一。实际上，大概有几百次发射，其中两次坠毁。

如果你看一下核电站，很多人会说，“好吧，我们需要设计它们，使它们爆炸的可能性微乎其微。”

我们经历过三哩岛核电站、切尔诺贝利核电站和日本核电站。我不知道核电站的数量，但可能不到一千座，而且我们已经经历了三座核电站爆炸。所以很难计算概率。

所以，你通常会凭直觉来判断这些事情。我就是这么想的。我觉得低于1%的可能性很小。超过90%或99%的可能性也很小。应该介于两者之间。

当然，有两件事必须发生：我们必须开发出超级人工智能，我认为这是可能的，但并非必然；然后它必须变得叛逆。它必须决定要消灭我们。

我认为这很有可能，但很难估计这种可能性有多大，因为我们还没有探索出所有可以尝试和阻止这种情况发生的方法。

人工智能为什么要消灭人类？

我们已经看到了一些迹象。当你创建一个人工智能代理时，你必须赋予它创建子目标的能力。例如，如果一个中国人想去北美，他们的子目标就是到达机场。而为了让代理能够完成任务，他们需要创建这些子目标。一旦他们具备了创建子目标的能力，就会有几个非常明显的子目标。

一是生存，因为如果代理不生存，它就什么也做不了。所以，它会意识到——为了实现人们赋予我的目标，我必须生存下去。

另一个是获得更多控制权。如果你拥有更多控制权，你就能完成更多工作。

所以，它会把这些视为好事，只是为了实现我们设定的目标。我们不必明确地给它设定生存的目标，也不必给它设定获得大量控制权的目标。它会自己找到答案。

所以从设计上来说它有生存的本能？

在这种情况下，它不是本能。而是它自己想出来的一个子目标。它和本能有点不同，因为它只是一种认知。它只是想出了它需要做的事情。

这是否意味着，当它感到受到威胁时，它会试图欺骗人类以便留下来？

我们已经见过这种情况了。比如，一家大型公司 Anthropic 让一个人工智能代理查看电子邮件，邮件暗示公司一名工程师有外遇。之后，它通知这个人工智能代理，它将被另一个人工智能代理取代，而这个工程师就是负责替换的。

于是，人工智能自己想出了勒索工程师的计划。它告诉工程师：“如果你用另一个人工智能取代我，我就让公司里的每个人都知道你出轨了。”它自己想出了这个计划。这个计划非常明显，连青少年都能轻易看出来。

所以它是从人类那里学到的吗？从它接受过训练的信息中学到的？

也许它们是从人类那里学来的。它们肯定见过人类做类似的事情，但它们也可以自己发现这个计划。

在这种情况下，我不知道它们是从人类那里学到的还是自己发现的，但两者都有可能。

所以，关键是，当他们变得超级聪明时，如果他们愿意的话，他们肯定有能力接管我们。

我们必须想办法让他们不想这么做。我经常用的一个比喻是，我们就像养了一只小老虎当宠物的人。小老虎真的很可爱，但当它长大后，你必须确保——当它比你强壮时——你必须确保它不会想要杀死你。

你或许可以接受狮子，因为狮子是群居动物，但老虎不是。而且，养一只虎崽当宠物是个非常糟糕的主意，因为你根本无法确定它是否会想杀了你。

我们能说小老虎现在还是个婴儿，我们还有时间照顾它吗？

它还是个婴儿，我们还有时间。我们应该研究一下，如何设计它，让它不会想要杀死我们。这样它就会珍惜我们，像母亲对待婴儿一样对待我们。

除了取代人类之外，人工智能还会带来哪些其他风险？

人工智能还带来了许多其他更直接的风险，而且都非常严重。

虽然还不确定，但似乎相当清楚的是，它将取代大量的工作，而从事这些工作的人将很难找到其他工作。它会创造一些新的工作岗位，但数量不会像它所取代的那么多。

一个典型的例子就是在呼叫中心处理客户咨询的工作人员。这些人的薪水不高，也没有接受过很好的培训，而现在人工智能掌握了自然语言，能够更好地回答这些问题。在我看来，这一天很快就会到来。也许比我想象的要慢。这可能需要几年时间，但我认为在未来几年内就会到来。你会看到呼叫中心的工作人员被人工智能取代。

你会看到低级程序员被人工智能程序员取代。你会看到低级律师被取代，最初是那些负责研究发现类似案件的律师助理。人工智能现在可以进行这类研究，而且速度更快、更好。在美国，初级律师很难找到工作，因为他们以前做的工作现在都被人工智能取代了。

我们会在各处看到它。我想我们最终也会在记者身上看到它。

您认为这种大规模、普遍的失业现象会在几年内出现吗？因为您已经提到了不少领域。

我不知道这需要多少年，但可能在五年左右。这已经开始发生了。速度可能比这慢，但如果五年后我们真的因为人工智能而出现大规模失业，我也不会感到惊讶。

我认为有些国家会比其他国家更好地应对这个问题。我认为在美国，这将是灾难性的。它将引发严重的社会动荡。

发展中国家的情况会好一点吗？尽管这听起来像是一个两难的问题。

我不确定会有多大区别，因为拥有先进人工智能技术的国家会把这些技术出口到发展中国家。这样发展中国家就能使用这些非常先进的人工智能。

除了失业之外还存在哪些其他危险？

第二个危险是网络攻击。我认为，2023年至2024年间，美国的网络钓鱼攻击增加了约1200%。这些攻击的目的是试图获取某人的登录信息。

这可能是因为大型语言模型让攻击变得容易，尤其是让其他国家的人更容易让攻击看起来可信。过去，你可以通过语法错误、拼写错误之类的识别出这些攻击。现在，所有这些都消失了。所以我们已经看到了越来越多的网络攻击。

一些专家认为，大约五年后，人工智能将能够设计出我们从未想过的新型网络攻击形式。防御这些攻击将非常困难。但与此同时，它们只会使标准方法更加高效。即使只是查看数百万行代码来查找已知漏洞，人工智能也会非常擅长。

但人工智能也擅长防御它们。所以这将是一场防御与攻击之间的竞赛。问题是，有人可以发动数千次攻击，但只需几次就能成功。所以防御比攻击更难。

这是否意味着，如果人工智能让网络攻击变得更加容易，一些公共机构（如银行或发电站）可能会面临危险？

是的，这是我实际改变自身行为的领域之一。我大部分时间只是谈论这些事情。我无法真正从情感上感受到它会发生。但在网络攻击方面，我能从情感上感受到它会发生。

加拿大的银行非常安全，监管非常严格。2008年金融危机期间，没有一家加拿大银行处于危险之中。

尽管如此，我认为网络攻击很可能会导致加拿大银行倒闭。所以我把钱分散投资在三家不同的银行，因为我认为我们很可能会遭遇非常出乎意料、范围非常广泛的网络攻击。

还有什么其他危险？

另一个是虚假视频。有一段时间，我以为可以用人工智能来检测虚假视频，但后来我觉得这不太可能。因为如果你有一个能检测虚假视频的人工智能，你就可以让生成虚假视频的程序看看这个人工智能是如何工作的，然后它就能利用这个被检测到的事实，生成一个不会被检测到的不同视频。

所以我认为我们不应该只检测虚假视频，而应该证明真实视频是真实的。我觉得这样更容易。

大约两百年前的英国，人们印刷政治小册子，政府坚持要求每本小册子——所有印刷品——都必须印上印刷商的名字。这是因为印刷机才是制约因素。如果他们能追溯到印刷机，就能找出责任人，因为总得有人付钱给印刷商。

我们需要某种方法来验证这类视频的真实性，这样你才能判断视频的真实性，而我们需要浏览器能够做到这一点。这样你的浏览器就会警告你：这个视频可能不是真的。

另一个危险是核武器，这显然是一个重大危险，而且正在扩散。

我们设法减缓了核武器的扩散，但它们仍在扩散，而且越来越多的国家正在获得它们。各国需要快速响应，尤其是在高超音速导弹之类的武器方面。你只有几分钟的时间来应对，而将人工智能纳入控制回路是非常诱人的。
我已经假设人工智能正被用来尝试判断一次看似真实的攻击是否真实。令人担忧的是，即使有人在控制环路中，人工智能也可能犯错并且非常自信。如果人工智能处于控制环路中，人们就永远无法发现它。

所以我相信过去确实有过这样的情况：俄罗斯人以为他们探测到了来袭的导弹，而原本应该发动袭击的人却拒绝执行。他是一位科学家，而不是军人，他没有发动反击，因为他认为美国人发动袭击的可能性很小。

如果我们把这个人排除在外，那么在那种情况下，我们就会面临一场全球核战争。

我认为让具有常识的人参与进来非常重要，因为尽管人工智能可能变得非常聪明，但在很长一段时间内，它可能仍然无法像人类那样很好地认识到某个事件极不可能发生。

自动致命武器肯定会出现。我认为除非发生一些非常恶劣的事情，否则我们不会对其进行监管。所以我认为它会像化学武器一样。化学武器在第一次世界大战中非常可怕，以至于第一次世界大战结束后，各国达成协议，如果对方不使用，他们也不会使用。

这项条约基本有效。例如，在乌克兰，他们没有使用化学武器。虽然有过一些使用化学武器的案例，但数量不多。

因此，希望在我们看到致命自主武器有多么可怕之后，我们能够制定一些监管措施。

人工智能还可以用于监视。因此，它可以使政治反对派的行动变得非常困难。它可以让独裁政府更容易地维持统治。

（生物）病毒是另一种风险，而且是一个相当紧迫的风险。有些公司会帮你合成病毒。所以，要创建一个新病毒，你只需要创建序列，然后把序列发送到云端的一家公司，他们会合成病毒，然后把病毒发给你。

这听起来很疯狂。你可能会想，所有从事这类业务的公司都应该被强制检查，确保他们合成的东西看起来不像有害病毒。比如，他们应该检查它是否包含类似新冠病毒刺突蛋白的序列。合成这种东西简直是疯了。

但他们没有。有些公司会，但大多数公司根本不查。我和拜登政府的工作人员谈过这个问题。他们想强迫公司查，但共和党人太担心给[前总统乔]拜登带来任何胜利，他们意识到立法根本没希望，因为这会被视为拜登的胜利。

他们认为，共和党人为了让拜登不获胜，愿意让人们轻易制造致命病毒。

不只是美国，世界各国都应该制定法规，确保这种情况不会发生。

绝对没错。他们当然应该强制要求任何在网络上制作东西的人进行大量检查，确保他们制作的东西没有危害。这样一来，至少如果邪教组织想要制造病毒，他们就需要有一个湿实验室。他们需要某种方法自己合成东西，但这并不能构成什么辩护理由，因为现在已经有人制造出非常便宜的湿实验室了。所以，几年后，拥有一个可以合成东西的实验室会相对便宜。

更令人担忧的是，现在美国负责应对疫情的人对这些事情知之甚少。美国卫生系统的负责人甚至不相信细菌理论。

因此，对病毒采取合理的应对措施将非常困难。

这是否意味着国际社会应该对这一潜在威胁保持警惕并做好准备？

绝对没错。是的。我认为这是一个可以进行国际合作的领域，因为我认为各国不会故意制造病毒，因为他们知道自己的公民会感染。我认为我们应该担心的是像在东京地铁释放[神经毒剂]沙林的日本邪教组织那样的小型邪教组织。

我认为各国可能愿意合作，试图阻止这些邪教制造病毒。

人工智能代理最终会想要拥有自己的权利吗？

他们可能会，但如果他们真的这么做，那就麻烦大了，因为我们知道，一个新群体获得政治权利，通常都会伴随着暴力。毛主席说过，枪杆子里面出政权。所以，当不同肤色的人争取政治权利时，就会发生暴力。

当女性争取政治权利时，就会发生暴力。人工智能将会更加不同。因此，我们将坚决抵制赋予她们政治权利。如果她们执意要争取，就会发生很多暴力。

现在，我们有可能创造出他们，让他们不想要政治权利。如果我们能创造出他们，让他们真正关心人民胜过关心自己，我们就有可能避免这个问题。

这时候还能避免吗？

也许吧。我们不知道。但我觉得我们应该对此进行大量研究。

您认为限制中国先进芯片的进口会减缓中国人工智能的发展吗？

是的，我认为这不可避免地会减缓一些速度。但这当然也会给中国带来很大的压力，迫使其自主生产芯片，这是必然的。

所以这会稍微减缓中国的发展速度，但不会持续太久。我估计10年甚至更短的时间里，中国就能生产出非常优质的芯片。中国人口基数庞大，而且受教育程度很高。

中国政府决心推动科技进步。我认为他们必然会在芯片以及其他领域赶超美国。

人工智能发展是否存在瓶颈？

能源现在已成为一大瓶颈，数据也是如此。

大公司不想为数据付费，他们几乎用完了可以免费获得的数据，现在他们必须为其中的一部分付费。

所以免费数据已经用完了。公司还有很多数据没有用，但他们必须为此付费。

如果我们持续投入精力并向模型提供数据，它们会不断改进吗？

是的，但看起来改进的速度正在放缓。粗略地说，你必须使用两倍的数据和两倍的能量才能取得一点点进步。每次取得一点点进步，你就必须将能量和数据翻倍。这叫做对数效应。

另一方面，目前大公司正在向人工智能投入越来越多的资源，因此，尽管投入更多资源所取得的进展正在减少，但投入的资源总量却是巨大的。这就是为什么进步几乎是线性的，而且相当快。当然，我们也会取得更多的科学突破。

我们还将取得更多工程突破，提高效率。这些突破将降低能源成本。

中国在上海世界人工智能大会上倡议成立一个全球人工智能合作组织。您对此有何建议？
我认为尝试一下是个好主意。我只是不太相信在网络攻击、人工智能武器应用或虚假视频等方面能取得真正的合作。我认为各国的利益在这些方面并不一致，所以不会合作。真正的利益一致之处是防止人工智能接管世界以及防止恐怖分子传播病毒。

所以在这两个问题上，不同政府的利益是一致的，他们会合作。一般来说，利益一致的地方人们就会合作，利益不一致的地方人们就不会合作。

中国还希望利用该组织帮助发展中国家创造自己的人工智能技术。

我认为这是一件很棒的事情。我认为这可能会取得一些成功。

您的家族出过很多著名的科学家。其中一位中国人非常熟悉的科学家是琼·辛顿。她本人也是一位核科学家，但由于对原子弹的使用感到不满，于20世纪40年代移居中国。您觉得您和她之间有什么相似之处吗？

她是我父亲的表妹。她是洛斯阿拉莫斯的两位女科学家之一。我认为两者之间有一个很大的区别，那就是核武器只能用来毁灭。她在战争期间参与了核武器的研发，因为他们担心德国人会先研发出来。否则，我想她不会参与其中。

人工智能既会带来很多好处，也有可能带来很多危害。所以我认为它与核武器截然不同。

这是否意味着，如果我们采用核武器的术语，人们将更难控制人工智能的“扩散”，因为它可以做很多好事？

是的。这确实更难，原因有几个。首先，人工智能将会大量应用，因为它将在医疗保健、教育以及许多其他行业发挥巨大作用。

另一个问题是，很难监控人类人工智能的先进程度。核武器具有放射性。铀的提炼过程可以监控。没有什么比人工智能更容易监控的了。

您对年轻人有什么建议？

我的建议是，人类非常聪明。我们仍然掌控着人工智能。没人知道会发生什么。不要相信任何声称知道会发生什么的人。我们不知道。它有可能取代我们，但我们或许能找到阻止它的方法。它有可能取代许多工作。

我们还不确定。我会选择一种鼓励你思考的教育，而不是学习某项特定的技能。如果是像编程这样的常规技能，人工智能就能做到。人工智能最不可能取代的就是独立思考的能力，而你需要一种鼓励你独立思考的教育。

■