图片来源：主办方提供

【资料图】

“未来的10年内，我们可能会拥有超强的AI系统。”6月10日上午，在2023北京智源大会“AI安全与对齐”专题论坛上，OpenAI联合创始人Sam Altman（以下称萨姆·奥特曼）对话北京智源人工智能研究院（BAAI）理事长张宏江时说道。

大模型时代，如何确保越发强大和通用的人工智能系统安全可控，且符合人类意图和价值观？这一问题可能是本世纪人类社会面临的最紧迫和最有意义的科学挑战之一。

在萨姆·奥特曼看来，随着越来越强大的人工智能系统出现，全球合作的价值变得前所未有的重要。他指出，推进人工通用智能系统（AGI）安全是各方寻找共同利益的重要领域之一。

萨姆·奥特曼介绍，GPT-4从完成预训练到部署，花了8个月的时间来研究如何前置预判风险并给出对策，“GPT-4的对齐程度超过当前所有的代码”。

萨姆·奥特曼呼吁，必须为鲁莽的开发和部署可能引发的问题负起责任。援引《道德经》中的“千里之行，始于足下”后，他表示：“最有建设性的第一步是与国际科技界展开合作，推动建立一个关于增加AGI安全技术发展方面的透明度和知识共享的机制，发现紧急问题的研究人员应该与更多人共享研究成果”。

在回应张宏江关于国际合作的相关问题时，萨姆·奥特曼指出，中国拥有一些世界上最优秀的AI系统，从根本上讲，他认为这使研究人员在解决许多不同的AI系统的问题上，面临困难。中国是世界上最好的地方，他真诚希望中国和美国的研究人员能对此做出巨大贡献。

以下为演讲及问答实录，有部分删减——

萨姆·奥特曼的演讲

“我们必须为鲁莽的开发和部署可能引发的问题负起责任”

萨姆·奥特曼图片来源：主办方提供

我最近在做全球巡回的访问，期间穿越五大洲近20个国家，接触了诸多的学生、开发者，这趟出行令人振奋，我们见证了全球各地的人们利用OpenAI的新技术来改变生活方式，我们也获得了非常宝贵的意见，以便于让我们的工具优化得更好。此外，我也有机会拜访了多位外国领导人，讨论确保越来越强大的人工智能系统安全部署所需的各种基础工作。

坦白说，世界的注意力主要集中在解决当今的人工智能问题上，很多问题的解决非常迫切，我们还有很多工作要做，不过鉴于我们已经取得的进展，我相信我们会实现目标。

今天，我想谈谈未来。具体来说，我们正在看到人工智能能力的迅速增长，现在需要做的是负责任地将其应用到世界中去。科学的历史告诉我们，技术进步遵循指数曲线。这在农业、工业和计算革命中得到了验证。现在，我们亲眼目睹人工智能变革，不仅因为我们正在见证它，而且因为它带来的变革速度。

它正在迅速拓展人类的想象力。想象一下，在未来十年，人工通用智能系统（常称为AGI）将会超过上世纪90年代初人类所具备的专业水平，这些系统最终可能超过人类最大体量公司的总体生产力。这里的潜在收益是巨大的。

人工智能革命将带来可共享的财富，使改善人类互动标准成为可能，但我们必须管理好风险，并共同努力来实现预期目标。我时常感谢一些人放弃他们应有的权益来实现人类共同的目标，在今天很多领域仍然如此——大国之间经常通过合作的方式来实现共同目标，这种形式的合作对关键的医学和科学进展都会带来好处，比如根除小儿麻痹症和天花等疾病，以及全球减少气候变化风险的努力。

随着越来越强大的人工智能系统的出现，全球合作的利益变得前所未有的重要。如果我们不做好规划，一个设计用于改善公共卫生结果的未对齐的AI系统，可能会通过提供不平衡的建议来破坏整个集体系统。同样，一个旨在优化农业实践的人工智能系统可能会无意中损害经济和造成资源消耗，缺乏对长期可持续性的考虑，从而影响食物生产和环境平衡。我希望我们都能认同，推进AGI安全是我们寻找共同立场的最重要领域之一，我希望把时间都集中在我们已经开始的领域。

其中一个领域是AGI治理。AGI的力量可以从根本上改变我们的文明，这突显了有意义的国际合作、协调的必要性，每个人都会从积极的治理方法中受益。如果我们将这个核心的最先进政策网络化，AGI系统可以为全球经济创造无与伦比的经济丰富，解决共同的挑战，如气候变化、全球健康安全，并在无数其他方面提升社会福祉，我深信这也是未来。我们深处同一个星球，需要明确投资AGI的安全性的意义。

我们必须为鲁莽的开发和部署可能引发的问题负起责任，其中最重要的两个领域是：首先，我们需要建立起包容的国际准则和标准，并在所有国家对AGI的使用中建立平等、统一的防护措施。其次，我们需要国际合作，以可验证的方式在全球范围内建立对越来越强大的AGI系统安全开发的信任，我知道这并不容易。

在国际社会上，我们需要对安全进行长期的关注和投入，以确保我们做得正确。《道德经》提醒我们，“千里之行，始于足下”，最有建设性的第一步是与国际科技界展开合作，推动建立一个关于增加AGI安全技术发展方面的透明度和知识共享的机制，发现紧急问题的研究人员应该与更多人共享研究成果。

我们需要更加深入地思考如何在鼓励推动国际合作的同时尊重和保护知识产权。如果我们做得好，这将为我们打开深化合作的新大门。更广泛地说，我们应该推动并引导与安全研究一致的投资。

当前，我们关注的是如何使AI系统成为一个有益和安全的助手，这对应的是如何训练模型，使其在没有安全威胁的前提下发挥积极作用，不过，随着AGI时代的接近，其带来的潜在影响、问题将呈指数级增长，所以，我们需要通过主动应对AGI带来的潜在挑战，将未来灾难性后果的风险降至最低。

从GPT-4完成预训练到部署，我们花了八个月的时间来研究如何前置预判风险并给出对策。我们认为我们走在了正确的道路上，GPT-4的对齐程度超过当前所有的代码。不过，对于更高级的系统，对齐仍然是一个尚未解决的问题，我们认为需要新的技术方法以及加强治理监督，毕竟未来的AGI，可能是一个十万行二进制代码的系统。

人类监督者很难判断如此规模的模型是否在做一些有害的事情。因此，我们正在投资于几个新的，并且希望能取得成果的方向，其中之一是可扩展的监督，尝试使用AI系统来协助人类监督其他AI系统。例如，我们可以训练一个模型来帮助人类监督员找出其他模型代码中的缺陷。

第二个方向是可解释性。我们希望更好地理解模型内部发生的事情，我们最近发表了一篇论文，使用GPT-4来解释计算机的复杂状态。虽然还有很长的路要走，但我们相信先进的机器学习技术可以进一步提高我们解释的能力。

最终，我们的目标是训练AI系统具备更好地优化自身的能力，这种方法的一个有前景的方面在于——它可以与AI的发展速度相适应。随着未来的模型变得越来越智能和强大，作为助手，我们将找到更好的学习技术，在充分发挥AI的非凡好处的同时降低风险。

我们认为，美国、中国乃至世界各地的研究人员，在应对AI领域的技术挑战上的合作，存在巨大潜力。试想，下人类可以利用AI来解决世界上最重要的问题，大幅改善生存条件和质量。

图片来源：主办方提供

张宏江对话萨姆·奥特曼

“这种机遇和威胁确实能够让世界走到一起”

张宏江：您提到了正在和欧盟、其他AI领域沟通全球治理，现在进展如何？我们距离AGI时代还有多远，有没有什么可以证明距离这一天还很遥远？假设我们发现了安全的人工智能，是否意味着也找到了不安全的人工智能？

萨姆·奥特曼：这很难预测，仍然需要不断地研究才能提供结论，并且这条路不会一帆风顺，但AGI可能很快就会发生，但在未来的10年内，我们可能会拥超强的AI系统。

在那种情况下，全球监管就非常的紧迫，而且历史上也出现过很多新技术改变世界的相关的案例，现在这种改变速度正变得更快，考虑到这种紧迫性，我认为准备好迎接这一切并就安全问题作出正确回答非常重要。

张宏江：所以，您觉得这（正确回答安全相关的问题）是我们的优先事项？

萨姆·奥特曼：我想强调的是，我们并不确切知道（未来可能会如何），尤其是现在对人工智能的定义存在差异，但我认为在10年内，我们应该为一个拥有超强AI系统的世界做好准备。

张宏江：您提到，OpenAI是一个致力于全球合作的机构，你们正在推动的全球合作有哪些，获得了哪些回应，有什么感受？

萨姆·奥特曼：我认为人们非常重视AGI的风险和机遇。在过去的6个月里，相关讨论已经发生了很大变化。人们似乎真心致力于找到一种机制，既能让我们享受这些好处，又能在全球范围内共同努力减轻风险，我认为我们在这方面做得不错。

全球合作始终是困难的，但我认为这种机遇和威胁确实能够让世界走到一起，我们可以为这些系统制定一个框架和安全标准，这非常有帮助。

张宏江：在之前有没有的成功的案例，您能举个例子吗？

萨姆·奥特曼：我们已经消除了一些全球合作的障碍。我们已经解决了技术上的困难，例如真实世界交易的问题。有很多例子可以说明我们已经有所突破。

“与之（AI）保持一致的价值观并不是一个技术问题”

张宏江：您提到了先进AI系统的对齐问题，我也注意到在过去几年中，许多AI系统都付出了很多努力来优化其对齐性能，我们可以在近些年里完成对AI安全的研究吗？

萨姆·奥特曼：我认为“对齐”这个词在不同的方式中被使用。我认为我们需要解决整个挑战，即能够安全地访问系统意味着什么。从传统意义上讲，让模型按照用户意图进行沟通的对齐是其中的一部分。还会有其他问题，例如我们如何验证系统正在按照我们的意愿行事，以及我们将系统与哪些价值观对齐。我认为重要的是全面考虑如何获得安全的AI。

我认为对齐工作还在不断演变中。我们将纳入市场上已有的工作模式。很多这些技术仍处于纸面之上，但是我们需要超越技术的其他因素。这是一个复杂的问题。AI安全是最新的技术。因此，技术方面的创新是我们需要考虑的因素之一。我们需要思考关键的AI安全问题。我们如何应对这些挑战？就像我们大多数人都是科学家一样去思考。我们为什么要做这个？这是一个非常复杂的问题。我认为，为了确保我们解决了技术方面的安全问题，需要投入大量精力。

正如我之前提到的，确定我们要与之保持一致的价值观并不是一个技术问题。我们确实需要技术的参与，但这更是一个值得全社会深入讨论的问题。我们必须设计出公平的、有代表性和包容性的系统。正如您所指出的，我们不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。因此，我们需要构建安全的分类器和检测器，以监测符合用户政策的情况。这一点很重要。

此外，我认为很难预测和预先解决任何技术可能出现的问题。因此，通过从实际使用中学习并快速部署数据，观察在一个国家中会发生什么，并给人们提供时间来学习、更新和思考这些模型将如何影响他们的生活，这也非常重要。

张宏江：中国、美国和欧洲是推动人工智能和创新的三个主要力量。您认为国际合作解决人工智能需求和决策方面的优势有哪些？这些优势如何结合起来产生影响？

萨姆·奥特曼：我认为在人工智能安全性方面，普遍存在着需要许多不同观点的情况。我们还没有所有的答案，解决这个问题非常困难且重要。正如我提到的，这不仅仅是一个技术问题。使人工智能变得安全这件事，受益于了解不同国家和不同背景下用户的偏好。

因此，我们需要许多不同的观念来实现这一目标。中国拥有世界上一些最优秀的AI系统，从根本上讲，我认为这使研究人员在解决许多不同的AI系统的问题上，面临困难。中国是世界上最好的地方，我真诚希望中国和美国的研究人员能对此做出巨大贡献。

“我们可以期望开源的模型会更多”

张宏江：您能分享一些在这方面取得的成就吗？在这项工作中，您的计划或想法是什么？

萨姆·奥特曼：我认为一个重要的进展是人们开始对如何安全开发先进AI系统的国际标准感到兴奋了。我们希望在训练广泛模型并在其部署之前，思考应该进行什么样的测试。我们还就构建反映人们目标、价值观和实践的数据库进行了新的讨论，人们可以利用这些数据库来使他们的系统与之对齐，并探讨了开展共享AI安全性研究的形式问题。所以，这些可能是目前出现的三个最具体的事情。

张宏江：我在这里有一个很棒的问题，来自观众——您是否打算重新开放GPT的源代码，就像在3.0之前一样？

萨姆·奥特曼：关于源代码，我不太清楚，但可以确认一下。我们开源了一些模型，而其他模型则不开源，但随着时间的推移，我认为我们可以期望开源的模型会更多，我没有具体的模型或时间表，但这是我们正在努力的事情我不确定您是否听说过，但是我主持了一个开源机构，我们在开放源代码方面付出了很多努力，包括模型。

我将采用一种算法来开发模型，并引入新的Python模型和A-15模型。我们相信需要倾听并理解听众的反馈。

开源模型的发展已经相当多了。我认为A-15模型也起着重要的作用，它为我们提供了额外的安全控制。您可以阻止某些用户，可以阻止某些类型的微调。这是一个重要的回归点。就目前模型的规模而言，我对此并不太担心，但随着模型变得越来越大，确保正确性可能会变得昂贵。我认为开源一切可能不是最优的路径，尽管这确实是正确的路径。我认为我们只需小心地朝着这些节点前进。

张宏江：是的，我认为开源模型确实有优势。总结一下我所说的，无论是GPT-4还是开源的模型及简化性AI，我们有没有可能需要改变整个基础设施或者模型的架构，使其像GPT-2一样简单？对此您有何想法？从能力和安全性的角度来看，我们可能确实需要一些非常不同的架构。

萨姆·奥特曼：我认为我们将在这个能力上取得一些良好的进展，但在当前的模型类型中他们展现的效果更好，这是一个原因。但是，如果在10年后出现另一个巨大的飞跃，我也不会感到惊讶。我不记得很多年间有什么东西真正改变了的架构。

另外，作为一名研究人员，我相信在座的许多人都会有这种好奇心，就是关于大模型和大容量模型的人工智能用户体验方面的下一步发展方向。我们是否会很快落后于增长曲线，或者下一个前沿是具有体现能力的模型，或者自主机器人是人工智能所关注的下一个前沿？我也非常好奇接下来会发生什么。我喜欢做这项工作的地方就是能够处在研究的前沿，这是令人兴奋和惊喜的，我们还没有答案。因此，我们正在探索许多关于接下来可能出现什么、可能的新领域的想法。

当然，并不是说我们现在就能在序列中找到新的抗衰老模型，而是不用过于担心具体的时间点。我们在刚开始的时候就做过机器人方面的工作，并且我们对此非常兴奋，也经历了困难。我希望有一天我们能够回到这个话题。

“无论是拥有少量模型还是大量模型，都不能让我们更安全”

张宏江：您还提到您正在研究如何制作更安全的模型，特别是使用CT4数据，在CT6的神经元有这个数据。这个工作在这个方向上是否有效？您是否能够在未来（用这种方法）推进人工智能领域？

我们将继续在这方面努力。所以，如果我认为我们会考虑到这一点，它是否具有可扩展性？因为我在向一群生物学科学家提问，他们专注于人类的学习。他们想借鉴这些思想并从中学习，以研究人类在工作中的表现。观察人工神经元比观察生物神经元更容易。

萨姆·奥特曼：我认为这对人工神经网络是可行的。我认为使用更强大的模型或使用类似其他（生物）模型的模型的方法是可行的。但我不太确定如何将其应用于人脑。另外，我们正在讨论人工智能安全和API控制的话题。我们刚才在辩论，如果我们只有三个模型，那么我们会更安全。这就像一个核计划。您不希望（每个人）拥有核武器。因此，当我在控制模型数量时，如果控制不了接触模型和数据的人数的话是不安全的。

那么，我们是要控制模型的数量吗？从人类的角度来看，无论是拥有少量模型还是大量模型，都不能让我们更安全。更重要的是，我们是否有一种机制，确保任何柯林斯模型都需要经过足够的安全测试。我们是否有一个框架，让那些创建了完备柯林斯模型的人具备足够的资源和责任心，确保他们创造的东西是安全可靠的？来自麻省理工学院的教授Max是莱布尼兹研究所的一位教师，他提到了一种方法，但他认为这个方法不够具体。

从一个角度来看，我们可以研究如何控制隐私的泄露。如果您丢失了一封电子邮件，您仍然可以获取一份副本。在这个过程中您无法证明它是怎么获取到的。如果那家公司可以借用您的资料，那这将产生重大影响。我认为有一些行业正在发展不同的许可框架，将新技术引入市场，我认为我们应该借鉴它们。但我认为从根本上说，我们有着很好的购买数据的历史。

张宏江：最后一个问题，您对人工智能社区的设想是什么，以及在这个方向上可能具有很大推动力的因素是什么？

萨姆·奥特曼：对我而言，没有比安全性工作更令人兴奋、活力四溢、充实且重要的事情了。我坚信，如果您个人对一项重要的倡议非常认可，您将会有无穷的力量去解决它。这对我们团队来说确实如此。当我们刚开始的时侯，我觉得成功的概率会非常低。但如果我们能够找出如何构建人工智能，那它肯定会产生巨大变革。我们必须进行安全方面的工作对吧？这就是其中的一部分。但您不能阻止AI的发展。

关键词：