前段时间离职后留下公开辞职博客的 OpenAI 六年元老 Miles Brundage 最近再发一文，讨论了一个相当热门但棘手的问题：当今的 AI 发展速度，应该加速、减速还是维持现状？10 月末，OpenAI 在政策研究领域方面的 6 年元老 Miles Brundage 离职，顺便发表了一篇博文，解释自己离职的原因，并直言 —— 我们远远没有为 AGI 做好准备。
10 天后，似乎是觉得这篇文章意犹未尽，Brundage 再次发文，题为「AI 发展是应该加速、放缓，还是保持不变？」
虽然标题是问句，导读的一句话也充满了不可知论色彩，但文章的结论非常明确 —— 谨慎起见，我们应该为全社会的 AI 发展安装一个「刹车」。负责托管维基百科的 Chris Albon 转发了这篇博客并大力赞赏，将 Miles Brundage 的内容产出与致力于教育领域创业的 Andrej Karpathy 相提并论。
现在再加上刚离职的 Lilian Weng，不得不说，OpenAI 的「离职潮」大大丰富了高质量 AI 博客的创作和产出。
Miles Brundage 本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任 AI 政策研究员。2018 年，Miles Brundage 加入了刚刚成立 3 年的 OpenAI 担任政策方面的研究科学家，之后又在 2021 年升任研究主管，目前是 AGI 准备工作的高级顾问。人工智能应该更快、更慢还是保持不变？在回答这个问题之前，我们先简要回顾一下目前的人工智能进步有多快。2021 年出版的一本书 ——《人工智能简史》（A Brief History of Artificial Intelligence），其中的观点在短短 3 年后的今天就已经过时了。比如书中提到，「理解一个故事并回答有关问题」以及「解释照片中发生的事情」，这些任务并没有完全被 AI 解决；但从 GPT、Claude、o1 等模型中可以看到，这些方面已经有了很大的进步，甚至很可能超过了人类表现。举出这些例子并不是为了特意挑刺或抬杠，而是我们要明白一点 —— 严肃的专家经常在人工智能领域犯下严重错误。虽然某些情况下，人们确实对人工智能的进展过于乐观，但总体而言，近十年来，坚持唱深度学习的反调确实不是一个成功的策略。
计算机已解决和待解决的问题总览，按任务难度排序另外还有下面这张著名的图表，告诉我们 AI 的发展如何让各种评估基准越来越快地饱和。
在物理、化学和编码等领域的测试问题上，AI 开始超越专家表现，例如基本全新的 GPQA 问答基准（Google-Proof Question Answering），去年 11 月刚刚发布，现在却正在被碾压。在解决谷歌搜索都无法完成的，孤立的、研究生级别的任务上，AI 可以比大多数专家做得更好，即使专家有半个小时的时间来解决问题。
在有挑战性的推理基准上，o1 大大超过 GPT-4o这种最新的进展的驱动力是 AI 系统向新范式的过渡，即所谓的「思维链」（chain of thought，CoT），在给出答案之前先思考问题。GPQA 基准仅仅是一个孤立的短期任务，AI 系统在需要花费数小时 / 数天 / 数周 / 数年的「长期」任务上还无法超越专家，但科技公司正在积极推动这一点，并极有可能在 10 年内实现。这些进步开始与机器人技术相结合，真正智能的 AI 系统无疑将大大加速机器人技术的发展。尽管在我看来，对 AI 进步速度的争议会随着时间的推移而减少，但这个问题目前仍然非常模糊，因为能在不同的规模和层面上控制它，比如单个公司、一个国家或一组国家，或全球范围，也区分不同类型。
例如去年发表的一篇文章中，就做出了如下区分：本文下面的内容主要关注全球范围内 AI 在纵轴上的扩展 / 进步，也就是大多数人所理解的 AI 进步的意思；而且最终我们关心的是全球成果，因此无论人工智能发生在哪里，都应该考虑它的进展。有些人可能认为这是一个棘手的问题，原因之一是他们认为这是对技术看法的「试金石」，而技术本身就已经是一个很大的争议了。但事实并非如此。实际上，有很多人总体上支持技术发展，但对人工智能感到担忧。比如，在这份旨在重视 AI 风险的倡议书上，不乏各种大力推动技术发展的大佬，比如比尔・盖茨、前 OpenAI 首席科学家 Ilya Sutskever、DeepMind 联创兼 CEO Demis Hassabis、Anthropic 联创兼 CEO Dario Amodei、OpenAI CEO Sam Altman 等人。
原文链接：https://www.safe.ai/ work / statement-on-ai-risk在本文作者 Miles Brundage 看来，AI 发展的配速之所以成为一个难题，其真正原因在于，即使大家的出发点是一个共同的合理道德前提，例如「不要杀死所有人」和「更多的人 vs. 更少的人应该从技术中受益」，一系列相关的经验问题仍然很难解决。AI 总体发展的理想配速可能取决于以下问题的答案，而每个问题实际上都可以成为一个单独的领域：类似的问题还有很多。这些问题本身就很难回答，而要将它们整合到一个整体框架中，以得出关于 AI 理想进展速度的有用结论就更加困难。需要澄清的是，本文所指的「刹车」并非用「一刀切」的方式完全停止 AI 技术的发展。而是基于事实和对上述问题的回答，通过详细定义、分析的技术和政策选项来减缓人工智能的进步。在 Brundage 看来，我们应当安装（经过设计和辩论的）「刹车」，因为当前 AI 的进步明显快于社会能够有效理解和塑造的速度，而且这种情况可能不会很快改变 —— 甚至，二者之间差距可能逐渐扩大。理想情况下，政策制定者能够掌控一切，但我们不知道最坏的情况是否会发生，所以要为各种情况做好准备。值得一提的是，去年 Brundage 曾写过一篇文章，详细分析了他所见的 AI 进步和社会准备度之间的差距。
原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai目前来看，上述定义的「刹车」仍不存在，一部分证据是，我们看到了「科技公司单方面暂停 AI 开发」这种不切实际的提议。这类政策不会发生也不会起作用，至少在未来很长一段时间内是这样，因为负责任的 AI 开发是一个集体行动问题。Brundage 仍在 OpenAI 任职时，他和团队在 2019 年发表的论文就详细解释了这一点。
原文链接：https://arxiv.org/pdf/1907.04534大部分人都会担心 AI 的发展。人们看到问题的存在，之后就会四处寻找答案，并提出一些非常简单的解决方案，但政策制定是困难的，需要远见、辩论和认真地研究。OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构在今年 2 月联合发表了一篇论文，讨论安装「刹车」的一种可能性 ——「算力储备」（compute reserve）。
原文链接：https://arxiv.org/pdf/2402.08797这类似于设置一个有黄金储备的中央银行，对市场经济的发展进行宏观调控；「算力储备」也是如此，调节 AI 发展的步伐节奏。尽管已经有了一篇 104 页的论文打底，但「算力储备」的方案仍存在很多问题和模糊之处。这不一定是正确的解决方案，但我们确实应该对此和相关想法进行更多讨论，还有人工智能税等等更多场景。如果需要设计一个刹车的话，我们要不要同步配套一个「油门」？Brundage 认为，这也是必要的，但目前我们看到的是，已经有各种小型的「油门踏板」被踩得很紧。例如，CHIPS 法案将更多资金投入美国半导体制造；初创公司、风投和大型科技公司不断尝试在横轴和纵轴上扩大 AI 规模；教育机构不断培养研究人员和工程师；消费者们「用钱包投票」，通过为科技公司提供收入来间接支持 AI 更快地进步。考虑到减速方面的协调困难，单方面加速比单方面减速更容易。因此，从分配政策研究注意力的角度来看，关注困难的问题更有意义，也就是如何放缓 AI 的发展。总而言之，这篇博文着重论证了两点：1. 对于标题中的这个问题（AI 发展应该加速、放缓，还是保持不变？），仍没有人能给出合理且明智的答案2. 尽管如此，谨慎地安装「刹车」是明智的做法，从而为可能发生的情况做好准备Brundage 表示，目前缺乏「刹车」的情况让他非常担忧，而且在他职业生涯下一阶段关注的主题中，「进展速度」这个问题相当重要。尽管他表示，「AI 监管措施」与「国家竞争力」之间并不存在大多数人所认为的那种联系，但他发表过的一篇推文直言：「与过度监管相比，缺乏监管，特别是与安全 + 出口管制相关的监管，更有可能导致美国失去 AI 领域的领先地位」
参考资料：本文来自微信公众号：新智元（ID：AI_era）
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，蓝鸢梦想所有文章均包含本声明。
