


由于一起版权诉讼,Anthropic一份标注日期为2021年7月的内部研究规划,意外被公之于众。
这份PDF篇幅不长,正文仅有两三页。
然而,当把这份当时标记为“最高机密”的文件从头到尾看完后,我整个人都愣住了。
如今的Claude Code、工具调用、AI自我评判、测试时计算,乃至万亿参数级别与超长上下文……
五年前,在这家公司刚从OpenAI独立出来几个月、全团队仅有十几人时,这些就已经被白纸黑字地明确记录了下来。
许多人认为,大模型从聊天机器人发展到能写代码、操控系统的智能体,是近两年技术成熟后自然演进的结果。
事实并非如此。
在2021年这份规划的开篇,Anthropic为其终极目标(安全、有益的通用人工智能)设定了一个非常清晰的原型定位:
> 打造一个能够通过自然语言与人类互动,从而创建、编辑和解释软件的通用AI助手。
什么是通用AI助手?
它能够回答通用问题、编写函数、定位错误、设计API,并讨论代码风格与最佳实践。
最令人震撼的是后面这句话:
> 它需要展现出一名软件工程师同事所具备的全部能力。
这难道不就是Claude Code吗?
在GPT-3刚刚引起关注、人们还在惊叹于AI能写藏头诗的时代,Anthropic就已经跳过了简单的代码补全逻辑,直接瞄准了完整的软件工程代理。
不仅如此,在具体实现路径上,团队内部还进行过一场激烈的辩论。
研究员Andy Jones在批注中提出了一个核心分歧:我们究竟是应该先开发一个真正好用的编程助手,还是先证明工具调用的可行性?
当时团队面临着两条路线:
实用路线:开发代码仓库检索功能,让AI能够查阅项目的类型定义。GPT-3论文的第一作者Tom Brown也参与了这一方向的讨论,建议从代码仓库浏览入手。
第二条是——
研究路线:实现printf调试、编辑器操作,首先证明模型能够调用工具。
最终由CEO Dario拍板决定:
> 短期内先验证工具调用的可行性,长期再逐步演进为功能强大的编程助手。
如今回顾Claude Code的发展历程,完全是在遵循Dario当年这番话一步步推进。
除了编程智能体,这份规划中还包含了对底层技术的预测。
例如,在预训练部分,2021年的他们就明确写下了要训练1万亿参数及以上的超大模型,并探索超长上下文,或其他能够容纳海量记忆与经验的机制。
在那个175B参数模型还算庞然大物的年代,他们就已经将万亿参数和超长记忆视为标准基础设施。
更令人惊叹的是在人类反馈与对齐部分。
文档中赫然写着:
> 模型自我评判。
2021年,他们就已经在研究如何让模型评估自身的行为和输出质量,以及如何将模型自身的判断作为反馈信号。这正是今天AI反馈以及推理模型自我纠错的核心思想。
更有意思的是,文档中甚至出现了后来大模型研究中一个极其重要的概念:
测试时计算。
当然,当时这项研究被置于对齐和判别器研究的语境下,与后来o1式的推理计算扩展还有一定距离。
但这至少表明,早在2021年,Anthropic的研究视野就已经覆盖了模型训练之外的计算投入。
只能说,Neo Lab确实有其独到之处,难怪Ilya会感到震惊。
不知道如今的前沿实验室,每天又在经历些什么。
当然,既然是AI,就难免要讨论安全问题。
但我发现,这群人确实热衷于讨论安全,花费了大量篇幅。
作为一家以安全为立身之本的公司的,Anthropic在2021年就预见到了今天智能体遍地跑时可能面临的噩梦。
联合创始人Sam McCandlish在批注中提出了一个灵魂拷问:
> 如何安全地部署没有沙箱隔离的工具?
Dario紧接着跟帖补充:
> 具体来说,就是部署时能执行代码的工具!
(注:原文中确实有感叹号,你的Dario就是这么充满激情。)
太神奇了。
当AI真的能够在宿主环境中直接运行代码、调用Shell、修改文件时,一旦失控或遭遇提示注入,后果不堪设想。
今天全网都在讨论的智能体提权、环境逃逸、数据污染,人家2021年就已经在讨论沙箱边界了。
这或许是因为他们从一开始就打算走这条路。
对了,Amanda也出现在这份报告中,就是前段时间比较火的那位A社内部哲学家。
她非常严肃地指出:
> 如果我们在自然语言领域进行对齐研究,却主要在代码领域推进模型能力,我有些担忧。这两种研究必须始终保持紧密联系。 > > 如果我们不在能力提升的领域进行对齐研究,就会限制对齐测试的有效性。这可能会产生连锁反应,例如因为早期没有整合,对齐研究直接变成了一座孤岛。
她甚至直接提议确立一项公司原则:
> 各个领域的能力研究和对齐研究应当按比例同步推进,除非我们能给出充分的理由说明为什么要分开。
唉,我就说AI咋老压OpenAI一头,原来是先发优势。
Anthropic这五年是咬定青山不放松,专注于高质量代码信号、强化学习和企业工作流;
而OpenAI则多线作战,做文生图、搞Sora视频、做语音助手、做搜索,多少分散了精力。
不过,就在大家还在复盘两家技术路线差异的时候,OpenAI那边突然曝出了一个比好莱坞电影还离谱的惊天大瓜——
各位,OpenAI有内鬼啊!!!
根据美国联邦检察官公布的起诉书,35岁的OpenAI前产品团队工程师Abdulrahman Alfozan已被正式解雇并面临联邦刑事指控。
这家伙干了什么?
他在OpenAI旧金山总部高管专用的核心会议室里,将一个带有高级加密和数据传输功能的窃听设备,用卫生纸包着,悄悄插在了电视机背后的USB接口上。
要知道,这个会议室是Sam Altman等高管开核心闭门会的地方,平时聊的全是超级智能研发机密、未公开产品规划和政府合作简报。
结果,这么容易就被人入侵了。
世界真是个草台班子啊……
https://i.smitop.com/concise-research-roadmap.pdf
本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。

评论 02