跳到主内容
建议在桌面浏览器访问以获得最佳体验
主题
← 返回 首页

Multi-agent 系统的真实工程挑战


这期聊多智能体系统在实际工程中遇到的坑,以及如何从“随便写写”进化到“认真造轮子”。

本期视频里,Andrej Karpathy 没有空谈多智能体系统的风光前景,而是直接切入工程落地的真实痛点。但他开场先引用了一位关键人物——Anthropic 联合创始人 Dario Amodei——对强大 AI 时间线的预测。Dario 在近期内部讨论中,把“能完成博士级科研工作的 AI”这个硬指标挂在墙上,说大概 2027 年前后就会到来。Karpathy 借此提醒做 agent 的工程师:别被 AGI 的概念模糊仗拖住,落到实处的标准是“系统能持续、可靠地搞定需要多年专业训练的任务”。这个判断直接影响了我们该怎么选 agent 的架构和模型。

Dario 进一步把门槛锚定在“诺贝尔奖级别的科学家”这个水准,而不是泛泛的通用智能。他认为,芯片与算力虽是物理瓶颈,但在 2027 之前并不会成为硬约束——真正的卡脖子环节是数据、算法和组织迭代能力。Anthropic 的思路是 scaling 和 alignment 必须捆绑发展,不能先做大规模再打安全补丁。这个想法对多智能体系统的启示是:当多个具备专业能力的 agent 串联时,如果单个 agent 的价值观对齐都还没跑通,链式反应出的错误会被指数级放大。所以在模型选择上,Karpathy 强调必须从一开始就把安全评估嵌进 agent 的每一环,而不是事后对齐。

安全方面的逆向思考是这期一大亮点。Dario 说,大多数团队会觉得对齐研究是 AGI 出现之后的“高级任务”,但 Anthropic 从 Claude 的 RLHF 到 Constitutional AI,整个组织设计都基于是“对齐本身就是过程”这个原则。放到 multi-agent 场景里,这意味着我们不能等到 agent 们协同完成复杂科研任务时再去约束行为,而是要在任务拆解、子目标设定、信息传递的每个层面,都内建约束机制。比如,让一个 agent 负责检索文献,另一个负责提出假说,如果两者之间没有共享的安全准则,系统很可能为追求效率生出不可监控的捷径。Karpathy 指出,这恰恰是 vibe coding(随手写个 demo)和真正工程化的分水岭。

商业模式同样是工程落地绕不开的坎。Anthropic 走的是 API-first 路线,不去碰消费者应用层,把底层智能体能力开放给生态。这表面看起来克制,但 Dario 的逻辑很清晰:对齐和安全研究需要大量真实的交互数据,而 API 层能更广泛地收集 agent 在各种场景下的协作反馈,从而反哺模型能力。对 Karpathy 而言,这意味着当我们在做 agentic engineering 时,不能只考虑单个 agent 的推理表现,还要设计一套机制让 agent 之间的交互可观测、可评估。如果整个 multi-agent 系统是一个黑箱,出了问题连回溯都做不到,就更别谈商用交付了。

最后收束到时间线。Dario 呼吁出口管制的本质不是阻断技术流动,而是给对齐研究争取缓冲期。因为 2027 前的物理瓶颈不会卡死算力增长,真正的风险在于人类组织跟不上模型能力膨胀的速度。Karpathy 把这一脚刹车理解成:当下做 multi-agent 的人,既要大胆假设 5 年内会拥有博士级的 AI 模块,又要极度谨慎地设计这些模块的握手协议和约束框架。这不是去争 AGI 竞赛的第一,而是争取成为安全能力曲线上跑得最稳的那个。

更多 · Andrej Karpathy