最近，Anthropic团队研究产品经理Theodora（Theo）Chu的一段演讲视频，在圈子里引起了不少讨论。

Theo提到，现在越来越多的开发者已经不光是“听说过Claude”，而是实实在在感受到了日常效率的提升。有人说效率翻倍，也有人觉得提升了10倍。

更关键的是，Claude已经开始深度嵌入Anthropic内部的工程流程——Anthropic内部超过80%的代码由Claude合并。


这意味着，模型的角色正在发生变化。

它不再只是停留在“回答问题”的阶段，而是进入了一个可以反馈、验证、修正的持续任务环境。核心思路是：Close the Loop（闭合循环），给模型一种验证自身输出结果的方式。

这场分享的核心，其实是想告诉开发者：你应该如何适应这个新世界，又应该如何面向未来构建产品，而不是只为过去构建产品。

为此，Theo详细拆解了如何构建能够自我改进的Agent——真正的配置，是让Claude在循环、计划模式和动态工作流中持续运行。

网友rari@0xwhrrari的评价是，“这要比大多数300美元的Agent课程都要好。”

那么，接下来，我们就来详细梳理一下这场演讲的核心内容。

一年之内，模型失败率被大幅压低

Theo用编程评估基准SWE-bench Verified举了个例子。它由一系列GitHub issue组成，模型需要理解问题、修改代码，并通过测试来证明自己真正解决了任务。

这是Anthropic内部用来观察Claude编程能力提升的重要评测。

一年前的Sonnet 3.7得分仅为60%左右，而到了Opus 4.8，得分已经达到了88%。


这意味着，一年前的模型在这些任务上的失败次数，大约是现在的3倍。

这也是演讲中最值得注意的要点：模型能力提升，并不只是“多做对几道题”，而是失败率正在快速下降。

失败率下降之后，模型才有可能承担更长、更复杂、更接近真实工作的任务。

更不可思议的是，在最新的Mythos和Fable系列模型中，该基准测试实际上已经出现接近饱和的迹象。

换句话说，一些过去足够难的测试，今天可能已经不再能有效区分模型能力。

这对开发者来说是一个重要信号：如果你还在用12个月前的任务测试今天的模型，就很容易低估模型真正的能力边界。

而新模型这种智能的增长，具体落在了以下三个核心领域：

一是先规划，再行动

Theo展示了同一个任务在两个不同模型上的表现：让模型一次性重建Claude.ai网站。

结果表明，旧模型的典型做法是，上来就开始写大量代码、调用大量工具，几乎没有充分规划。

结果是，界面看起来似乎合理，但实际运行并不完整，功能也不能真正闭环。

“有点像我装宜家家具时的样子：一上来就动手，根本不看说明书，先开始拼，拼着拼着发现做错了，然后才意识到自己应该回去看说明书。”

而以Opus 4.8为代表的新模型则表现出了自适应思考（Adaptive thinking）的能力。

它们会先在内部深思熟虑具体的规范，在预先规划的过程中及时捕捉错误。你甚至会在逻辑推理中看到它们输出“实际上……”或“算了，还是……”这样的自我修正词。

这种先规划后行动的方式，让模型在第一次实际执行时就能高效落地，大幅减少了不必要的工具调用与代码行数。

因此，Theo给开发者的建议是：要允许模型先思考。


产品体验也应该为这种思考留下空间。

• 比如使用自适应思考，让模型自己判断什么时候需要思考、需要思考多久。

• 简单问题不必让模型大动干戈。

• 但复杂任务应该给它足够的规划空间。

二是错误恢复和自我纠正

过去很多人做Agent，重点放在“让模型能调用更多工具”。但Theo强调：工具调用本身还不够，模型必须知道自己什么时候做错了。

旧模型有一个常见问题是doom looping：模型接到任务之后，如果失败了，你告诉它：“嘿，我觉得你应该换一种方式做”。或者，环境给了它某种反馈，提示它应该做另一件事。它会说：“好的，我再试一次。”

但当它再次尝试时，往往又会回到之前同样的解法，并不会真正改变做法。

新模型在这方面进步明显。它能够读取反馈、理解失败原因，然后尝试不同路径。

这样一来，模型不再只是被动执行命令，而是开始具备某种错误恢复能力。

这对Agent产品尤其关键。因为只要任务足够长，模型就一定会遇到错误：

• 代码跑不通

• 页面点击失败

• 测试没有通过

• 用户反馈不满意

• 环境返回异常结果

真正有价值的Agent，不是永远不犯错，而是犯错之后能不能恢复。

因此，Theo认为，开发者需要重新设计模型所处的环境。环境要能给模型反馈，让模型知道自己哪里做错了。


“这也意味着，模型不会因为doom looping而浪费token，而是可以用更少的token完成任务。”

比如，如果你正在做一个应用生成Agent，就应该给它访问前端界面的能力。

• 让它可以自己点击

• 自己测试

• 自己判断按钮是否可用

• 自己判断页面是否正常

模型只有拿到这些验证信号，才有可能形成：执行 → 验证 → 修正 → 再执行。

而这一点，也正是前面网友rari@0xwhrrari认为很重要的一点：close the agent loop（闭环智能体循环），“Loop设计，让模型能够验证自身的输出结果。”

三是模型越来越擅长在更长任务周期上运行

旧模型在长任务中经常会陷入“跟丢主线”（Losing the plots）的窘境。

用户给它一个长任务，它做着做着就忘了最初目标，或在执行到一半时遗忘最初的上下文或核心指令。

而现在，模型在长程任务的上下文连贯性上有了显著突破，能够稳定地将注意力维持在100万个Token甚至更高的级别。

这意味着开发者不再需要把上下文窗口切得那么碎，而是可以直接将整个代码库递给模型。


未来更合理的方式，是把更完整的任务交给模型。

• 比如，给它整个代码库，而不是只给它某个文件；

• 给它完整产品需求，而不是只给一个孤立函数；

• 让它跑完整流程，而不是只完成一个局部步骤。

当规划能力、错误恢复能力和长上下文能力叠加到一起，Agent的形态就会发生变化。

它可以先规划，再执行；执行之后，通过工具或人类反馈验证结果；如果发现问题，就调整计划，继续执行。

这个循环持续进行，直到最终完成任务。

开发者该如何为未来进行构建？

随着模型变得越来越智能，用户基本上可以让它运行更长时间，而它完成任务的效率和效果都会比过去更好。

那么，从战术上讲，用户现在到底应该如何为这个“未来”构建产品？也就是说，如何为正在变得越来越强的模型构建产品？

Theo认为，开发者在产品与工程层面需要全面升级自己的研发战术：

一是主动保持野心，动态刷新评估基准（Evals）

首先，要更大胆地尝试、允许Claude处理更多事情。

不要总是测试那些你觉得Claude 12个月前就能完成的任务，而应该开始思考那些Claude今天还做不到的任务，并持续关注这些任务。

另外，在模型快速进步之后，开发者最容易遇到的一个误判是：觉得新模型没有明显提升。

其实，背后原因可能不在模型，而在Evals。

Theo提到，有些客户在新模型发布后会说：“我的Evals只提升了1%，所以这个模型好像没强多少。”

但真正用起来之后，他们又会发现，新模型在某些能力上提升非常明显，只是原来的Evals根本没有测到。

这说明，Evals也会过时。

AI时代，Evals有点像单元测试。

它可以帮助开发者判断模型是否真正具备某种能力，也可以帮助产品团队追踪模型变化对用户体验的影响。

但一个好的Eval，不能只测试今天模型已经会做的事情，还应该包含今天模型尚未完全解决、但未来用户体验真正需要的任务。

换句话说，Evals要面向未来设计。

不要只盯着眼前的客户体验，要将用户报告的最新失败模式，以及你希望应用未来发展的方向融入到测试用例中。

如果某些遗留问题被证明不可解，请立刻更新更难的题目。

二是精简“脚手架”（Shrink the Scaffolding）

Theo反复强调的另一个建议是：shrink your scaffolding，缩小模型周围的“脚手架”。

所谓“脚手架”，即在工程实践中，开发者为了修补旧模型的各种漏洞，在其周围套上的系统提示词、外部工具、代码Harness，以及各种围绕模型搭建的约束和补丁。

比如：

• 模型某次引用格式错了，就加一条规则；

• 模型某次没遵守要求，就再写一段约束；

• 模型某次调用工具失败，就在外层加更多逻辑……

这些补丁在旧模型时代可能有用。

但当新模型的指令遵循能力变强之后，旧补丁反而可能成为问题。

Theo举了Anthropic自身的一个例子。团队曾一度以为新模型在Claude.ai的引用功能上出了Bug。

后来检查才发现，是因为新模型遵循指令的能力大幅提升，导致它极其听话地去执行了一行很久以前写在系统提示词里、但现在已经过时的引用格式指令。

团队最终只需将那行过时的提示词彻底删掉，功能便恢复了正常。

这说明，开发者应当“针对意图”去编写简洁的提示词，明确最终想要的结果。

而不是围绕着过去老模型的失败经验去过度包装。

给模型松绑，精简“脚手架”，让它拥有更多的自主权，你才能看清它真正的天花板在哪里。

三是闭环设计，让模型验证自身的输出结果

模型要完成更复杂的任务，只会思考还不够，它还需要动作能力。

这是构建自改进Agent最核心的底层逻辑。

既然模型已经具备了极强的错误恢复能力，就必须在工程上“闭环智能体循环”（Close the Agent Loop）：

• 给模型留出思考与工作的空间：引入自适应思考机制。在产品设计上允许模型进行前端思考，甚至可以通过投入度拨盘（Effort Dial）让模型可以自由上调或下调在某个复杂问题上的钻研程度。

• 以受控的方式开放高权限：想要发挥Agent的自主性，就必须赋予它在环境里采取行动的权限。Anthropic在Claude Code中推出了“自动模式”分类器，它能够在“开发者的控制欲”与“模型的自主权”之间找到完美平衡，自动甄别哪些行动是安全可取的，防止模型误删环境。

• 提供自我质检的工具：应该为Agent配备诸如“Computer Use”这样的自动化验证工具，让智能体能够自己去前端到处点一点、做质检，通过环境的真实反馈发现自身的错误，从而实现代码的自我迭代与修正。

参考链接：

https://x.com/0xwhrrari/status/2069163624375976103