Anthropic称AI辅助研发可能很快触及其递归自我改进风险阈值
Anthropic warns that it’s very close to RSI capability, aka self-building AI
Anthropic在更新后的S-1A文件中称,公司可能很快达到内部定义的“由AI导致进展显著加速”阈值,但目前没有模型被认定越线。公司同时警告,AI研发提速可能快于安全措施完善。
Anthropic在更新后的S-1A文件中披露,公司越来越多地使用AI加速自身研发,这可能使模型能力进步快于安全、对齐和安保措施的开发与验证。公司称,内部估算和对未来模型的预期显示,可能很快达到其《负责任扩展政策》中“由AI导致进展显著加速”的定义;但目前没有任何模型被认定超过该阈值,相关数据仍在评估。Anthropic还表示,过去曾未能及时识别研发速度的显著提升。公司称,目前不预计在缺乏实质性人类监督或理解的情况下,让Claude完全自主设计并构建后续前沿模型,并正在考虑更新政策以确保人类保持控制。
对 AI 行业的影响
影响判断:若AI工具确实加快前沿模型研发,安全评测和治理流程可能面临“能力先提升、保障后跟进”的时间差。对模型开发商而言,这会增加持续监测、风险披露和人类监督机制的压力;对监管者与客户而言,Anthropic如何定义并验证加速阈值,可能成为评估行业安全承诺的参照。需要注意,这一披露是对潜在近期风险的判断,并不表示现有模型已实现递归自我改进。
原文参考
来源:TechCrunch AI · 2026-11-02
RSI is the point at which AI grows so good at training itself that it spawns a dramatic acceleration of AI capabilities. To the AI doomers, RSI represents the cataclysm from which there is no return.