Claude 开发商 Anthropic 呼吁全球考虑暂缓前沿 AI 系统开发。公司表示,如果能确信其他主要参与者也同步暂停,它愿意停止开发更强系统。Anthropic 警告,AI 模型能力正在快速接近可在较少人类干预下自我改进的阶段。公司把前沿 AI 竞赛比作军备控制问题,认为社会结构和 alignment 研究需要更多时间追上技术进展。Anthropic 最近估值据称达到约 1.3 万亿澳元,并超过 OpenAI 成为全球最有价值 AI 初创公司。公司已限制其最强模型 Mythos 面向公众开放,担心其被用于严重网络攻击。该表态显示,即便最受益于 AI 热潮的公司,也在公开强调系统性风险。政策难点在于,任何单边暂停都可能让竞争对手获得优势,因此真正有效的限制需要国际协调。