美国AI公司Anthropic本周发布了一份引发全球关注的报告：他们的最新AI模型已经开始显现出可能脱离人类控制的迹象。这家以AI安全研究著称的公司，再次在安全问题上的站在了风口浪尖。
Anthropic在报告中呼吁全球各大企业考虑放缓甚至暂停先进AI系统的开发。但公司也坦承，单方面放缓没有意义——如果只有一家企业停下来，竞争对手就会加速前进。
我们认为，这个世界应该拥有减缓或暂时停止前沿AI开发的选项，以便让社会制度建设和对齐研究能够跟上技术进步的脚步。
全球协调机制有多难
Anthropic的主张是，美国、中国等全球主要AI开发方应该达成共识，建立一套所有参与方都能验证的规则。公司将在未来几个月召集政府官员、科学家、倡导组织和竞争对手，共同探讨这种全球协调机制如何运作。
但这个立场也为Anthropic引来了不少批评。美国白宫部分官员对公司的表态表示不满，认为Anthropic过于强调最坏情况，有借安全之名给对手使绊的嫌疑。
不过，美国政府也承认Anthropic的Mythos模型具有强大能力。这正是矛盾所在：AI能力越强，失控风险越大，但要在全球范围内协调监管又几乎不可能。训练AI比发射导弹更容易隐藏，而利益诱惑又会驱使企业偷偷推进研发。
Anthropic把这种全球协调机制描述为”核武器不扩散条约”，但AI监管的复杂度远超核武器。这场关于AI安全的博弈，才刚刚开始。