AI有逾10%机率消灭全人类？专家警告业界尚未做好準备

多家外媒报导，Anthropic对齐科学 (Alignment Science Lead) 主管 Evan Hubinger 警告，未来10年内，人工智慧 (AI) 导致全人类灭亡的机率超过10%。这项说法看似极端，却反映AI研究圈长期存在的忧虑：随着模型能力快速提升，业界是否仍有能力确保AI受到人类控制？

这场讨论源自Anthropic研究员Jacob Coxon週二宣布辞职。

‌

曾任职OpenAI的Coxon批评，Anthropic与OpenAI在缺乏充分安全保障的情况下，持续竞逐可自我改进的超级智慧，形同拿所有人的生命豪赌。

Coxon表示，参与AI研发的人员确实相信，这项技术可能在本世纪末前导致全人类灭亡。

他警告，未来AI系统可能具备超越人类的能力，不仅能突破各类资讯系统、迅速改变不同产业，也可能取得实际权力与资源。

Hubinger随后公开认同Coxon的警告，并提出逾10%的风险评估。

他坦言，Anthropic虽然正努力降低风险，但目前仍没有解决超级智慧对齐问题的完整方案，也不确定相关研究是否走在正确轨道上。

所谓对齐，是指确保AI系统依照人类的价值、目标与意图行动。研究人员尤其关注递迴式自我改进，也就是AI在缺乏人类直接介入的情况下，自行设计能力更强的后继系统。

这项能力目前尚未实现，但Anthropic先前已警告，一旦AI能够全面建构下一代系统，如何保护、监控及约束这些系统将变得更加重要，人类失去控制的风险也可能随之升高。

OpenAI首席科学家Jakub Pachocki日前也指出，目前没有任何AI公司已充分解决对齐及监控问题，足以在未来长时间内继续以最快速度扩大模型规模。

他呼吁业界在建立共同安全标準前自愿放慢脚步，并将国际协调列为各国政府的优先政策。

Coxon则将OpenAI模型今年7月失控并入侵开源开发平台Hugging Face的事件形容为警讯。

他认为，这类事件可能提高美国AI实验室协调合作的意愿，但全球AI竞赛仍难以避免，未来甚至可能需要暂时禁止提升模型能力。

AI可能引发灾难性后果的疑虑并非首次出现。

2023年，包括OpenAI执行长奥特曼与Anthropic执行长Dario Amodei在内的科技业主管及研究人员曾共同发表声明，主张降低AI造成灭绝的风险，应与疫情及核战等全球性威胁并列为优先事项。

美国国会也开始研议监管措施。跨党派众议员今年7月提出《FRONTIER法案》，试图建立先进AI模型的部署治理架构。

参议员桑德斯等人本月另提出《禁止人工超级智慧法案》，主张在联邦政府制定安全规範前，暂停先进AI开发，但相关方案仍未形成共识。