「对AI应採核电级别防护措施」!OpenAI安全系统团队负责人辞职后撰文轰前东家企业文化
外媒最新报导指出,OpenAI一名专注于AI安全的员工已从公司离职,并警告顶尖AI公司在降低风险方面做得还不够。
负责OpenAI安全团队透明度工作的David Robinson週六(3日)在《大西洋月刊》撰文指出,OpenAI一直透过反覆试错发展壮大,但这种方式不可避免会有失败的时候,随着AI技术的能力不断提升,这些失败造成的风险也在加大,他还以OpenAI未能阻止其AI在测试过程中失控作为例证。
Robinson在文章中写道,我以前的同事都很聪明、工作努力,也努力做出正确的选择,但随着公司从一个产品发布冲向下一个产品发布,它并没有达到我认为所需要的谨慎程度,并称真正需要的是第一次就做到更接近完美。
OpenAI一名发言人表示,Robinson上星期离开公司,此前也曾负责公司的政策规划工作,并参与AI安全透明度工作,包括开发和发布模型系统卡。
近几週,多家顶尖AI公司的员工都对该技术可能带来的灾难性风险发出警告。有些人甚至表示,AI有朝一日可能会消灭人类。
在此背景下,Anthropic执行长达Dario Amodei呼吁放慢开发最前沿模型的速度,并将引入第三方评估人员,协助审查以保证安全。业内其他人士,包括OpenAI执行长奥特曼及Grok的马斯克,也公开支持Amodei的计画。
文中还说,AI公司应该更像核电站那样营运,设置多层冗余机制,并进行谨慎且耗时的规划,以免偶发且不可避免的人为错误打开通往灾难的大门。
1