纽约市议会提AI监管案！AI模型须设「关停开关」、违规最高罚2.5万美元

纽约市议会近日公布一系列人工智慧（AI）监管提案，从模型上市前的第三方验证、人工紧急关停机制，到违规举报、损害追责与AI安全事件通报，试图将AI安全要求转化为具体的监管规範。

其中一项提案要求，在纽约市推广、销售或部署的AI模型，必须具备kill switch（紧急关停开关），让人类操作人员能够暂时或永久停止模型运作，同时接受第三方验证。未符合要求的相关行为，拟按次处以2.5万美元罚款。

纽约市议会9月25日公布提案后，下一个重要节点为10月5日。市议会已安排全体委员会举行听证，并要求包括Meta(META-US) 执行长祖克柏（Mark Zuckerberg）、OpenAI执行长奥特曼（Sam Altman）等科技业高层出席。

‌
10月5日举行AI监管听证

这波立法行动早在9月25日公布提案前便已展开。

纽约市议会议长梅宁（Julie Menin）9月16日宣布，将于10月5日召开全体委员会听证，并致函OpenAI执行长奥特曼及Anthropic执行长阿莫迪（Dario Amodei），要求两人出席。

该委员会由纽约市51名议员组成，通常负责涉及全市重大议题的事项，较少用于立法及监督听证。

‌

纽约市议会表示，推动此次听证的背景之一，是AI模型能力快速提升所引发的安全疑虑。

议会并提及Anthropic研究人员Jacob Coxon近期离职后公开警告先进AI可能带来严重后果，认为有必要检视现有防护措施是否足够。

截至9月25日，梅宁发出的邀请对象还包括Meta执行长祖克柏、Google(GOOGL-US) 执行长皮查伊（Sundar Pichai）及马斯克等科技业人士。

梅宁表示，市议会期待相关企业负责人出席，必要时也保留动用传票权的可能性。

AI须具备人工关停能力　违规每次罚2.5万美元

在具体监管条文中，人工关停能力与第三方验证是重要要求。提案拟禁止在纽约市推广、要约出售、销售或部署未符合相关要求的AI模型。

所谓关停不只代表永久停止模型，也包括由人类操作人员让模型暂时停止运作；第三方验证机构则须确认这项能力确实存在且能正常运作。

验证範围还包括模型表现、资料来源、偏见及安全风险等。例如，模型面对与训练资料不同的实际使用资料时如何运作、是否对受保护群体造成不利影响，以及资料处理是否安全、合法等，都纳入检查项目。

此外，验证机构也必须揭露自身与AI模型及其开发商之间的利益关係。

对于未完成验证或未具备人工关停能力，却仍进行推广、销售或部署的行为，提案拟按次处以2.5万美元罚款；伪造验证资料也拟按次处以2.5万美元罚款。其他违反该子章规定的行为，则可能面临最高2.5万美元罚款。

除了处罚，提案也规划透过举报机制取得违规线索。符合条件的个人可向纽约市消费者及劳工保护局（DCWP）提出投诉，并提供掌握的重要证据及资讯。

若政府依据举报展开执法并追回款项，举报人可取得追回金额的25%；若举报人或其律师获得授权，依规定参与诉讼或送达违法通知，比例最高可提高至50%。

另一项提案则涉及举报人保护，拟保障揭露特定AI公共卫生或安全风险的市政府人员，以及符合条件的市政府承包商和分包商人员。

提案也将责任延伸至AI造成的损害。若第三方滥用AI造成可预见的损害，而AI提供者未採取合理防护措施，受害者可依提案规定对提供者提起民事诉讼。

至于涉及纽约市政府合约的AI安全事件，相关承包商或机构在知悉符合定义的事件后，须于24小时内通报；纽约市网路指挥机构知悉后，也须在24小时内公开规定资讯，同时保护商业机密及网路安全等敏感内容。

纽约州同步扩大AI及资料中心监管

纽约市此次提案，也是纽约州近期一连串AI监管行动的一部分。

纽约州议会2025年6月通过RAISE Act，州长霍楚尔（Kathy Hochul）同年12月19日签署成法。根据纽约州总检察长办公室今年9月说明，该法将于2027年1月1日生效，要求大型AI开发商公开安全措施，并及时通报安全事件。

监管範围也延伸至AI资料中心。霍楚尔7月14日签署第62号行政命令，在进行资料中心环境影响评估及制定相关标準期间，暂停处理符合条件的州环境保护部门许可申请。

行政命令涉及的问题包括资料中心电力需求、用水、水质、空气品质、噪音，以及设施对周边社区的影响。

此外，纽约州总检察长詹姆斯（Letitia James）9月17日也呼吁AI业界人士提供企业潜在违法行为线索，并表示可透过其办公室的安全举报管道匿名、保密提供资讯。

在联邦层级，美国政府近期也开始介入AI模型的跨境测试安排。《路透》9月24日引述Politico报导，白宫曾要求OpenAI及Anthropic在接受美方审查前，暂缓向英国测试机构提供新模型。

监管能否落地　执法能力成关键

纽约市过去的AI监管经验，也显示制定规範与实际执法之间仍存在落差。

纽约市2021年第144号地方法要求雇主及职业介绍机构，在使用适用的自动化就业决策工具时符合偏见审计、结果公开及告知等要求，DCWP自2023年7月5日起开始执法。

纽约州审计长办公室近期公布的执行审计涵盖2023年7月至2025年6月。报告指出，DCWP期间仅收到2宗相关投诉，且未检查投诉受理流程是否正常运作。

在企业检查方面，DCWP检查32家公司后仅发现1项不合规问题；州审计人员重新检视同一批公司，则发现至少17处潜在不合规情形。

报告指出，DCWP并未使用技术部门制定的正式检查程序，也没有涵盖法律要求的全部内容。部分工作人员缺乏评估相关工具所需的技术专业，却没有充分寻求技术部门支援；投诉处理流程也存在缺陷，无法确保所有投诉都被转交至负责执法的部门。

这些潜在不合规情形并不等同于17项已确认的违法行为，但反映出检查程序及专业支援会影响监管机构发现问题的能力。

此次提案引入举报奖励及第三方验证，可能增加违规线索及专业检查来源，但取得线索后如何调查、如何判断验证结果是否可信，以及最终由谁认定违规责任，仍须由执法机构处理。

即使是AI模型的关停开关，实际执行也涉及操作权限、停止模型后既有任务如何处理，以及连接外部工具的权限是否同步撤销等问题。

因此，10月5日的听证除了关注科技业者是否出席，也将涉及AI模型提供者的责任界线，以及纽约市规範如何与州级制度衔接。

分析指出，对纽约市而言，罚款只是监管机制的一环，如何发现违规、确认责任并实际完成执法，才是新制度能否落实的另一项关键。