高通重构手机AI晶片架构 NPU记忆体容量大增50%

随着代理式AI (Agentic AI)逐步成为手机端AI发展重心，高通(QCOM-US)也重新调整行动晶片架构，新一代顶级行动平台将以全新Qualcomm Hexagon NPU为核心，不仅导入专为Transformer工作负载打造的Element Accelerator，NPU共享记忆体容量更大幅增加50%，藉此降低外部记忆体存取需求，支援更长上下文、多模型协作及并行AI代理运作。

高通指出，代理式AI与过去生成式AI最大的差异，在于未来并非由单一大型模型处理所有任务，而是会依照任务、情境及使用者需求，动态调度不同的专用模型。因此，手机端AI所需要的也不只是更高的推论效能，而是能够支援持续运作、多模态处理、低延迟及模型协同调度的全新运算架构。

此次新一代Hexagon NPU最大的架构升级之一，就是扩充共享记忆体容量。高通表示，NPU记忆体子系统容量增加50%，让更多模型状态、启用值及中间张量能保留在晶片本地端，减少频繁存取DDR记忆体的需求，进一步降低记忆体频宽瓶颈及功耗。

高通指出，随着AI代理需要处理更长的上下文、更多工具及多项并行任务，记忆体存取效率的重要性持续提升。透过更大的共享记忆体，可让AI代理以更短等待时间完成回答、修正、规划与执行动作，同时提升token生成速度，并让AI代理在不同工具及任务之间切换时更加流畅。

除记忆体架构升级外，高通也在Hexagon NPU中导入全新Element Accelerator，专门加速生成式AI及代理式AI大量採用的Transformer工作负载，并结合向量、矩阵及纯量扩充功能，提升大型模型推论及AI代理决策、路由与协同调度效率。

高通同时将混合专家模型（Mixture-of-Experts，MoE）视为未来手机端大型AI模型的重要架构。高通指出，一个拥有300亿参数的MoE模型，可保有数百亿个参数，但每次生成token时，仅需启用约30亿个经路由选择的参数。

相较于传统Dense模型每次推论都需要动用大部分模型参数，MoE可根据输入内容动态选择不同专家模型，藉此降低运算量及记忆体频宽需求，让更大型的AI模型有机会在手机端运作。

为进一步降低记忆体压力，高通也导入从快闪记忆体至系统记忆体的专家模型管理及快取机制，可依照实际需求载入不同模型，搭配更大的NPU共享记忆体，提升模型切换效率。

在AI模型精度方面，新一代Hexagon NPU支援INT2、INT4、INT8、FP8及FP16等多种格式，让开发者可依照效能、记忆体占用、模型品质及功耗需求进行调整。

其中，针对INT4模型，高通表示，新平台可带来最高50%的预填（Prefill）效能提升，同时改善解码吞吐量、推测解码（Speculative Decoding）及整体每秒token数，进一步缩短AI模型处理长篇输入资料及产生回应所需时间。

高通也强调，在代理式AI架构下，CPU与NPU的协同运作将更加重要。Hexagon NPU主要负责Transformer及AI推论运算，CPU则负责多步骤工作流程中的路由、协同调度及资料管理，确保资料能即时提供给NPU使用。

高通认为，未来行动AI将逐步从单一模型推论，转向多模型、多代理及持续运作的架构，而新一代Hexagon NPU透过Element Accelerator、更大的共享记忆体、MoE模型支援以及低精度运算能力，目的就是让更多代理式AI功能直接在装置端完成，在降低延迟及功耗的同时，也兼顾资料隐私。