辉达RTX Spark笔电开卖！大模型暴瘦85% 740亿参数塞进22.1GB
辉达(NVDA-US)开放了Nemotron 3.5 Bolt的模型权重。原本约148GB，一口气砍掉约85%，瞄準24GB级本地部署。
Ollama已经给出接入OpenClaw的入口。AI代理在本机读文件、改代码，负责推理的大模型也可以在本机运行，少了一趟趟往云端跑。
模型放出来，电脑也开卖。10月16日，搭载RTX Spark的笔电全球发售，联想、微软等厂商的新机正式登场。
大模型和新电脑，黄仁勋一起端出来了。一句帮我改下程式码，到了代理那儿，往往得忙活好几轮。先读文件、找位置，再动手改，执行报错了，还得回头重来。
每走一步，背后的模型都可能要再想一轮。如果推理全在云端，这些请求就得来回跑。Bolt想接下的，就是这些可以留在电脑上的日常工作。它每次生成token激活约90亿参数，但740亿参数的家底都在。工具调用、图片和影片输入也都支援，程式码和图表都能交给它读。
训练时，团队就让它进入模拟环境练习工具操作，学习少绕弯、少做无用功。代理少走一次弯路，萤幕前的人就少等一轮。
最终量化版Bolt，在考验终端操作的Terminal-Bench 2.1拿到50.98%，在考验上网找资讯的BrowseComp拿到66.75%。这两项都是代理执行任务时不可或缺的能力。
Ollama已经列出OpenClaw、Hermes等框架的启动入口。开发者可以给熟悉的代理换上本地模型，联网搜寻照常联网，推理则交给自己的电脑。
这样，文件、工具和负责推理的模型，就能在同一台电脑上碰头。龙虾在本地工作，大脑也有了本地的住处。
148GB压成22.1GB！大模型暴瘦85%
Bolt的底子，来自这次一起发布的1200亿参数Nemotron 3.5 Super VL。后者每次激活120亿参数，面向企业代理，图表、文件、影片都能读，看完还能调用工具接着工作。
企业还可以拿自家资料继续训练它。到了财务平台Ramp手里，它就被派去辨识收据，把商户、日期和付款资讯整理成程式能读取的资料。报销时那些磨人的抄抄填填，正好让它接手。
轮到Bolt，团队要让这位大哥住进笔电。先动模型结构，从1200亿参数压到740亿，再把受损的能力练回来。
麻烦出在看萤幕上。前面的压缩只动了语言部分，恢复训练也先保文字能力；原来的视觉模组接回来，和这副缩小的底子还得重新磨合。
让它按指令在萤幕上找目标，问题就暴露了：ScreenSpot Pro这项测试，父模型得分41.6%，刚压缩完、还没补视觉训练的Bolt却掉到了0。
于是，团队先用每轮约660万张图像训练视觉适配器，再做视觉任务微调，把成绩拉回39.79%。瘦身省下的空间，差点把眼力也一起省掉了。
眼力补回来了，体积还没过关。740亿参数按BF16精度保存，光权重就约148GB，连最高128GB统一记忆体的RTX Spark笔电也装不下。
接下来，每个参数也得少佔点地方。佔大头的专家权重被压到约2bit，其他部分保留不同精度，再用量化感知蒸馏向教师模型补课，尽量追回精度损失。权重终于瘦到22.1GB。
这组实验里，同样的记忆体预算下，先把大模型练好再瘦身，反而比从头练小模型、再做4bit量化留下了更高的準确率。
装得下，还得跑得快。Bolt请来一个叫LiLiCorr的小模型先打草稿，主模型再成批验收，减少逐个生成token的等待。
在辉达的程式码生成测试中，搭载RTX Spark的128GB版Surface Laptop Ultra，让Bolt跑到了约84token/s。
真正配电脑时，还要给快取、视觉模组和加速小模型留位置。按Unsloth的短上下文建议，32GB记忆体或统一记忆体可作为规划起点，48至64GB更宽裕，22.1GB只是权重的帐单。
RTX Spark的电脑已经开卖，接下来就轮到这些模型上场。Blackwell RTX GPU和Grace CPU整合在一颗超级晶片里，CPU与GPU共用最高128GB统一记忆体。
模型拼命瘦身，电脑这边也得腾地方。两边一起往前推，本地代理才更容易跑起来。
Artificial Analysis拿了一款更大的模型来试这道门槛。Ling 3.0 Flash量化后，光权重就有77GB。
测试中的64GB MacBook Pro和32GB显示记忆体的RTX 5090都装不下，128GB的RTX Spark笔电还能继续跑。
旗舰显示卡也会遇到这种尴尬：算得再快，模型太大，照样进不了门。到了本地AI这里，挑电脑还得看看它的肚量。
辉达也把OpenClaw和Hermes列进了发售时的应用生态，并提供引导安装。想让更多人养上龙虾，第一关总不能先考环境配置。
养龙虾之余，这台电脑也得照顾原来的工作。RTX Spark首发支援数百款游戏，Photoshop和Premiere的原生支援也透过首发测试版提供，处理完AI任务，还能接着剪片、玩游戏。
连740亿参数都嫌大，还有更小的一档。Nemotron 3.5 Bolt E4B 4GB计画10月23日推出，面向本地语音助理、互动角色等场景。
Super VL接企业里的複杂工作，Bolt把日常代理任务搬进笔电，E4B再去照顾更轻巧的设备。这一家子，分头上班。
黄仁勋的算盘也很清楚：开放模型，让更多AI任务用上使用者手边的GPU；新电脑开卖，再把这份需求接过来。