Gemini重夺AI榜首 新模型击败Claude与GPT、马斯克也按讚
谷歌(GOOGL-US)周三(28日)发布旗舰AI模型Gemini 4 Carbon,在评测机构Artificial Analysis最新综合智慧指数中,以59分击败Claude Opus 5.5与GPT-6 Astra,重返榜首。
距离上一款Gemini 4 Argon向一般使用者开放仅两週,谷歌便再度推进模型能力,并将减少凭空捏造、改善指令遵循与处理複杂工程任务列为重点。
不过,Carbon尚未全面开放。谷歌计画本周先提供部分网路安全防御人员使用,再逐步扩大至合作伙伴,面向一般使用者的时间尚未公布。
综合成绩登顶 单项仍有差距
在Artificial Analysis同一版综合智慧指数中,Carbon由Argon的50分提升至59分,超越Claude Opus 5.5的58分及GPT-6 Astra的57分。谷歌DeepMind执行长哈萨比斯在X分享成绩后,马斯克也留言称讚表现令人印象深刻。
但综合排名第一,不代表所有任务都领先。在AI代理程式设计指数中,Carbon搭配谷歌Antigravity工具取得59分,高于Argon同类组合的53分,仍落后Claude Code搭配Opus 5.5的62分。
这项评测衡量的是模型与工具共同执行任务的表现,与综合智慧指数不同。
谷歌公布的17项基準比较中,Carbon取得15项最高分,但在软体工程任务评测FrontierSWE 2中,GPT-6 Astra以65.5%领先Carbon的61.2%。
其他外部榜单也呈现不同结果。涵盖金融、程式设计、法律与税务任务的Vals Index中,Carbon以70.36%排名第二,落后Sonnet 5.5的70.85%,略高于Opus 5.5的70.18%。
网页开发评测WebDev Arena则排名第四,显示其综合能力虽有进展,部分专项仍有追赶空间。
减少擅自行动 更能依指示修正
除了评测分数,谷歌这次也着重改善模型实际执行任务时的可靠性。过去曾有使用者抱怨,指出Gemini的错误后,模型虽热情称讚使用者,却未能确实修正问题。
谷歌表示,Carbon遇到模糊指令或互相冲突的参考资料时,会先查找来源、指出不一致之处;证据不足时,也会说明缺少哪些资讯。内部测试显示,缺乏依据的陈述较Argon减少约一半。
此外,Carbon擅自超出使用者要求的行为减少26%,未充分完成要求的情况减少29%;内部团队实际程式环境中,严重偏离预期行为的警告更减少近80%。上述数据均来自谷歌内部评估,测试对象与统计方式各不相同。
外部评测平台Arena的早期数据也显示,Carbon在可引导性项目排名第一,代表使用者指出问题或追加要求后,模型依指示调整的能力获得肯定。基于约2.19万次真实AI代理对话,Carbon在Agent Arena总榜排名第二。
答对率提高 幻觉问题仍待检验
不过,第三方测试并未显示Carbon在所有减少捏造资讯的指标上都取得进步。
在AA-Omniscience知识评测中,Carbon答对率由Argon的48%升至58%,但幻觉率也从4%增至11%,儘管仍属榜单中较低水準。
这里的幻觉率,是计算错误、部分正确及拒答等未获满分回答中,捏造错误答案所占比例,不代表所有回答有11%是虚构内容,也不能直接与谷歌内部无依据陈述减半的数据比较。
换言之,Carbon回答正确的题目增加,但面对知识盲区时,是否更能避免猜测,这项第三方评测尚未给出同样乐观的结果。
强化资安任务 可连续工作数日
谷歌也将Carbon推向更耗时的工程任务。内部团队已能让模型连续运作数日,在大型程式码库与底层系统中追蹤问题,尝试不同方法找出错误并修补。
资安是此次展示重点。在真实软体漏洞挖掘评测SEC-bench Pro中,Carbon取得88.2%;验证漏洞利用能力的ExploitGym中,在单项任务限时10小时的条件下取得54.8%,高于Argon的42%。
修复漏洞根因的CWE-bench则取得71%,略高于Argon的68%。三项成绩均在未启用安全护栏的条件下测得。
Carbon支援100万token上下文。在追蹤大量节点关係的GraphWalks测试中,谷歌公布其于25.6万至100万token区间取得96.2%,高于Argon的84.2%、GPT-6 Astra的71.8%及Opus 5.5的66.8%。
不过,这衡量的是超长上下文中的逻辑关係追蹤能力,并非一般长文阅读準确率。
费用与速度仍须看任务
执行效率方面,部分早期测试者认为Carbon生成效果明显改善,但速度较慢。由于当时测试版本未经确认,相关感受尚不能直接套用至正式模型。
Vals公开数据显示,Carbon完成单项测试平均耗时约47分45秒,Argon约44分58秒,Opus 5.5与Sonnet 5.5则均超过一小时。这些属于複杂长任务,不能用来推估日常聊天的等待时间。
价格方面,Carbon沿用Argon首发优惠,每百万输入token收费2美元、输出10美元,快取输入按输入价格的5%计费。优惠结束后,标準价格将恢复为输入4美元、输出20美元,调整日期尚未公布。
Artificial Analysis按标準价格估算,Carbon每项智慧指数任务的加权平均成本为7.76美元,较Opus 5.5的10.04美元低约23%,但高于GPT-6 Astra的6.25美元,与Argon的7.68美元相近。
谷歌后续将透过Fairwind计画扩大开放,再提供开发者、企业与一般消费者使用,也已将模型提交美国政府参与自愿性发布前安全测试。
Carbon已重夺综合评测榜首,但能否将分数优势转化为更稳定、少返工的使用体验,仍待更广泛的实际验证。