12月8日，智譜AI發(fā)布并開源 GLM-4.6V 系列多模態(tài)大模型，沐曦股份曦云C系列GPU完成Day 0適配。

GLM-4.6V 系列多模態(tài)大模型共包含兩款模型：

GLM-4.6V（106B-A12B）：面向云端與高性能集群場景的基礎(chǔ)版；

GLM-4.6V-Flash（9B）：面向本地部署與低延遲應(yīng)用的輕量版。

作為 GLM 系列在多模態(tài)方向上的一次重要迭代，GLM-4.6V 將訓(xùn)練時(shí)上下文窗口提升到 128k tokens，在視覺理解精度上達(dá)到同參數(shù)規(guī)模 SOTA，并首次在模型架構(gòu)中將 Function Call（工具調(diào)用）能力原生融入視覺模型，打通從「視覺感知」到「可執(zhí)行行動(dòng)（Action）」的鏈路，為真實(shí)業(yè)務(wù)場景中的多模態(tài) Agent 提供統(tǒng)一的技術(shù)底座。

一、原生多模態(tài)工具調(diào)用

傳統(tǒng)工具調(diào)用大多基于純文本，在面對(duì)圖像、視頻、復(fù)雜文檔等多模態(tài)內(nèi)容時(shí)，需要多次中間轉(zhuǎn)換，帶來信息損失和工程復(fù)雜度。

GLM-4.6V 從設(shè)計(jì)之初就圍繞 「圖像即參數(shù)，結(jié)果即上下文」 ，構(gòu)建了原生多模態(tài)工具調(diào)用能力：

輸入多模態(tài)：圖像、截圖、文檔頁面等可以直接作為工具參數(shù)，無需先轉(zhuǎn)為文字描述再解析，減少鏈路損耗。

輸出多模態(tài)：對(duì)于工具返回的統(tǒng)計(jì)圖表、渲染后網(wǎng)頁截圖、檢索到的商品圖片等結(jié)果，模型能夠再次進(jìn)行視覺理解，將其納入后續(xù)推理鏈路。

模型原生支持基于視覺輸入的工具調(diào)用，完整打通從感知到理解到執(zhí)行的閉環(huán)。這使得 GLM-4.6V 能夠應(yīng)對(duì)圖文混排輸出、商品識(shí)別與好價(jià)推薦、以及輔助型 Agent 場景等更復(fù)雜的視覺任務(wù)。

二、同規(guī)模開源 SOTA

GLM-4.6V 在 MMBench、MathVista、OCRBench 等 30+ 主流多模態(tài)評(píng)測(cè)基準(zhǔn) 上進(jìn)行了驗(yàn)證，較上一代模型取得顯著提升。在同等參數(shù)規(guī)模下，模型在多模態(tài)交互、邏輯推理和長上下文等關(guān)鍵能力上取得 SOTA 表現(xiàn)。

三、MXMACA軟件棧加速國產(chǎn)模型落地

MXMACA軟件棧作為沐曦股份全棧GPU解決方案的核心，在vLLM,sglang 等主流AI推理框架中展現(xiàn)出快速適配的優(yōu)勢(shì)，其GPU架構(gòu)和優(yōu)化設(shè)計(jì)和良好的生態(tài)兼容性確保了高效、靈活的推理部署。此次沐曦股份曦云C系列GPU完成Day 0適配智譜GLM-4.6V 系列多模態(tài)大模型再次印證了這一優(yōu)勢(shì)。MXMACA軟件棧將繼續(xù)以開放式架構(gòu)和持續(xù)迭代優(yōu)化，賦能推理框架、模型、應(yīng)用開發(fā)到運(yùn)維的全生命周期，助力開發(fā)者構(gòu)建更具競爭力的AI產(chǎn)品。