這兩年消費(fèi)電子圈，沒點(diǎn)AI功能都不好意思開發(fā)布會(huì)。IDC最新Q1數(shù)據(jù)顯示，全球AI手機(jī)出貨占比已破45%，同比翻了兩倍多，AI PC年底滲透率更是要沖60%。但剝開營銷話術(shù)，真實(shí)的用戶體驗(yàn)完全是冰火兩重天。
你以為手機(jī)上的“端側(cè)AI”是真本地跑大模型？十臺(tái)里八臺(tái)都是把你的提問傳到云端算完再發(fā)回來，但是你的隱私就得全靠廠商“良心”，更躲不開未來的Token付費(fèi)——現(xiàn)在免費(fèi)是廠商燒錢搶市場(chǎng)，等野蠻期過去，一個(gè)月AI對(duì)話花的錢比話費(fèi)還貴，是板上釘釘?shù)氖隆?/p>
號(hào)稱“真本地AI”的AI PC更尷尬。我同事剛買的新款聯(lián)想AI PC，沖著長續(xù)航辦公買的，結(jié)果開會(huì)用電池半天就沒電，最后查到是后臺(tái)AI Agent偷偷跑推理吃功耗，一關(guān)功能續(xù)航直接翻倍?，F(xiàn)在能本地跑7B大模型的AI PC，一開AI功能功耗就拉滿，所謂的移動(dòng)生產(chǎn)力，最后還得插著電源用。
一邊是云端的隱私焦慮和付費(fèi)壓力，一邊是本地的功耗噩夢(mèng)和續(xù)航崩盤，端側(cè)AI始終卡在“魚和熊掌不能兼得”的死局里，端邊云全場(chǎng)景的AI推理，都困在“高性能+低功耗+低成本”的不可能三角里。就在全行業(yè)找答案的時(shí)候，英偉達(dá)甩出200億美元全資收購Groq，一夜之間，全行業(yè)都在喊：GPU時(shí)代過去了，LPU才是AI推理的未來。
但LPU真的是終局嗎？或者說，有沒有一種技術(shù)，比LPU走得更徹底，能從根上破了這個(gè)不可能三角？
1. 英偉達(dá)200億押注的LPU，到底解決了什么？又沒解決什么？
先給大家打個(gè)最通俗的比方：大模型推理就像開餐館炒菜，傳統(tǒng)馮?諾依曼架構(gòu)里，計(jì)算單元是灶臺(tái)，存儲(chǔ)單元是10公里外的食材倉庫。炒一道菜，80%的時(shí)間和油錢都花在了來回跑腿上，灶臺(tái)真正開火的時(shí)間連20%都不到——這就是GPU做推理最大的病根，天生適合批量炒菜的訓(xùn)練場(chǎng)景，面對(duì)一個(gè)字一個(gè)字蹦的串行推理，完全有勁使不出，還得為跑腿付出巨大的功耗和延遲代價(jià)。
Groq的LPU，就是把跑腿的問題優(yōu)化到了極致。它靠超大片上SRAM把倉庫搬到了廚房隔壁，用確定性數(shù)據(jù)流把食材運(yùn)輸路線焊成了專用高鐵，再靠靜態(tài)調(diào)度把炒菜時(shí)序提前排得明明白白，最終實(shí)現(xiàn)了比頂級(jí)GPU快幾十倍的推理速度，功耗卻只有幾分之一，難怪英偉達(dá)愿意花200億買單。
但很遺憾，LPU終究沒跳出馮?諾依曼架構(gòu)的框：倉庫還是倉庫，廚房還是廚房，計(jì)算和存儲(chǔ)還是分開的，只是跑腿的路變短了而已。面對(duì)十幾B、幾十B的大模型，片上SRAM容量終究有限，大部分參數(shù)還是要放外部DRAM里，該跑的長途一趟沒少，存儲(chǔ)墻這堵墻，終究還是沒砸開。包括三星的3D DRAM、HBM-PIM，本質(zhì)也只是在倉庫門口加了個(gè)小切配臺(tái)，始終沒解決“在倉庫里直接炒菜”的核心問題。
2. 顛覆性的三維存算一體（3D-CIM™?）架構(gòu)，一家中國公司給出的答案
面對(duì)這個(gè)死局，杭州微納核芯給出了不一樣的答案：三維存算一體3D-CIM™?。
如果說LPU是把倉庫搬到了廚房隔壁，那3D-CIM™?就是直接把灶臺(tái)建在了倉庫的每一層貨架旁，伸手拿到食材轉(zhuǎn)身就能炒，徹底把“數(shù)據(jù)搬運(yùn)”這個(gè)動(dòng)作從根上抹掉了。技術(shù)層面，它不是簡單把存儲(chǔ)和計(jì)算芯片摞在一起，而是通過三維鍵合技術(shù)，把SRAM存算一體計(jì)算內(nèi)核和DRAM存儲(chǔ)單元做了垂直堆疊融合，真正在存儲(chǔ)器里完成AI計(jì)算，還能靠超大容量DRAM裝下大模型的海量參數(shù)。
很多人問，這么厲害的技術(shù)，為什么英偉達(dá)、三星不搶著做？因?yàn)樗^三道地獄級(jí)的坎：架構(gòu)設(shè)計(jì)要把計(jì)算和存儲(chǔ)從根上揉在一起，沒有任何成熟經(jīng)驗(yàn)可參考；三維鍵合是半導(dǎo)體頂尖工藝，納米級(jí)對(duì)準(zhǔn)稍有不慎，一次流片就燒掉幾千萬；非馮?諾依曼架構(gòu)的生態(tài)適配，更是難住了全球無數(shù)廠商。
也正因如此，3D-CIM™?長期停留在實(shí)驗(yàn)室概念里，而微納核芯的團(tuán)隊(duì)，早在2018年就一頭扎進(jìn)了這條無人區(qū)。那時(shí)候ChatGPT還沒影，大模型還沒火，全行業(yè)都在盯著GPU和先進(jìn)制程，沒人覺得存算一體能成。這支從北大信息技術(shù)高等研究院走出來的團(tuán)隊(duì)，一扎就是7年，連續(xù)6年在芯片設(shè)計(jì)“奧林匹克”ISSCC上發(fā)表十余項(xiàng)破世界紀(jì)錄的成果，還拿下了中國企業(yè)首個(gè)ISSCC最佳技術(shù)論文獎(jiǎng)，2023年正式落地了全球首創(chuàng)的3D-CIM™?架構(gòu)。。
3. 三維存算一體（3D-CIM™?）的核心是什么？為什么能成為大模型AI推理的終極方案？
全球巨頭都沒走通的路，微納核芯憑什么做成了？答案很簡單：他們不是單點(diǎn)技術(shù)突破，而是把從架構(gòu)到落地的全鏈條徹底走通了，靠三根核心支柱，破解了行業(yè)的不可能三角。
第一根支柱，是SRAM存算一體核心架構(gòu)，從根上破解了算力密度與能效瓶頸。直接在存儲(chǔ)單元里完成計(jì)算，抹掉了數(shù)據(jù)搬運(yùn)的功耗開銷，不用依賴3nm、2nm先進(jìn)制程，在成熟工藝上就能實(shí)現(xiàn)遠(yuǎn)超傳統(tǒng)架構(gòu)的能效比，同等算力下芯片面積只有GPU的1/2到1/3，用更便宜的工藝做出了更好的效果。
第二根支柱，是三維鍵合技術(shù)，徹底打通了大模型推理的帶寬與容量任督二脈。大模型推理生成階段，最大的瓶頸從來不是算力，而是帶寬。三維堆疊讓單芯片能承載數(shù)十GB參數(shù)，內(nèi)核和DRAM的互連帶寬提升數(shù)十倍，完美破解了帶寬卡脖子問題，讓大模型端側(cè)本地流暢運(yùn)行從理論變成了現(xiàn)實(shí)。
第三根支柱，是基于RISC-V的RV-CIM™異構(gòu)融合架構(gòu)，兼顧了AI計(jì)算完備性與全棧生態(tài)易用性。行業(yè)里絕大多數(shù)存算一體芯片，都要開發(fā)者重新學(xué)一套工具鏈，而微納核芯自研的全棧軟件工具鏈，能自動(dòng)完成主流大模型到芯片指令的映射，開發(fā)者不用學(xué)任何新東西就能零門檻調(diào)用算力，徹底擺脫了對(duì)CUDA閉源生態(tài)的依賴。也正因這套體系，他們被工信部任命為RISC-V存算一體應(yīng)用組組長單位，牽頭制定全球首個(gè)RV-CIM™行業(yè)標(biāo)準(zhǔn)。
7年深耕，他們打通了從指令集到算法適配的全鏈條，布局了120余項(xiàng)核心專利，推出的兩款核心芯片，不到4W功耗就能讓7B大模型跑出150tokens/s的速度，不到2W功耗就能流暢運(yùn)行3B大模型，完美解決了端側(cè)AI的核心痛點(diǎn)，也拿下了國內(nèi)頭部存儲(chǔ)廠商、終端龍頭的深度合作，獲得了紅杉中國、小米、聯(lián)想等頂級(jí)機(jī)構(gòu)的投資認(rèn)可。
結(jié)尾：換一條賽道，才能跑在前面
AI大模型的爆發(fā)，把全球半導(dǎo)體行業(yè)推到了全新的十字路口。摩爾定律逼近物理極限，靠制程堆算力的老路已經(jīng)走不通，下一代AI芯片的競爭，核心早已變成了架構(gòu)創(chuàng)新。
英偉達(dá)花200億收購Groq，恰恰證明了傳統(tǒng)GPU架構(gòu)撐不起AI推理的未來，而微納核芯的3D-CIM™?，比LPU走得更遠(yuǎn)、更徹底，是更接近終局的解決方案。
過去幾十年，我們一直在海外巨頭的體系里跟跑，而在存算一體這條新賽道上，中國企業(yè)已經(jīng)跑在了前面。3D-CIM™?這條路才剛剛開始，但可以確定的是，端側(cè)AI的普惠時(shí)代，一定會(huì)因?yàn)檫@項(xiàng)技術(shù)提前到來，而在這場(chǎng)后摩爾時(shí)代的算力革命里，一定會(huì)有中國公司，站在全球舞臺(tái)的最中央。
