在佐治亞州亞特蘭大舉行的 SC24 大會(huì)上，SK hynix正在展示其面向 AI 和 HPC 的高級(jí)內(nèi)存解決方案。

自 1988 年以來(lái)，該年度活動(dòng)由計(jì)算機(jī)協(xié)會(huì)和 IEEE 計(jì)算機(jī)學(xué)會(huì)組織，展示了 HPC、網(wǎng)絡(luò)、存儲(chǔ)和數(shù)據(jù)分析方面的最新發(fā)展。

SK海力士已連續(xù)第二年回歸，通過(guò)展示內(nèi)存產(chǎn)品以及有關(guān)AI和HPC技術(shù)的深刻演講，鞏固了其在AI內(nèi)存的領(lǐng)導(dǎo)地位。根據(jù)會(huì)議的“HPC Creates”主題（強(qiáng)調(diào)超級(jí)計(jì)算對(duì)各個(gè)行業(yè)的影響），該公司展示了其內(nèi)存解決方案如何推動(dòng)不同領(lǐng)域的進(jìn)步。

展示適用于 AI 和 HPC 的高級(jí)內(nèi)存解決方案

在其 展位上，該公司正在演示和展示一系列為 AI 和 HPC 量身定制的產(chǎn)品。正在演示的產(chǎn)品包括其 CMM（CXL （1） 內(nèi)存模塊）-DDR5 （2）、AiMX （3） 加速卡和 Niagara 2.0 等。

CMM-DDR5 與采用至強(qiáng) 6 處理器的服務(wù)器平臺(tái)的現(xiàn)場(chǎng)演示展示了 CXL 內(nèi)存技術(shù)如何在各種使用模式下加速 AI 工作負(fù)載。此外，展位的參觀者可以了解采用 EDSFF （4） 的最新 CMM-DDR5 產(chǎn)品，該產(chǎn)品在 TCO （5） 和性能方面都有所改進(jìn)。

另一個(gè)現(xiàn)場(chǎng)演示是將 AiMX 集成在華擎機(jī)架式服務(wù)器中，以運(yùn)行 Meta 的 Llama 3 70B，這是一個(gè)具有 700 億個(gè)參數(shù)的大型語(yǔ)言模型 （LLM）。該演示突出了 AiMX 在處理大型數(shù)據(jù)集方面的效率，同時(shí)實(shí)現(xiàn)了高性能和低功耗，解決了 LLM 中注意力層 （6） 帶來(lái)的計(jì)算負(fù)載挑戰(zhàn)。

正在演示的其他技術(shù)包括 Niagara 2.0。CXL 池內(nèi)存解決方案支持?jǐn)?shù)據(jù)共享，以最大限度地減少 AI 推理期間的 GPU 內(nèi)存短缺 （7），使其適用于 LLM 模型。 該公司還展示了具有接近內(nèi)存處理 （NMP） （8） 的 HBM ，它加速了 HPC 中常見(jiàn)的間接內(nèi)存訪問(wèn) （9）。該解決方案由洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室 （LANL） 開(kāi)發(fā)，突出了基于 NMP 的 HBM 在推動(dòng)下一代技術(shù)方面的潛力。

另一個(gè)演示展示了 SK 海力士更新的 OCS （10） 解決方案，與 SC23 上展示的迭代相比，該解決方案在實(shí)際 HPC 工作負(fù)載的分析性能方面有了顯著改進(jìn)。OCS 與 LANL 共同開(kāi)發(fā)，通過(guò)使存儲(chǔ)能夠獨(dú)立分析數(shù)據(jù)、減少不必要的數(shù)據(jù)移動(dòng)并提高資源效率，解決了傳統(tǒng) HPC 系統(tǒng)中的性能問(wèn)題。此外，該公司還演示了一個(gè)檢查點(diǎn)卸載 SSD （11） 原型，該原型通過(guò)提高性能和可擴(kuò)展性來(lái)提高 LLM 訓(xùn)練資源的利用率。

除了進(jìn)行產(chǎn)品演示外，SK海力士還展示了強(qiáng)大的數(shù)據(jù)中心解決方案陣容，包括HBM3E（12）。5th–Gen HBM 提供高速數(shù)據(jù)處理、最佳散熱和高容量，使其成為 AI 應(yīng)用必不可少的。除了 HBM3E 之外，該公司還有 Rapid DDR5 RDIMM 和 MCR DIMM 產(chǎn)品，這些產(chǎn)品專(zhuān)為高性能服務(wù)器中的 AI 計(jì)算量身定制。包括第 5 代 PS1010 和 PEB110 在內(nèi)的企業(yè)級(jí) SSD （eSSD） 也在展會(huì)上展出。這些 SSD 解決方案提供超快的 RW 速度，對(duì)于在大規(guī)模環(huán)境中加速 AI 訓(xùn)練和推理至關(guān)重要。

通過(guò)專(zhuān)家演講突出記憶的潛力

Jongryool Kim 介紹 HPC 和 AI 系統(tǒng)的內(nèi)存和存儲(chǔ)方面的進(jìn)步

在會(huì)議期間，人工智能系統(tǒng)基礎(chǔ)設(shè)施研究總監(jiān)Jongryool Kim發(fā)表了題為“內(nèi)存和存儲(chǔ)：HPC/AI的力量”的演講，強(qiáng)調(diào)了HPC和AI系統(tǒng)的內(nèi)存需求。他專(zhuān)注于 2 項(xiàng)關(guān)鍵進(jìn)步，包括使用 CXL、HBM 和 SSD 的近數(shù)據(jù)處理技術(shù)來(lái)提高性能，以及 CXL 池內(nèi)存以實(shí)現(xiàn)更好的系統(tǒng)數(shù)據(jù)共享。

Jeoungahn Park 在 OCS 上發(fā)表演講

可持續(xù)計(jì)算團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人 Jeoungahn Park 也上臺(tái)發(fā)表了題為“利用開(kāi)放標(biāo)準(zhǔn)化 OCS 促進(jìn) HPC 數(shù)據(jù)分析”的演講。Park 解釋了 OCS 如何使存儲(chǔ)能夠自動(dòng)識(shí)別和分析數(shù)據(jù)，從而加速 HPC 中的數(shù)據(jù)分析。他添加了 OCS 如何提高資源效率并與現(xiàn)有分析系統(tǒng)集成，以及如何在實(shí)際 HPC 應(yīng)用程序中驗(yàn)證其分析性能。

在 SC24 上，SK 海力士鞏固了其作為內(nèi)存解決方案先驅(qū)的地位，這些解決方案正在推動(dòng) AI 和 HPC 技術(shù)的創(chuàng)新。展望未來(lái)，該公司將在合作伙伴的支持下繼續(xù)突破技術(shù)界限，以塑造 AI 和 HPC 的未來(lái)。

（1） Compute Express Link （CXL）高性能計(jì)算系統(tǒng)所基于的基于 PCIe 的下一代互連協(xié)議。

（2） CXL 內(nèi)存模塊 - DDR5 （CMM-DDR5）：利用 CXL 技術(shù)的下一代 DDR5 內(nèi)存模塊，可提高 AI、云和高性能計(jì)算的帶寬和性能。

（3） 基于內(nèi)存中加速器的加速器 （AiMX）：SK 海力士為使用 GDDR6-AiM 芯片的大型語(yǔ)言模型處理量身定制的專(zhuān)用加速卡。

（4） 企業(yè)和數(shù)據(jù)中心標(biāo)準(zhǔn)外形規(guī)格 （EDSFF）：專(zhuān)門(mén)用于數(shù)據(jù)中心服務(wù)器的 SSD 外形規(guī)格的集合。

（5） 總擁有成本 （TCO）：購(gòu)置、運(yùn)營(yíng)和維護(hù)資產(chǎn)的全部成本，包括購(gòu)買(mǎi)、能源和維護(hù)費(fèi)用。

（6）注意層一種使模型能夠評(píng)估輸入數(shù)據(jù)的相關(guān)性，優(yōu)先考慮更重要信息進(jìn)行處理的機(jī)制。

（7）AI 推理：使用經(jīng)過(guò)訓(xùn)練的 AI 模型分析實(shí)時(shí)數(shù)據(jù)以進(jìn)行預(yù)測(cè)或任務(wù)完成的過(guò)程。

（8） 近內(nèi)存處理 （NMP）：一種在數(shù)據(jù)存儲(chǔ)附近執(zhí)行計(jì)算的技術(shù)，可減少延遲并提高 AI 和 HPC 等高帶寬任務(wù)的性能。

（9） 間接內(nèi)存訪問(wèn)一種計(jì)算尋址方法，其中一條指令提供內(nèi)存位置的地址，其中包含所需數(shù)據(jù)或指令的實(shí)際地址。

（10） 基于對(duì)象的計(jì)算存儲(chǔ) （OCS）一種在存儲(chǔ)系統(tǒng)中集成計(jì)算的存儲(chǔ)架構(gòu)，支持本地?cái)?shù)據(jù)處理并最大限度地減少移動(dòng)以提高分析效率。

（11） Checkpoint 卸載 SSD：在 AI 訓(xùn)練期間存儲(chǔ)中間數(shù)據(jù)的存儲(chǔ)解決方案，提高效率并縮短訓(xùn)練時(shí)間。

（12） HBM3E：第 5 代高帶寬內(nèi)存 （HBM），一種高價(jià)值、高性能的產(chǎn)品，通過(guò)將多個(gè) DRAM 芯片與硅通孔 （TSV） 連接，徹底改變了數(shù)據(jù)處理速度。