11月4日，由中國(guó)信息通信研究院主辦的“存力中國(guó)行”北京站活動(dòng)拉開(kāi)帷幕。這場(chǎng)聚焦AI存力技術(shù)創(chuàng)新的行業(yè)盛會(huì)，吸引了中國(guó)移動(dòng)、華為、硅基流動(dòng)等近20家產(chǎn)業(yè)鏈上下游企業(yè)代表參與，共同探討AI推理場(chǎng)景下的存儲(chǔ)技術(shù)革新路徑。

隨著AI技術(shù)發(fā)展進(jìn)入新階段，產(chǎn)業(yè)關(guān)注點(diǎn)正從單純追求模型參數(shù)規(guī)模轉(zhuǎn)向優(yōu)化實(shí)際推理體驗(yàn)。中國(guó)移動(dòng)云能力中心項(xiàng)目總師周宇在座談會(huì)上指出，當(dāng)前AI推理面臨四大核心挑戰(zhàn)：KVCache存儲(chǔ)機(jī)制亟待升級(jí)、多模態(tài)數(shù)據(jù)協(xié)同效率低下、存算協(xié)同帶寬存在瓶頸，以及負(fù)載波動(dòng)帶來(lái)的成本控制難題。華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線戰(zhàn)略負(fù)責(zé)人王旭東則用三個(gè)關(guān)鍵詞概括行業(yè)痛點(diǎn)——數(shù)據(jù)管理失序、算力供給不足、降本路徑受阻。

針對(duì)這些技術(shù)瓶頸，華為推出的UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理方案引發(fā)廣泛關(guān)注。該技術(shù)通過(guò)構(gòu)建KVCache多級(jí)緩存體系，實(shí)現(xiàn)推理框架、算力資源、存儲(chǔ)系統(tǒng)的三層協(xié)同優(yōu)化。其核心創(chuàng)新在于集成多種緩存加速算法，能夠?qū)ν评磉^(guò)程中產(chǎn)生的記憶數(shù)據(jù)進(jìn)行分級(jí)管理，有效突破長(zhǎng)序列推理的效率與成本雙重約束。

據(jù)技術(shù)團(tuán)隊(duì)披露，UCM方案已實(shí)現(xiàn)四大關(guān)鍵能力突破：稀疏注意力機(jī)制優(yōu)化、前綴緩存動(dòng)態(tài)管理、預(yù)填充任務(wù)智能卸載、異構(gòu)PD架構(gòu)解耦。實(shí)測(cè)數(shù)據(jù)顯示，該技術(shù)可使首輪Token生成延遲降低90%，系統(tǒng)吞吐量提升22倍，上下文窗口擴(kuò)展能力達(dá)到10倍級(jí)。這些性能提升將直接轉(zhuǎn)化為AI推理服務(wù)的成本優(yōu)勢(shì)，為大規(guī)模商業(yè)化落地掃清技術(shù)障礙。

目前，UCM技術(shù)的核心代碼已在魔擎社區(qū)全面開(kāi)源，配套的基礎(chǔ)框架與工具鏈同步登陸ModelEngine開(kāi)發(fā)者平臺(tái)。開(kāi)發(fā)者可自由獲取源代碼、技術(shù)文檔及開(kāi)發(fā)工具包，參與構(gòu)建開(kāi)放的技術(shù)生態(tài)。這種技術(shù)共享模式被業(yè)界視為推動(dòng)AI推理普惠化的重要里程碑，有望幫助更多企業(yè)以低成本獲取前沿加速能力。