在阿里云通義智能硬件展上，一款全新的多模態(tài)交互開發(fā)套件正式亮相。這款開發(fā)套件整合了千問、萬相、百聆三款通義基礎(chǔ)大模型，并預(yù)置了十多款適用于生活休閑、工作效率等領(lǐng)域的Agent和MCP工具，為AI硬件的開發(fā)帶來了新的可能性。

該開發(fā)套件不僅具備聽覺和視覺能力，還能進(jìn)行思考并與物理世界進(jìn)行交互。其應(yīng)用范圍廣泛，可覆蓋AI眼鏡、學(xué)習(xí)機(jī)、陪伴玩具以及智能機(jī)器人等多種硬件設(shè)備。在芯片適配方面，這款套件支持超過30款主流的ARM、RISC-V和MIPS架構(gòu)終端芯片平臺，為硬件設(shè)備的快速接入提供了便利。未來，通義大模型家族還將與玄鐵RISC-V架構(gòu)實(shí)現(xiàn)軟硬全鏈路的協(xié)同優(yōu)化，進(jìn)一步提升推理性能。

在模型優(yōu)化層面，阿里云針對多模態(tài)交互場景進(jìn)行了深入分析，推出了專為AI硬件交互設(shè)計(jì)的模型。這些模型支持全雙工語音、視頻和圖文等多種交互方式，端到端語音交互時延可低至1秒，視頻交互時延則低至1.5秒。套件預(yù)置的Mcp工具和Agent覆蓋了生活、工作、娛樂和教育等多個領(lǐng)域。例如，用戶可以直接調(diào)用出行規(guī)劃Agent，獲取路線規(guī)劃、旅行攻略以及吃喝玩樂的推薦。

該開發(fā)套件還接入了阿里云百煉平臺生態(tài)，允許用戶添加其他開發(fā)者提供的Mcp和Agent模板，并通過A2A協(xié)議兼容第三方Agent。這一設(shè)計(jì)極大地?cái)U(kuò)展了應(yīng)用的能力邊界，幫助企業(yè)靈活搭建符合自身需求的業(yè)務(wù)場景。

在展會現(xiàn)場，阿里云展示了面向智能穿戴設(shè)備、陪伴機(jī)器人和具身智能等領(lǐng)域的解決方案。以AI眼鏡為例，基于千問VL和百聆CosyVoice等模型，阿里云構(gòu)建了完整的交互鏈路，包括感知層、規(guī)劃層、執(zhí)行層以及長期記憶功能。這使得AI眼鏡能夠?qū)崿F(xiàn)同聲傳譯、拍照翻譯、多模態(tài)備忘錄和錄音轉(zhuǎn)寫等功能，有效解決了交互不自然和回答準(zhǔn)確率低的問題。

針對家庭陪伴機(jī)器人場景，阿里云的解決方案基于千問模型和多模態(tài)交互套件，不僅能夠?qū)崟r監(jiān)測異常狀況并及時推送告警信息，還支持用戶通過關(guān)鍵詞查找和定位視頻，與機(jī)器人進(jìn)行對話交互并控制設(shè)備。展會上，多家具身智能廠商如魔法原子、靈心巧手、跨維智能和原力無限等展示了各自的人形機(jī)器人、四足機(jī)器人和靈巧手產(chǎn)品。其中，人形機(jī)器人現(xiàn)場彈鋼琴和制作咖啡的表演吸引了大量觀眾。

阿里云宣布與樂聚機(jī)器人達(dá)成全棧AI合作。雙方將基于阿里云的算力、AI平臺和千問模型，共同開展人形機(jī)器人訓(xùn)練場合作，并探索基于千問模型的具身智能聯(lián)合解決方案和產(chǎn)品開發(fā)。目前，樂聚新版展廳機(jī)器人已接入千問模型，在語音交互、知識庫問答和實(shí)時對話等場景中表現(xiàn)出更快的響應(yīng)速度、更準(zhǔn)確的答案和更自然的互動體驗(yàn)。