小米公司今日宣布推出全新自研語(yǔ)音合成大模型Xiaomi MiMo-V2-TTS，這款集語(yǔ)音生成、情感表達(dá)與音樂(lè)演繹能力于一體的技術(shù)成果，標(biāo)志著小米在智能語(yǔ)音領(lǐng)域?qū)崿F(xiàn)重大突破。該模型突破傳統(tǒng)語(yǔ)音合成的單一功能限制，不僅能夠完成自然流暢的對(duì)話(huà)輸出，更具備專(zhuān)業(yè)級(jí)的歌唱表現(xiàn)力，可精準(zhǔn)還原音高變化與節(jié)奏韻律。

技術(shù)架構(gòu)層面，研發(fā)團(tuán)隊(duì)創(chuàng)新性地采用自研Audio Tokenizer與多碼本聯(lián)合建模方案，通過(guò)超億小時(shí)的語(yǔ)音數(shù)據(jù)預(yù)訓(xùn)練構(gòu)建起龐大的聲學(xué)知識(shí)庫(kù)。配合多維度強(qiáng)化學(xué)習(xí)機(jī)制，模型在保持輸出穩(wěn)定性的同時(shí)，實(shí)現(xiàn)了對(duì)語(yǔ)音風(fēng)格、情感強(qiáng)度的精細(xì)化控制。實(shí)驗(yàn)數(shù)據(jù)顯示，該系統(tǒng)可精準(zhǔn)捕捉文本中的標(biāo)點(diǎn)符號(hào)、語(yǔ)氣詞等隱含表達(dá)意圖，自動(dòng)轉(zhuǎn)化為符合人類(lèi)交流習(xí)慣的語(yǔ)音特征。

在情感表達(dá)維度，MiMo-V2-TTS展現(xiàn)出驚人的控制力。系統(tǒng)支持從整體語(yǔ)氣定調(diào)到局部情感波動(dòng)的多層級(jí)調(diào)節(jié)，能夠在單句輸出中完成從平靜陳述到激動(dòng)質(zhì)問(wèn)的自然過(guò)渡。針對(duì)歌唱場(chǎng)景開(kāi)發(fā)的專(zhuān)用模塊，通過(guò)解析樂(lè)譜中的音符時(shí)值與強(qiáng)弱記號(hào)，可生成媲美專(zhuān)業(yè)歌手的演唱效果，在清唱測(cè)試中獲得92.3%的音準(zhǔn)準(zhǔn)確率。

方言支持能力成為該模型的另一大亮點(diǎn)。通過(guò)構(gòu)建覆蓋東北官話(huà)、西南官話(huà)、中原官話(huà)、粵語(yǔ)及閩南語(yǔ)等五大方言區(qū)的語(yǔ)音數(shù)據(jù)庫(kù)，系統(tǒng)實(shí)現(xiàn)了對(duì)23種地方語(yǔ)音特征的精準(zhǔn)建模。在角色扮演測(cè)試中，模型可根據(jù)文本內(nèi)容自動(dòng)切換方言語(yǔ)調(diào)，配合情感控制模塊生成極具地域特色的語(yǔ)音輸出。

據(jù)技術(shù)白皮書(shū)披露，該模型已實(shí)現(xiàn)與小米多模態(tài)理解系統(tǒng)MiMo-V2-Omni的初步融合。這種跨模態(tài)協(xié)同架構(gòu)使AI代理在視覺(jué)感知的基礎(chǔ)上，能夠通過(guò)富有表現(xiàn)力的語(yǔ)音輸出實(shí)現(xiàn)更自然的人機(jī)交互。研發(fā)團(tuán)隊(duì)透露，后續(xù)版本將擴(kuò)展至日韓法德等15種外語(yǔ)，并優(yōu)化多語(yǔ)言混合場(chǎng)景下的語(yǔ)音生成質(zhì)量。

這項(xiàng)技術(shù)成果已應(yīng)用于小米智能音箱、車(chē)載系統(tǒng)及機(jī)器人產(chǎn)品線(xiàn)，用戶(hù)可通過(guò)OTA升級(jí)體驗(yàn)最新功能。在內(nèi)部測(cè)試中，搭載該模型的設(shè)備在對(duì)話(huà)自然度評(píng)分中達(dá)到4.7分（滿(mǎn)分5分），較前代產(chǎn)品提升38%，特別是在情感表達(dá)豐富度和方言識(shí)別準(zhǔn)確率等關(guān)鍵指標(biāo)上表現(xiàn)突出。