在第五屆字節(jié)跳動獎學(xué)金頒獎典禮上，字節(jié)跳動技術(shù)副總裁楊震原分享了公司自2014年以來在技術(shù)領(lǐng)域的探索歷程。作為一位資深技術(shù)愛好者，楊震原自2014年加入字節(jié)跳動后，從搭建推薦系統(tǒng)起步，至今已參與公司多項關(guān)鍵技術(shù)突破，帶領(lǐng)團隊在多個前沿領(lǐng)域取得重要進展。

2014年，字節(jié)跳動啟動推薦系統(tǒng)建設(shè)時，工業(yè)界主流的機器學(xué)習系統(tǒng)是搜索廣告中成熟應(yīng)用的大規(guī)模離散邏輯回歸模型。團隊將這一原理引入推薦領(lǐng)域時面臨諸多挑戰(zhàn)：當時既精通大規(guī)模軟硬件工程又熟悉機器學(xué)習的人才稀缺，且除搜索廣告外，其他領(lǐng)域普遍不愿承擔高昂的硬件計算成本。盡管如此，團隊仍設(shè)定了極具挑戰(zhàn)性的目標——當年實現(xiàn)萬億級特征規(guī)模。通過系統(tǒng)建模優(yōu)化推薦目標、突破存儲計算瓶頸、持續(xù)改進算法，團隊在年底成功引入FM類算法，并構(gòu)建了通用的深度學(xué)習體系，上線首日即采用流式訓(xùn)練系統(tǒng)。這一技術(shù)路徑至今仍被驗證有效，其淺層神經(jīng)網(wǎng)絡(luò)算法在推薦場景中展現(xiàn)出獨特優(yōu)勢。

2020年，團隊將目光投向科學(xué)計算領(lǐng)域。經(jīng)過深度研討，團隊認為現(xiàn)實世界與科學(xué)計算是繼線上推薦、搜索、廣告之后，最具數(shù)據(jù)價值潛力的方向。在第一性原理計算方面，團隊基于神經(jīng)網(wǎng)絡(luò)量子蒙特卡洛方法（NNQMC）展開研究，通過神經(jīng)網(wǎng)絡(luò)表示波函數(shù)并進行采樣計算，再沿能量降低方向優(yōu)化網(wǎng)絡(luò)參數(shù)。2021年后，團隊在該領(lǐng)域取得多項突破性成果，最新研發(fā)的Scaling Laws with LAVA技術(shù)證明，增加參數(shù)規(guī)?？沙掷m(xù)提升仿真精度，顯示出巨大的實用化潛力。在分子動力學(xué)領(lǐng)域，團隊開發(fā)的GPU加速程序GPU4PySCF實現(xiàn)單GPU性能相當于500-1000個CPU核心，算力成本降低一個數(shù)量級。與比亞迪成立的聯(lián)合實驗室正探索將高通量自動化實驗與AI算法結(jié)合，推動電池材料研發(fā)的工業(yè)化應(yīng)用。

2021年，字節(jié)跳動收購Pico后，在XR領(lǐng)域展開雙線布局：一方面持續(xù)運營視頻、直播等內(nèi)容生態(tài)，另一方面加大基礎(chǔ)技術(shù)研發(fā)投入。2023年戰(zhàn)略調(diào)整后，團隊聚焦核心技術(shù)突破，在顯示清晰度方面取得重大進展。通過與供應(yīng)商聯(lián)合定制MicroOLED顯示技術(shù)，單眼4K分辨率下仍保持小巧面板尺寸，配合微透鏡陣列提升亮度，并通過光學(xué)設(shè)計優(yōu)化色亮度均勻性。在運動追蹤領(lǐng)域，團隊自研的專用芯片于2024年量產(chǎn)，將系統(tǒng)延遲壓縮至12毫秒，達到行業(yè)領(lǐng)先水平。為支撐虛實融合交互，團隊還構(gòu)建了高精度環(huán)境識別系統(tǒng)，通過專業(yè)測試平臺提供精準校準數(shù)據(jù)。

大模型領(lǐng)域，團隊早在2021年即開始布局，2022年ChatGPT引發(fā)關(guān)注后加速研發(fā)進程。目前，豆包已成為中國最受歡迎的AI對話助手，火山引擎的大模型服務(wù)更據(jù)IDC報告位居中國MaaS市場首位。技術(shù)層面，團隊構(gòu)建的大規(guī)模訓(xùn)練系統(tǒng)MegaScale實現(xiàn)55%以上的浮點運算利用率，較主流開源框架提升30%。通過模型結(jié)構(gòu)優(yōu)化與自研服務(wù)器設(shè)計，團隊成功降低大模型應(yīng)用成本，在保持毛利率的同時打破行業(yè)價格底線。當前研究重點聚焦兩大方向：一是提升模型學(xué)習能力，使其能像人類一樣持續(xù)進化；二是增強交互能力，縮小在內(nèi)容理解、界面操作等領(lǐng)域與人類的差距。這些基礎(chǔ)性研究將持續(xù)推動AI技術(shù)向更智能、更實用的方向發(fā)展。