蘋果聯(lián)合研究照亮多模態(tài) AI 未來方向：早期融合 + 稀疏架構(gòu)

科技媒體 marktechpost 昨日（4 月 15 日）發(fā)布博文，報道稱蘋果工程師聯(lián)合法國索邦大學(xué)，通過對比早期融合和后期融合模型，發(fā)現(xiàn)從頭訓(xùn)練的早期融合模型在計算效率和擴(kuò)展性上更具優(yōu)勢。

多模態(tài) AI 現(xiàn)狀與面臨的挑戰(zhàn)

IT之家援引博文介紹，多模態(tài) AI 旨在同時處理圖像、文本等多種數(shù)據(jù)類型，但整合這些異構(gòu)數(shù)據(jù)仍是一大難題。當(dāng)前技術(shù)多采用后期融合（late-fusion）策略，即組合使用預(yù)訓(xùn)練的單模態(tài)模型（如視覺編碼器和語言模型）。

這種方法雖然操作簡便，卻難以實現(xiàn)真正的多模態(tài)理解，單模態(tài)預(yù)訓(xùn)練帶來的固有偏差，可能限制模型捕捉跨模態(tài)依賴關(guān)系。

此外，隨著系統(tǒng)規(guī)模擴(kuò)大，各組件的參數(shù)、預(yù)訓(xùn)練需求和擴(kuò)展特性差異顯著，導(dǎo)致計算資源分配復(fù)雜，影響性能，尤其是在需要深度多模態(tài)推理的任務(wù)中。

早期融合與稀疏架構(gòu)的突破

蘋果聯(lián)合團(tuán)隊挑戰(zhàn)了傳統(tǒng)架構(gòu)選擇，深入研究從頭訓(xùn)練的原生多模態(tài)模型（NMMs）的擴(kuò)展特性。

團(tuán)隊對比了早期融合（early-fusion）和后期融合模型，發(fā)現(xiàn)從頭訓(xùn)練時，兩者性能相當(dāng)，但早期融合模型在低計算預(yù)算下更高效且易于擴(kuò)展。

研究還探索了專家混合（MoE）稀疏架構(gòu)，發(fā)現(xiàn)其能動態(tài)分配參數(shù)，針對不同模態(tài)進(jìn)行專項優(yōu)化，相較于稠密模型，可以顯著提升性能，這點在小規(guī)模模型中優(yōu)勢明顯。

分析顯示，稀疏模型更傾向于優(yōu)先擴(kuò)展訓(xùn)練數(shù)據(jù)（training tokens）而非活躍參數(shù)（active parameters），這與稠密模型的擴(kuò)展模式形成鮮明對比。

研究團(tuán)隊通過系統(tǒng)實驗，訓(xùn)練了從 0.3 億到 40 億活躍參數(shù)的多模態(tài)模型，驗證了早期融合和稀疏架構(gòu)在多模態(tài)處理中的潛力。

結(jié)果表明，原生多模態(tài)模型的擴(kuò)展規(guī)律與語言模型相似，但跨模態(tài)數(shù)據(jù)類型和訓(xùn)練組合會略微影響擴(kuò)展系數(shù)。此外，稀疏模型在等效推理成本下持續(xù)優(yōu)于密集模型，展現(xiàn)出處理異構(gòu)數(shù)據(jù)的強(qiáng)大能力。

這些發(fā)現(xiàn)挑戰(zhàn)了傳統(tǒng)設(shè)計理念，表明統(tǒng)一早期融合架構(gòu)結(jié)合動態(tài)參數(shù)分配，或?qū)⒊蔀槲磥砀咝Ф嗄�態(tài) AI 系統(tǒng)的重要方向。