在人工智能大模型迅猛發(fā)展的當(dāng)下，大模型參數(shù)和計算量呈指數(shù)級增長，大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練離不開多硬件設(shè)備的分布式計算。在鯤鵬昇騰科教創(chuàng)新卓越中心的算力支持下，北京大學(xué)計算機(jī)學(xué)院崔斌教授團(tuán)隊創(chuàng)新研發(fā)了面向大模型的高效分布式訓(xùn)練框架，大幅提升了大規(guī)模分布式訓(xùn)練模型的效率。
針對模型訓(xùn)練任務(wù)的多樣性和復(fù)雜性所帶來的負(fù)載不均問題，研究團(tuán)隊創(chuàng)新設(shè)計出了細(xì)粒度模型切分與并行策略搜索算法。此方法依托昇騰強(qiáng)大的計算資源管理能力，及算子優(yōu)化技術(shù)對訓(xùn)練策略的適配，完成了統(tǒng)一訓(xùn)練接口到智能切分策略的全過程。首先通過總結(jié)多種大模型訓(xùn)練的共同特點，設(shè)計出統(tǒng)一的接口來啟動和管理不同任務(wù)負(fù)載的模型訓(xùn)練任務(wù)，對訓(xùn)練時所花費的算力、內(nèi)存、網(wǎng)絡(luò)通信等進(jìn)行精確地計算。接著基于這些數(shù)據(jù)細(xì)致拆解龐大且復(fù)雜的大模型，根據(jù)不同模塊分配不同的訓(xùn)練策略以適應(yīng)各模塊的負(fù)載差異，實現(xiàn)訓(xùn)練任務(wù)的高效并行。目前，該方案已實現(xiàn)比分片數(shù)據(jù)并行、3D 并行等全局模版化并行方案提升15% 的訓(xùn)練效率。
除此之外，團(tuán)隊還解決了分布式計算所涉及的硬件間通信傳輸效率問題。結(jié)合昇騰高速互聯(lián)總線技術(shù)的高帶寬低時延優(yōu)勢，系統(tǒng)會很根據(jù)不同的通信需求，對硬件設(shè)備進(jìn)行分組以優(yōu)化組隊時間，運用計算通信重疊技術(shù)讓“計算”和“通信”同步進(jìn)行，提高訓(xùn)練流水線的效率，并在模型切分的決策時考慮計算通信重疊的性能影響，綜合多方面因素選取最適合的分布式運行方案，最終實現(xiàn)數(shù)據(jù)傳輸效率和資源利用率的最大化。
該研究成果不僅為模型大規(guī)模訓(xùn)練提供了高效的解決方案，更展現(xiàn)了自主算力在分布式計算領(lǐng)域的巨大潛力。目前，研究成果已在國際頂級學(xué)術(shù)會議NeurIPS、ICLR、AAAI發(fā)表3篇論文，為國內(nèi)AI技術(shù)突破提供了理論支撐與實踐范式。
北京大學(xué) 鯤鵬昇騰科教創(chuàng)新卓越中心的這一突破彰顯了校企協(xié)同創(chuàng)新的顯著成效。未來，中心將持續(xù)加速AI前沿技術(shù)在自主計算平臺的深度落地，為我國人工智能產(chǎn)業(yè)的自主化突破提供強(qiáng)勁動能。
