首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|低空經(jīng)濟|智能汽車|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 移動互聯(lián)網(wǎng) >> 正文

東南大學鯤鵬昇騰科教創(chuàng)新孵化中心特訓營(第一期)圓滿舉辦

2025年4月30日 18:39  CCTIME飛象網(wǎng)  

4月25日至26日,東南大學鯤鵬昇騰科教創(chuàng)新孵化中心特訓營(第一期)在九龍湖校區(qū)成功舉辦。本次活動由東南大學鯤鵬昇騰科教創(chuàng)新孵化中心主辦,江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心、東南大學網(wǎng)絡與信息中心承辦,圍繞昇騰AI基礎軟硬件解決方案、大模型訓練與推理技術、DeepSeek架構解析及邊緣部署等核心議題,通過課程培訓和實戰(zhàn)演練共2天的培訓營,為東南大學計算機及相關專業(yè)本碩博生提供了一個深度技術交流平臺;顒又荚谕苿踊邛H鵬昇騰底座的人才生態(tài)建設,加速國產化AI技術在高?蒲信c產業(yè)應用中的落地。

昇騰AI全技術:軟硬協(xié)同賦能大模型落地  

昇騰產品線專家楊越洋在首日課程中,系統(tǒng)性地介紹了針對大模型訓推場景的昇騰AI基礎軟硬件解決方案。他提出大模型從預訓練走向了預訓練+后訓練,推理部署從單機走向集群,創(chuàng)新迭代速度加快,其中昇騰AI軟硬件技術提供全場景技術支撐。硬件層面,昇騰Atlas全系服務器支持高帶寬點對點通信、液冷一體化設計與盲插運維,可覆蓋中心訓練、邊緣推理及大規(guī)模專家并行(EP)部署場景,同時異構計算架構CANN提供算子、通信等底層技術;軟件層面, MindSpore框架、MindSpeed訓練加速庫、MindIE推理引擎及MindStudio全流程工具鏈,顯著提升模型開發(fā)效率。楊越洋強調,昇騰通過軟硬協(xié)同設計,已為企業(yè)級大模型訓練、微調及行業(yè)應用提供了高性能、高可用的技術底座。

(昇騰產品線專家楊越洋)

MindSpeed加速庫:突破大模型訓練瓶頸  

MindSpeed研發(fā)專家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢與挑戰(zhàn),并強調加速套件是算力需求激增下的重點研究課題。期間他介紹了業(yè)界加速套件的現(xiàn)狀并重點解析了MindSpeed的技術架構:底層依托昇騰NPU算力,通過通信優(yōu)化、內存優(yōu)化(參數(shù)副本壓縮、激活重計算)、計算優(yōu)化(親和改寫,計算融合)、并行優(yōu)化(Swap、融合長序列、NoopLayer負載均衡)等技術,實現(xiàn)訓練效率躍升。最后介紹了MindSpeed LLM、MM、RL共三大套件。其中,LLM針對大語言模型,支持多預制模型并提供全流程工具;MM聚焦動模態(tài)模型,模塊化組件,主打高性能與模塊化;RL可支持強化學習部署,提供全流程強化學習能力。

(MindSpeed研發(fā)專家劉哲續(xù))

國產化實踐:從模型對齊到多模態(tài)開發(fā)  

昇騰計算工程師雷珍珍和程麟勝,分享了MindSpeed在大模型領域成果。雷珍珍介紹,MindSpeed基于昇騰生態(tài)打造分布式訓練框架,能對主流大模型高效訓練與微調。她還解析模型開發(fā)七大步驟,強調確保與開源框架訓練結果一致的關鍵要點,并分享性能優(yōu)化策略。程麟勝提到,MindSpeed MM是面向大規(guī)模分布式訓練的昇騰多模態(tài)大模型套件,同時支持多模態(tài)生成及多模態(tài)理解,旨在為昇騰芯片提供端到端的多模態(tài)訓練解決方案, 包含預置業(yè)界主流模型,數(shù)據(jù)工程,分布式訓練及加速,預訓練、微調、在線推理任務等特性。

MindSpeed MM具備統(tǒng)一架構、任務流完備、支持靈活組裝二次開發(fā)、數(shù)據(jù)工程豐富、主流模型開箱即用、原生支持MindSpeed-Core加速算法等特點,可實現(xiàn)多模態(tài)訓練全流程加速。MM套件模型遷移開發(fā)鏈路完備,從模型前期摸底到最后性能調優(yōu)有序推進,實際模型遷移操作便捷,并預置相關易用工具輔助進行精度對齊和性能優(yōu)化。MindSpeed MM的成果有力推動國產AI生態(tài)及多模態(tài)大模型技術進步,為產業(yè)應用開拓新的可能性。

(昇騰計算工程師雷珍珍)

(昇騰計算工程師程麟勝)

推理技術縱深:MindIE引擎與DeepSeek架構創(chuàng)新  

昇騰生態(tài)技術專家焦?jié)申磐ㄟ^三場專題報告,全面解析基于MindIE的大模型推理和DeepSeek技術原理與架構解析。專家介紹MindIE推理引擎的分層開放架構,包括ATB加速框架(優(yōu)化Transformer并行策略與內存管理)、LLM組件(降低部署門檻)及服務化支持(運維監(jiān)控工具)。在實戰(zhàn)環(huán)節(jié),專家演示了從鏡像拉取、模型權重配置到服務化部署的全流程,并針對Int8量化精度、大模型蒸餾等熱點問題展開研討。 

針對DeepSeek技術原理與架構解析,專家逐一剖析了DeepSeek的核心創(chuàng)新技術,包括DualPipe雙向流水、MoE負載均衡、FP8混合精度訓練兼顧效率與精度等。他特別提到,DeepSeek的開源策略“重塑行業(yè)格局”,推動行業(yè)從“百模大戰(zhàn)”向集約化發(fā)展,其后續(xù)版本與迭代值得期待。

(昇騰生態(tài)技術專家焦?jié)申牛?/P>

部署實戰(zhàn):從云端到邊緣的模型落地  

江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級工程師韓升原現(xiàn)場演示了DeepSeek模型部署全流程,通過權重量化、多機網(wǎng)絡拓撲優(yōu)化及服務化配置,團隊在昇騰服務器上實現(xiàn)模型的高效推理。強調“部署需關注版本差異,強化學習對齊的模型更適配實際交互場景。”其分享的報錯排查經(jīng)驗與顯存計算公式,為學員提供了實用參考。

(江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高級工程師韓升原)

邊緣智能:香橙派開發(fā)板上的輕量化創(chuàng)新  

昇思MindSpore布道師崔花婷帶領學員在昇騰開發(fā)板 OrangePi Alpro(20T)上完成Janus-Pro模型部署實戰(zhàn)。該開發(fā)板內置昇騰AI處理器,結合MindSpore框架的動態(tài)圖調試與靜態(tài)圖優(yōu)化能力,支持CV/NLP/生成式領域典型模型及4B以下大模型的邊緣端推理。布道師詳解接口轉換(PyTorch至MindSpore)、網(wǎng)絡驗證及性能調優(yōu)步驟,并展示如何通過三行代碼調用JIT編譯,實現(xiàn)“訓推一體”的輕量化開發(fā)。學員們通過實操,切身體驗了在終端設備進行模型部署運行的全流程。

(MindSpore布道師崔花婷)

最后,特訓營為學員們舉辦了成果展示與結營儀式,為學員們頒發(fā)了結課證書。東南大學網(wǎng)絡與信息中心副主任胡軼寧總結道:“孵化中心將持續(xù)推進‘科研-教學-產業(yè)’閉環(huán),培養(yǎng)具備鯤鵬昇騰原生開發(fā)能力的復合型人才。”昇騰計算技術開發(fā)團隊負責人則鼓勵學員投身國產AI生態(tài)建設:“從算子開發(fā)到全棧優(yōu)化,每個環(huán)節(jié)都是技術攻堅的戰(zhàn)場!

本次特訓營作為孵化中心在人才培養(yǎng)方面的重要實踐,將持續(xù)開展。該中心自2024年11月成立以來,圍繞大學計算產業(yè)前沿課題研究、課程體系建設、研究人才培養(yǎng)等開展合作。此次特訓營的成功舉辦,進一步推動了校企協(xié)同育人,為產業(yè)輸出高質量鯤鵬昇騰原生人才,助力孵化世界級原生科研創(chuàng)新成果。未來,中心將繼續(xù)開展相關活動,推動人工智能技術進步與產業(yè)發(fā)展。

編 輯:T01
飛象網(wǎng)版權及免責聲明:
1.本網(wǎng)刊載內容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權所有,未經(jīng)允許禁止轉載、摘編及鏡像,違者必究。對于經(jīng)過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發(fā)之日起30日內與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
推薦新聞              
 
人物
韋樂平詳解生成式人工智能的聯(lián)網(wǎng)技術
精彩視頻
專家談 | 中國信通院曹薊光:大模型紅利加速釋放AI跨行業(yè)全場景賦能
飛象趣談第二十五期!全球人形機器人半馬首秀,中國黑科技如何讓機器人跑贏未來!
看見數(shù)智福建 2025數(shù)字中國建設峰會媒體探訪活動
在CCBN2025見證百年電視行業(yè)新紀元——超高清發(fā)展年
精彩專題
第八屆數(shù)字中國建設峰會
通信產業(yè)2024年業(yè)績盤點
3·15權益日 | 共筑滿意消費 守護信息通信安全防線
聚焦2025全國兩會
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉載、摘編、復制、鏡像