近日舉行的ACL 2025頒獎(jiǎng)禮上，由DeepSeek與北京大學(xué)聯(lián)合發(fā)表，并由梁文鋒親自“掛帥”的論文榮獲最佳論文獎(jiǎng)。該研究提出的原生稀疏注意力（NSA）機(jī)制，為自然語言處理領(lǐng)域的效率突破提供了新思路。此次DeepSeek斬獲大獎(jiǎng)，再度引發(fā)了學(xué)界對(duì)這一前沿技術(shù)的關(guān)注，而稀疏注意力一直是知乎上討論的AI熱點(diǎn)話題之一，眾多AI開發(fā)者紛紛在知乎上解碼一線科研成果，分享開發(fā)經(jīng)驗(yàn)。
何為原生稀疏注意力機(jī)制？不少知乎答主以AI開發(fā)者身份充當(dāng)“解碼器”，以生活化的比喻科普專業(yè)技術(shù)概念。知乎答主李明殊將NSA機(jī)制比作去超市購物，“好比一個(gè)人去大超市買牙膏，傳統(tǒng)方法是逐排瀏覽所有貨柜；而NSA機(jī)制會(huì)做兩件事：一是‘?dāng)?shù)據(jù)壓縮’，先找到超市導(dǎo)覽圖確定日用品樓層，二是‘智能選擇’，重點(diǎn)聚焦清潔洗護(hù)區(qū)”。他認(rèn)為這種機(jī)制更像人類的思考過程，更加“類人”，能顯著提升計(jì)算機(jī)訓(xùn)練和推理速度，降低成本，同時(shí)保持準(zhǔn)確性。
更多一線從業(yè)者從專業(yè)技術(shù)角度深入闡釋。復(fù)旦大學(xué)計(jì)算機(jī)技術(shù)碩士、知乎答主Nil-9解讀了NSA的三個(gè)主要部件：壓縮模塊、Blockwise選擇模塊和滑動(dòng)注意力，指出“NSA既包含了Memory compression的思路，在這個(gè)基礎(chǔ)上又引入了稀疏化，并且還加入了位置先驗(yàn)的稀疏化（sliding component）”。計(jì)算機(jī)硬件從業(yè)者、知乎答主錘煉小助手則將NSA概括為：“一個(gè)針對(duì)transformer attention的、簡(jiǎn)單有效、高度硬件友好的token數(shù)量壓縮算法”。
知乎上圍繞稀疏注意力的專業(yè)討論早有積累，且極具行業(yè)前瞻性。2024年，清華大學(xué)計(jì)算機(jī)系副教授、知乎答主劉知遠(yuǎn)團(tuán)隊(duì)發(fā)布大模型長文本理解方法InfLLM，其中涉及的NSA改進(jìn)方案被DeepSeek此次論文引用。InfLLM項(xiàng)目參與者、知乎答主xcjthu也深度參與NSA討論，并表示，“正如Deepseek-V3帶給大家的震撼一樣，我認(rèn)為NSA的硬件親和性是這篇論文最精彩的部分”。
除了高校研究項(xiàng)目，多家AI明星企業(yè)也相繼發(fā)布了有關(guān)稀疏注意力的研究成果。微軟亞研院高級(jí)研究員曹士杰分享了團(tuán)隊(duì)稀疏注意力相關(guān)的研發(fā)進(jìn)展；月之暗面則發(fā)布了開源稀疏注意力框架MoBA。這些一線開發(fā)者不約而同選擇知乎作為專業(yè)交流陣地，形成AI科研成果碰撞的獨(dú)特場(chǎng)域。
自 2011年上線以來，知乎始終是科技領(lǐng)域的前沿討論場(chǎng)，記錄了不同技術(shù)周期下開發(fā)者的創(chuàng)新成果。隨著AI時(shí)代的到來，大批AI開發(fā)者、從業(yè)者涌入并活躍于此。截至目前，知乎已聚集起1600萬科技與AI領(lǐng)域持續(xù)學(xué)習(xí)者，356萬科技與AI話題深度創(chuàng)作者，沉淀了858萬個(gè)AI相關(guān)問題、2000多萬個(gè)AI專業(yè)回答。知乎已然成為開發(fā)者首發(fā)項(xiàng)目、首談方向、首秀成果的陣地，為AI前沿技術(shù)和應(yīng)用提供了重要的創(chuàng)新窗口和趨勢(shì)指引。
