中國人工智慧公司月之暗面（Moonshot AI）旗下的 Kimi 團隊於 16 日發表了一篇名為〈Attention Residuals〉的突破性論文，該研究提出了一種全新的機制，旨在顛覆沿用近十年之久的殘差連接（Residual Connection）架構。這項技術創新迅速引起業界關注，特斯拉執行長馬斯克（Elon Musk）同日晚間亦在社群平台表達讚賞，留言「令人印象深刻」。值得注意的是，這篇論文的並列第一作者之一，是年僅 17 歲的深圳高三學生陳廣宇，他接觸 AI 領域的時間還不到一年。
業界關注與技術革新
這項研究的核心在於解決現有大型語言模型（LLM）普遍採用的殘差連接架構所面臨的瓶頸。傳統的殘差連接機制，其運作原理類似於逐層搬運貨物上樓，每上升一層便將之前累積的資料一併帶往下一層。然而，隨著模型深度增加，累積的資料量也隨之膨脹，導致早期輸入的重要資訊容易被後續數據稀釋，進而削弱了每一層的實際影響力，並可能造成不可逆的資訊損失。
針對此一挑戰，Kimi 團隊提出的 Attention Residuals（AttnRes）機制，以創新的 softmax 注意力機制取代了傳統的固定殘差累積方式。此機制允許模型每一層主動從過去各層中篩選出最為有用的資訊，並動態地分配其權重，從根本上改善了資訊流動效率。研究團隊進一步提出 Block Attention Residuals（Block AttnRes），透過壓縮層數分組，確保跨層注意力機制在大規模模型中仍具備實用性。
在實際效能方面，月之暗面 Kimi Linear 架構（擁有 480 億總參數，其中 30 億為觸發參數）在導入 AttnRes 後，展現出 1.25 倍的算力優勢，同時推理延遲僅增加不到 2%。此外，在多項下游評測任務中，模型的表現均有所提升，顯示了 AttnRes 機制在提升大型語言模型效率與效能上的潛力。
年輕研究員的嶄露頭角與技術開放
此次突破性研究的並列第一作者陳廣宇，目前就讀於深圳某高中高三，其深入接觸人工智慧領域的時間尚不足一年。據了解，他最初是透過自學 AI 相關論文，逐步累積其專業知識與研究能力，展現了卓越的學習天賦與研究潛力。
為促進技術交流與開放創新，月之暗面（Moonshot AI）已在 GitHub 上公開了這份完整的技術報告及相關程式碼。這一舉措不僅展現了該公司對學術開放的承諾，也為全球 AI 研究社群提供了一個寶貴的資源，有助於加速人工智慧領域的整體發展。
