關于ZAKER 合作

      華為首個開源大模型來了!Pro MoE 720 億參數,4000 顆昇騰訓練

      國產大模型開源競爭進入新階段,華為首次開源盤古大模型核心能力。

      6 月 30 日,華為宣布開源盤古 70 億參數稠密模型和盤古 Pro MoE 720 億參數混合專家模型,同時開放基于昇騰的模型推理技術。這是華為首次將盤古大模型的核心能力對外開源。

      華為表示,720 億參數的盤古 Pro MoE 模型在昇騰 800I A2 上實現單卡 1148 tokens/s 的推理吞吐性能,通過投機加速技術可進一步提升至 1528 tokens/s,顯著優于同等規模的稠密模型。

      此次開源正值國產大模型開源浪潮興起之際。繼 DeepSeek-R1 成功后,MiniMax、阿里巴巴、月之暗面等頭部廠商陸續升級開源模型,推動大模型價格下探 60%-80%,加速應用普及。

      模型引入 " 快思考 " 和 " 慢思考 " 雙系統

      華為此次開源包括三個主要組件:盤古 Pro MoE 72B 模型權重和基礎推理代碼已正式上線開源平臺,基于昇騰的超大規模 MoE 模型推理代碼同步發布,盤古 7B 相關模型權重與推理代碼將于近期上線。

      據開源開發者平臺 GitGo 信息,盤古 Pro MoE 基于 MoGE 架構構建,總參數量 720 億,激活參數量 160 億。該模型專門針對昇騰硬件優化,在昇騰 300I Duo 推理服務器上提供極具性價比的模型推理方案。

      根據華為官方介紹,盤古 Embedded 7B 模型引入 " 快思考 " 和 " 慢思考 " 雙系統,簡單問題用快速模式響應,復雜問題用深度模式推理,可自動切換。

      方案在專家選擇階段采用分組機制,具體來說,先將專家劃分為若干等規模的分組,再從每個分組中選取相同數量的專家進行激活。在典型的分布式部署中,每個專家分組對應獨立的計算設備,從而 MoGE 天然地實現了跨設備的計算負載均衡。這一設計顯著提升了訓練和推理場景下的系統吞吐量。

      在預訓練階段,華為使用了 4000 個昇騰 NPU,在包含 13 萬億 tokens 的高質量語料庫上進行預訓練,分為通用、推理和退火三個階段,逐步提升模型能力。

      在后訓練階段,其通過監督微調(SFT)和強化學習(RL)進一步增強推理能力,還采用了檢查點合并等技術優化模型。

      最終,盤古 Pro MoE 在昇騰 800I A2 上實現了單卡 1148 tokens/s 的推理吞吐性能,并可進一步通過投機加速等技術提升至 1528 tokens/s,顯著優于同等規模的 320 億和 720 億個參數的稠密模型;在昇騰 300I Duo 推理服務器上,華為也實現了極具性價比的模型推理方案。

      千億內總參數模型中處于領先

      華為表示,昇騰 NPU 能夠支持盤古 Pro MoE 的大規模并行訓練。多項公開基準測試結果表明,盤古 Pro MoE 在千億內總參數模型中處于領先地位。

      在英文基準領域,盤古 Pro MoE 在 MMLU-PRO 上以顯著優勢超越當前主流的稠密模型(包括 Qwen3-32B、GLM-Z1-32B 和 Gemma3-27B)及 MoE 架構的 Llama4-Scout 模型,創下新的性能標桿。

      在閱讀理解領域,盤古 ProMoE 于 DROP 基準測試中獲得 91.2 的優異成績,與當前最優的 Qwen3-32B 模型(91.3)基本持平,充分驗證其具備與前沿模型相當的英文文本理解與推理能力。

      在中文領域評估中,盤古 Pro MoE 展現出專業化的語言理解優勢。

      具體而言,在知識密集型評測 C-Eval(EM)中,盤古 Pro MoE 以 91.1 的卓越成績超越 Qwen3-32B(89.2)等現有百億參數量級最優模型。針對中文常識推理任務,盤古 Pro MoE 在 CLUEWSC(EM)基準上取得 94.7 的高分,較 Qwen3-32B(94.6)實現微幅提升,并明顯領先于 Gemma3-27B(91.3)等其他對比模型。

      推理基準盤古 Pro MoE 在保持高效推理的同時,展現出優異的邏輯推理能力。

      代碼生成方面, 在 MBPP+(Pass@1)的指標達到 80.2,與 Qwen3-32B(82.0)處于同一性能區間。數學推理任務中,MATH-500 測試以 96.8 分超越 Qwen3-32B(96.6),CNMO2024 基準 Pass@1 指標 70.8 亦較后者(70.4)提升 0.4 分。特別在 SuperGPQA 復雜問題解答基準中,54.8 的 Pass@1 得分顯著優于 GLM-Z1-32B(52.6)和 Qwen3-32B(49.8)等稠密模型。

      值得注意的是,在僅激活 160 億參數的配置下,盤古 Pro MoE 的推理能力即可媲美 320 億(32B)量級的先進模型。這種高效率源于創新的 MoGE 架構設計,該架構在保證邏輯推理精度的同時,保障了高效的推理速度。

      " 工業奇跡 "

      根據 SuperCLUE 中文大模型基準測評 5 月的數據,盤古 72B 在開源排行榜中位列第五,總分為 58.75 分,超越 Qwen3-14B、Qwen3-8B,僅次于 DeepSeek-R1 滿血版、DeepSeek-V3 滿血版以及 Qwen3-32B 和 235B。

      有媒體評論稱,華為通過從芯片(昇騰 NPU)、到框架(MindSpore),再到模型(盤古)形成了完整的垂直整合體系。昇騰和盤古生態系統是一項里程碑式的技術成就。它證明在英偉達主導的單一產業格局之外,存在一種可行的高性能替代方案。

      國產大模型開源競爭加劇

      華為開源盤古大模型正值國產 AI 開源浪潮興起。2025 年開年,DeepSeek-R1 的成功在全球掀起開源風潮,隨后國產大模型開源消息接連不斷,涵蓋自然語言處理、計算機視覺、多模態等多個領域。

      2025 年 6 月,MiniMax、阿里巴巴、月之暗面等國內頭部大模型廠商陸續升級多款開源大模型。研究報告顯示,這些廠商在有限算力支持下,通過算法升級促進模型性能持續提升。

      大模型價格同步快速下探。MiniMax-M1、豆包大模型 1.6 定價比 DeepSeek-R1 降低約 60%-80%,更高性價比將加快應用普及速度。華為此次開源舉措有望進一步推動人工智能技術在千行百業的應用與價值創造。

      最新評論

      沒有更多評論了
      全天候科技

      全天候科技

      提供專業快速完整的科技商業資訊

      訂閱

      覺得文章不錯,微信掃描分享好友

      掃碼分享

      熱門推薦

      查看更多內容
      主站蜘蛛池模板: 国产亚洲福利一区二区免费看| 上原亚衣一区二区在线观看| 国产视频一区二区在线播放| 亚洲第一区香蕉_国产a| 一区二区传媒有限公司| 日韩在线不卡免费视频一区| 武侠古典一区二区三区中文| 日本视频一区在线观看免费| 日韩久久精品一区二区三区| 亚洲天堂一区在线| 久久精品国产第一区二区三区 | 一区二区三区四区在线视频| 日本大香伊一区二区三区| 97精品国产一区二区三区| 亚洲国产成人一区二区三区 | 国产主播一区二区三区| 精品福利视频一区二区三区| 无码人妻AV免费一区二区三区| 国产成人一区二区在线不卡| 国产91久久精品一区二区| 无码国产精成人午夜视频一区二区| 国产精品视频一区二区三区无码 | 精品无码一区二区三区在线| 久久se精品一区精品二区国产| 无码乱人伦一区二区亚洲| 久久精品国产一区二区三区不卡| 亚洲乱码日产一区三区| 国产亚洲日韩一区二区三区 | 国产精品男男视频一区二区三区| 高清一区二区在线观看| 高清在线一区二区| 自慰无码一区二区三区| 亚洲一区二区三区香蕉| 中文字幕视频一区| 日韩视频一区二区在线观看| 日本一区二区高清不卡| 国产精品污WWW一区二区三区| 亚洲一区二区三区在线| 国产福利一区二区三区视频在线| 视频一区视频二区日韩专区| 在线观看国产区亚洲一区成人 |