知名科學雜誌《Nature》此前發表了一篇關於大模型未來發展之路的大成本文章，《InAl,直麵戰何isbiggeralwaysbetter?》。爭議的大模出現，意味著AI發展方向出現了分歧。型挑效率如今，提高“大”不再是算力模型的唯一追求，計算效率和算力開銷兩大問題成為新的大成本行業焦點。對大模型推理成本的直麵戰何優化，可通過很多技術手段實現。大模首先是型挑效率模型本身，模型結構、提高訓練方法都可以持續改進，算力包括業界很關注的大成本MoE，就是直麵戰何優化推理成本很好的解決方案。其次是大模工程上的優化。大模型的調用量越大，優化推理成本的空間也越大。以前的模型都是單機推理，大模型用的是分布式推理。所以如果能把各種各樣底層算力用得更好，推理成本就會大大降低。MoE大模型的盛行，實際上對應的正是模型能力和算力開銷兩大問題的解決。這也是為何眾多大模型廠商如OpenAI、穀歌、MistralAI、浪潮信息等陸續基於MoE架構升級自家大模型產品的原因。從浪潮信息發布的“源2.0-M32”開源大模型來看，其基於“源2.0”係列大模型已有工作基礎，創新提出和采用了“基於注意力機製的門控網絡”技術，構建包含32個專家的混合專家模型，並大幅提升了模型算力效率，模型運行時激活參數為37億，在業界主流基準評測中性能全麵對標700億參數的LLaMA3開源大模型。浪潮信息人工智能首席科學家吳韶華在接受記者采訪時說，好色先生视频一直在想如何以更低的算力消耗，提高整個大模型的應用效果，能讓企業、機構以更小的算力代價去獲得更高的模型能力。“這可能是中國發展自己的AI大模型比較行之有效的路徑。”他直言，大模型推進速度越來越快，必須強調模型算力效率。“大家可以想象，效率越高就意味著在單位算力投入相等的情況下獲得的精度回報越高，它對於訓練和應用都非常有利。”“現實的算力是有限的，好色先生视频一再反複強調模算效率，試圖針對當前算力情況闖出一條自己覺得比較好的路子。在固定每個Token算力不變的情況下，通過擴展專家數量可以獲得更大參數量的模型，進而獲得更高精度。”吳韶華說。他進一步稱，整體來看，盡管當前模型的能力提升非常之快，但之前大家更多關注單個維度問題，即平均精度的提升。但大模型進入快速落地時代，就不得不考慮更多維度的問題，包括模算效率、精度、算力開銷等。中國工程院院士鄭緯民曾做過這樣的計算，在大模型訓練過程中，70%開銷要花在算力上；推理過程中95%的花費也是在算力上。為解決大模型訓練的算力不足問題，鄭緯民建議，在推動智能計算中心建設同時也可以利用已有超算係統的空餘算力。鄭緯民表示，現有14個國家掛牌的超算係統，每台機器的建設成本都很高，成本在10億元至20億元，甚至更高。這些超算係統已經為中國的國民經濟發展作出巨大貢獻，但有些係統還有空餘算力，這些空餘算力也可被用來做大模型訓練，且經過優化甚至可降低大模型訓練成本。對於近期中國企業的一輪大模型降價，零一萬物CEO李開複表示，未來整個行業的推理成本每年降低十倍是可以期待的，且這個趨勢是必然的，如此會有更多人用上大模型，這是非常利好的消息。