“預訓練”是AI大模型學習中的一種方法,，指的是通過海量的數(shù)據(jù)，訓練一個大模型,。訓練時需要大量的數(shù)據(jù)和算力支持,，每次迭代可能耗資數(shù)百萬至數(shù)億美元。

官方技術(shù)論文披露,，DeepSeek-V3在預訓練階段僅使用2048塊GPU訓練了2個月,，且只花費557.6萬美元,。這個費用是什么概念？

據(jù)報道,，GPT-4o的模型訓練成本約為1億美元,。簡單粗暴地說，這相當于DeepSeek-V3比同等性能的AI大模型,，降了十幾倍的成本,。

早在2024年5月，深度求索發(fā)布DeepSeek-V2時,，就曾因給模型的定價太過于便宜,，開啟了中國大模型的價格戰(zhàn)，被稱之為“AI界的拼多多”,。

“相比于說它是‘拼多多’,，它更像小米，貼近成本定價,，并且自產(chǎn)自銷,。”馬千里認為,，訓練成本比較低的原因,，離不開深度求索團隊自研的架構(gòu)和算力，他們自身的算力儲備可以與大廠比肩,，并且更注重底層的模型,。

“ChatGPT走的是大參數(shù)、大算力,、大投入的路子,，DeepSeek-V3的路徑用了更多的巧思，依托數(shù)據(jù)與算法層面的優(yōu)化創(chuàng)新,，從而高效利用算力,，實現(xiàn)較好的模型效果?！瘪R千里說道,。