科大訊飛近日發(fā)布了其最新的投資者關系活動記錄,詳細闡述了DeepSeek和星火大模型X1的最新進展。記錄顯示,科大訊飛正在全力推進星火X1新版本的訓練,這一版本預計將在3月內(nèi)完成,目標是在數(shù)學答題和過程思維鏈能力上全面對標甚至超越OpenAI的o1模型。
科大訊飛強調(diào),星火X1新版本的成功離不開其在深度推理模型上的深厚積累。通過與中國教科院等教育專家的緊密合作,科大訊飛正致力于將X1深度推理模型與教育專業(yè)知識相結(jié)合,通過強化學習和反思機制,生成符合教育教學需求的“教學思維鏈”。這一創(chuàng)新旨在提高復雜場景推理的邏輯正確性、專業(yè)性和可解釋性,并計劃率先應用于教師助手、作業(yè)批改和輔助教學等全系產(chǎn)品創(chuàng)新中,預計將在2025年世界數(shù)字教育大會上發(fā)布教育專屬大模型和創(chuàng)新應用。
在DeepSeek方面,科大訊飛提到了R1版本的快速對標o1模型的創(chuàng)新點。R1采用了R1-Zero強化學習訓練方案,直接在DeepSeek-V3-base預訓練模型上進行大規(guī)模強化學習訓練,無需依賴任何有監(jiān)督微調(diào)(SFT),即可在數(shù)學、代碼等推理任務上接近o1模型的效果。這一成果不僅減少了人工標注推理過程數(shù)據(jù)的需求,還體現(xiàn)了科大訊飛在深度推理模型上的技術創(chuàng)新能力。
值得注意的是,科大訊飛在深度推理模型上的進展并非一帆風順。由于只能使用國產(chǎn)算力,科大訊飛在適配和優(yōu)化華為昇騰910B算力上花費了額外的時間。然而,這些努力最終取得了顯著成效,星火深度推理模型X1雖然參數(shù)較?。▋H130億),但依靠算法和數(shù)據(jù)優(yōu)勢,已達到與OpenAI o1-preview對標的水平??拼笥嶏w表示,隨著國產(chǎn)算力的逐步到位和模型參數(shù)的增加,有信心實現(xiàn)數(shù)學答題和過程思維鏈能力的全面超越。
為了降低深度推理模型的訓練和推理成本,科大訊飛在軟硬件結(jié)合方面進行了多項深度工程優(yōu)化創(chuàng)新。與DeepSeek直接在英偉達H800卡上開展工程優(yōu)化不同,科大訊飛選擇了更難的全國產(chǎn)算力路線。通過與華為的緊密合作,科大訊飛攻克了一系列技術難題,將訓練效率從最初的30%-50%優(yōu)化到了85%-95%以上。特別是在萬卡網(wǎng)絡通信帶寬的利用率上,科大訊飛星火做到了95%,超越了DeepSeek的93%。
科大訊飛還指出,雖然陸續(xù)有公司宣布可以在國產(chǎn)算力平臺上提供大模型的推理服務,但目前只有訊飛星火一家是訓練和推理均在國產(chǎn)算力上進行的。僅用1萬張910B國產(chǎn)算力卡,科大訊飛不僅取得了大模型研發(fā)上的顯著成果,還做了大量國產(chǎn)算力平臺上的適配和效率優(yōu)化工作。這些努力體現(xiàn)了科大訊飛在追求國產(chǎn)算力極致效率上的技術實力和戰(zhàn)略勇氣。
科大訊飛表示,未來將繼續(xù)加大在深度推理模型上的研發(fā)投入,推動星火大模型在教育、醫(yī)療等領域的廣泛應用。同時,也將持續(xù)關注國產(chǎn)算力的發(fā)展動態(tài),不斷優(yōu)化和提升星火大模型在國產(chǎn)算力平臺上的性能和效率。