在AI領(lǐng)域，一篇博客文章往往難以引起廣泛關(guān)注，但Keller Jordan的博客卻是個例外。近日，AI云服務(wù)商Hyperbolic的聯(lián)合創(chuàng)始人兼CTO Yuchen Jin在社交平臺X上透露，Keller Jordan僅憑這篇博客就成功加入了OpenAI，并且有可能正在使用其中提出的神經(jīng)網(wǎng)絡(luò)隱藏層優(yōu)化器Muon來訓(xùn)練GPT-5。

Jordan的這篇博客發(fā)布于2024年12月，題為《Muon：神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器》。在博客中，他詳細介紹了Muon的設(shè)計原理及其在多個任務(wù)中的實證結(jié)果。據(jù)悉，Muon是一個針對神經(jīng)網(wǎng)絡(luò)隱藏層二維參數(shù)的優(yōu)化器，它通過采用SGD-momentum生成的更新，并在應(yīng)用之前對每個更新應(yīng)用Newton-Schulz迭代作為后處理步驟，以實現(xiàn)更新矩陣的近似正交化。

Jordan在博客中指出，Muon在多個任務(wù)中均取得了顯著的效果。例如，在CIFAR-10數(shù)據(jù)集上，它將訓(xùn)練速度記錄提高到94%準(zhǔn)確率，從3.3秒提高到2.6秒；在NanoGPT快速運行競賽任務(wù)FineWeb上，它將訓(xùn)練速度記錄提高至3.28 val loss，提高了1.35倍；在擴展到774M和1.5B參數(shù)的同時，Muon也繼續(xù)顯示了訓(xùn)練速度的提升。

Jordan在博客中還對神經(jīng)網(wǎng)絡(luò)優(yōu)化研究文獻進行了批判，指出其中充斥著大量已死的優(yōu)化器。他認為，這些優(yōu)化器聲稱能夠擊敗AdamW，但往往以巨大的優(yōu)勢獲勝，卻從未被社區(qū)采用。Jordan認為，問題出在研究界，而非潛在的采用者。他犀利地指出，這項研究出了問題，并提出應(yīng)該采用更高的證據(jù)標(biāo)準(zhǔn)來評估新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

Jordan的觀點和Muon的實證結(jié)果顯然引起了OpenAI的注意。據(jù)Yuchen Jin透露，Jordan正是憑借這篇博客成功加入了OpenAI，并且有可能正在使用Muon來訓(xùn)練GPT-5。這一消息無疑讓AI領(lǐng)域?qū)uon充滿了期待。

從職場社交平臺領(lǐng)英上也可以看到，Jordan確實是在2024年12月加入了OpenAI。這一時間點與博客的發(fā)布時間相吻合，進一步印證了Yuchen Jin的爆料。如果Jordan真的在使用Muon來訓(xùn)練GPT-5，那么這一技術(shù)很有可能成為GPT-5中的重要部分。

不過，Jordan也在博客中提出了一些尚未解決的問題。例如，Muon是否可以擴展到更大規(guī)模的訓(xùn)練？是否有可能在大型GPU集群中正確分布Muon使用的Newton-Schulz迭代？以及Muon是否僅適用于預(yù)訓(xùn)練，而不適用于微調(diào)或強化學(xué)習(xí)工作負載？這些問題仍有待進一步的研究和驗證。

盡管如此，Muon的出現(xiàn)仍然為AI領(lǐng)域帶來了新的希望和可能。它讓人們看到了在神經(jīng)網(wǎng)絡(luò)優(yōu)化方面還有巨大的潛力和空間等待挖掘。隨著技術(shù)的不斷進步和發(fā)展，相信未來會有更多像Muon這樣的創(chuàng)新技術(shù)涌現(xiàn)出來，推動AI領(lǐng)域不斷向前發(fā)展。