meta超級智能團(tuán)隊的成員畢樹超近期在哥倫比亞大學(xué)和哈佛大學(xué)進(jìn)行了兩場關(guān)于人工智能的演講，引發(fā)了廣泛關(guān)注和討論。他在演講中回顧了人工智能（AI）70年的發(fā)展歷程，從AlexNet引發(fā)的深度學(xué)習(xí)革命，到Transformer和Scaling Law推動大模型的爆發(fā)，再到強(qiáng)化學(xué)習(xí)與預(yù)訓(xùn)練的結(jié)合，逐步通向通用人工智能（AGI）。畢樹超強(qiáng)調(diào)，智能并非人類獨有，AGI的曙光已經(jīng)出現(xiàn)。

畢樹超指出，盡管十年前他對AGI持懷疑態(tài)度，但近年來他逐漸接受了這一理念，并堅信2025年AGI將成為現(xiàn)實。他在演講中詳細(xì)闡述了過去15年的技術(shù)進(jìn)展、當(dāng)前面臨的挑戰(zhàn)以及未來的發(fā)展趨勢。

畢樹超在meta超級智能實驗室從事強(qiáng)化學(xué)習(xí)、預(yù)訓(xùn)練以及智能體研究。此前，他曾在OpenAI領(lǐng)導(dǎo)多模態(tài)研究，并擔(dān)任YouTube Shorts的主要負(fù)責(zé)人。他擁有浙江大學(xué)數(shù)學(xué)學(xué)士學(xué)位，以及加州大學(xué)伯克利分校統(tǒng)計學(xué)碩士和數(shù)學(xué)博士學(xué)位。

畢樹超的演講特別提到了高質(zhì)量人類數(shù)據(jù)的稀缺性。他指出，盡管人類文明已有幾千年歷史，但真正積累的高質(zhì)量數(shù)據(jù)并不多，大部分文本數(shù)據(jù)已經(jīng)消耗殆盡。因此，如何生成更多的數(shù)據(jù)成為關(guān)鍵問題。他認(rèn)為，算力正變得越來越廉價，計算機(jī)與環(huán)境的交互或許能自動生成新的知識與數(shù)據(jù)，且速度可能遠(yuǎn)超人類。

畢樹超分享了他對AGI研究的心路歷程。起初，他對通用人工智能持懷疑態(tài)度，認(rèn)為人腦是獨特的，人類智能無可復(fù)制。但隨著對AI理解的加深，他開始意識到模擬人腦的方式并非只有一種，計算機(jī)完全有能力模仿人類的學(xué)習(xí)方式。他認(rèn)為，大腦只是生物進(jìn)化的結(jié)果，雖然復(fù)雜，但本質(zhì)上是一臺“生物計算機(jī)”，并不比硅基計算機(jī)更神秘。更重要的是，系統(tǒng)是否具備足夠的規(guī)模，而非結(jié)構(gòu)的復(fù)雜程度，可能是決定智能的關(guān)鍵因素。

在哥倫比亞大學(xué)的演講中，畢樹超追溯了AI的思想根源。他提到，1948-1950年左右，Alan Turing提出了“機(jī)器能思考嗎？”的問題，并主張設(shè)計一個簡單模型，通過數(shù)據(jù)自主學(xué)習(xí)，盡量減少人為預(yù)設(shè)的結(jié)構(gòu)。畢樹超指出，這正是機(jī)器學(xué)習(xí)的核心。

他回顧了自監(jiān)督學(xué)習(xí)、深度網(wǎng)絡(luò)以及Transformer等里程碑式架構(gòu)的興起，并展示了計算能力和數(shù)據(jù)規(guī)模的提升如何帶來性能的飛躍。畢樹超特別提到了AlexNet、Word2Vec、GAN、Adam優(yōu)化器和ResNet等關(guān)鍵技術(shù)，這些技術(shù)為深度學(xué)習(xí)革命奠定了基礎(chǔ)。

畢樹超還提到了過參數(shù)化不是bug，而是feature的顛覆性發(fā)現(xiàn)。他指出，在深度學(xué)習(xí)模型中，參數(shù)數(shù)量遠(yuǎn)超過數(shù)據(jù)點數(shù)量并不會導(dǎo)致過擬合，反而有助于模型選擇泛化性最優(yōu)的解。這一發(fā)現(xiàn)打破了傳統(tǒng)統(tǒng)計分析領(lǐng)域的認(rèn)知。

畢樹超認(rèn)為，Transformer架構(gòu)是過去十年最重要的架構(gòu)之一，它高度可并行化、數(shù)據(jù)效率高，且擴(kuò)展性極佳。Transformer的出現(xiàn)解決了之前模型的局限性，推動了AI技術(shù)的發(fā)展。他特別提到了GPT系列模型，認(rèn)為這些模型通過零樣本或少樣本學(xué)習(xí)完成任務(wù)，展現(xiàn)了通用人工智能的本質(zhì)。

畢樹超還探討了強(qiáng)化學(xué)習(xí)在AI發(fā)展中的作用。他指出，深度強(qiáng)化學(xué)習(xí)從2015年開始逐漸興起，AlphaGo的出現(xiàn)讓人們意識到AI模型真的具備智能。然而，強(qiáng)化學(xué)習(xí)在現(xiàn)實中的應(yīng)用一度受限，直到與預(yù)訓(xùn)練模型結(jié)合，才真正改變了局面。他強(qiáng)調(diào)，未來要構(gòu)建真正的AGI乃至超人工智能（ASI），強(qiáng)化學(xué)習(xí)必須發(fā)揮更大的作用。

畢樹超在演講中表示，每隔幾個月，人們就能看到曾經(jīng)被認(rèn)為不可能的事情成為現(xiàn)實。他認(rèn)為，很多我們以為的不可能，其實只是知識的局限。他鼓勵人們重新審視所有仍然認(rèn)為不可能的事情，并期待AI技術(shù)的未來發(fā)展。