大模型就像新世界的小火花，它是互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代發(fā)展到一定階段必然會(huì)迸發(fā)出來的產(chǎn)物；今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”，當(dāng)人類敢于把自己從中心位置挪開，認(rèn)知的角度發(fā)生改變的時(shí)候，往往就是人類文明進(jìn)步的開始。

大模型作為一項(xiàng)重大里程碑式的技術(shù)變革，正在給人類社會(huì)帶來什么？有哪些機(jī)遇和挑戰(zhàn)？它的技術(shù)發(fā)展、商業(yè)模式、生態(tài)建設(shè)正處于什么階段？在11月7日舉行的“上海之巔 論道AI”大模型閉門會(huì)上，螞蟻集團(tuán)首席技術(shù)官何征宇分享了螞蟻的思考和實(shí)踐。

何征宇認(rèn)為，大模型就像新世界的小火花，它是互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代發(fā)展到一定階段必然會(huì)迸發(fā)出來的產(chǎn)物。作為一個(gè)新世界的開端，大模型不是目的，甚至只是一個(gè)“鉆木取火”般產(chǎn)生類人智能的手段。我們需要從科學(xué)的角度去研究大模型的智能涌現(xiàn)現(xiàn)象，發(fā)現(xiàn)它背后的原理，才能理解它的能力與局限，真正釋放它的內(nèi)在價(jià)值。他也介紹了螞蟻堅(jiān)決投入大模型的三個(gè)方向：全棧布局、長線發(fā)展、服務(wù)產(chǎn)業(yè)。

該會(huì)議由財(cái)聯(lián)社、《科創(chuàng)板日報(bào)》與上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合主辦，來自人工智能行業(yè)領(lǐng)軍學(xué)者、知名上市公司、大模型企業(yè)和投資機(jī)構(gòu)的高層共50多名代表參會(huì)。

以下內(nèi)容整理自何征宇的現(xiàn)場分享。

▌“GPT有上界，但我們對智能算法的追求無上界”

今天我們?yōu)槭裁磿?huì)在這里談?wù)摯竽Ｐ停课艺J(rèn)為大模型的出現(xiàn)是一個(gè)歷史的必然，它源自于人類對于自身的好奇，也建立在人類發(fā)展過程中若干次偉大創(chuàng)造的基礎(chǔ)之上。

一是文字的發(fā)明，讓人類有了抽象、沉淀和傳播知識(shí)的方法。一個(gè)人的壽命是有限的，但有了文字之后，人類才可能一代一代將知識(shí)總結(jié)并且傳承下來。

二是互聯(lián)網(wǎng)的產(chǎn)生，讓知識(shí)可以快速流動(dòng)，并且匯聚起來。今天我們看到的大模型的所有語料，在沒有互聯(lián)網(wǎng)的時(shí)代是不可想象的。就算是現(xiàn)代圖書館里記錄的知識(shí)，對于今天大模型的語料來說也只是滄海一粟。沒有互聯(lián)網(wǎng)，就無法把世界上的知識(shí)匯聚到一起，無法去探究真實(shí)世界的語言分布，我們今天就不可能聊大模型是不是世界模型這個(gè)問題。

三是找到了GPT這個(gè)高效的知識(shí)壓縮方法。OpenAI為什么做這么快？我認(rèn)為OpenAI無比地堅(jiān)信他們找到了大模型的第一性原理——知識(shí)的無損壓縮等于智能。這一點(diǎn)直到今天科學(xué)界、哲學(xué)界也沒有詳細(xì)論證過，但是OpenAI堅(jiān)信這一點(diǎn)，他們也找到了一些很好的工程實(shí)現(xiàn)的方法，把這個(gè)事情做了出來。

從螞蟻集團(tuán)視角，我們是把大模型這個(gè)新的技術(shù)提升到戰(zhàn)略角度來研究的，我們首先要看清它的本質(zhì)。微軟出過一篇文章，叫做《Sparks of Artificial General Intelligence: Early Experiments with GPT-4》， 他們覺得GPT4是AGI的一個(gè)小火花。我延伸一下，我認(rèn)為大模型是新世界的小火花。這里有兩層意思。

第一層意思，它只是個(gè)小火花，GPT4的智能能力是個(gè)現(xiàn)象，不是發(fā)明。

今天我們更加為之興奮的其實(shí)是大模型帶來的智能水平，或者說智能涌現(xiàn)現(xiàn)象，它到底是個(gè)發(fā)明還是一個(gè)發(fā)現(xiàn)？我認(rèn)為就像原始人看到火一樣，他首先看到的就是一個(gè)自然現(xiàn)象：樹被雷劈了，有火生起來。原始人初次看到火的時(shí)候，肯定會(huì)害怕，就像很多人看到AI會(huì)很害怕一樣。后來原始人發(fā)現(xiàn)火能夠驅(qū)趕野獸，甚至碰一碰有點(diǎn)痛，但他們搞不清楚這個(gè)東西是什么，只是覺得很厲害，馬上就有“拜圣火教”。

AI也是一樣。現(xiàn)在也有可能存在一部分人恐懼AI，要求徹底禁止AI研究，而另外一部分人盲目崇拜AI的現(xiàn)象。但是我覺得，只有當(dāng)有那么一群人嘗試去理解火到底是什么，然后開始能夠掌握火，才可以推動(dòng)人類文明的發(fā)展。

人類控制火的水平也是人類劃分時(shí)代的方法：從石器時(shí)代到青銅時(shí)代最關(guān)鍵的是火帶來了冶煉技術(shù)，讓人類能夠制作金屬工具，解放了生產(chǎn)力。從青銅時(shí)代到鐵器時(shí)代是因?yàn)槿祟愓莆樟烁叩幕鸬臏囟取５浆F(xiàn)在人類掌握了火箭技術(shù)，并因此很可能成為跨行星物種。這背后更重要的是我們弄清楚了火產(chǎn)生的原理，是一種氧化反應(yīng)。最先進(jìn)的火箭技術(shù)也是對火的更高級的控制技術(shù)。

我拿火種來比喻人工智能，是因?yàn)槲艺J(rèn)為今天大模型迸發(fā)的智能涌現(xiàn)現(xiàn)象就好像是一群原始人看到了火種。今天我們看到了GPT，大家都覺得成本很高，不經(jīng)濟(jì)不環(huán)保，ROI不高。若干年后我們回頭看，可能覺得今天的GPT, 甚至現(xiàn)在所有的大模型的訓(xùn)練方法，不過是“鉆木取火”帶來的一點(diǎn)小火花而已。

第二層意思，這個(gè)小火花很重要。

正如螞蟻集團(tuán)董事長兼CEO井賢棟在2023年第二屆外灘大會(huì)上所講，“大模型不只是一個(gè)新技術(shù)，是一個(gè)新世界”。因?yàn)槲覀冋J(rèn)為由于計(jì)算的不可規(guī)約性，也是算法熵壓縮的不可計(jì)算性，知識(shí)壓縮算法的優(yōu)化是無止境的。

舉個(gè)例子，很多人會(huì)說圓周率是不可壓縮的，因?yàn)樗鼪]有規(guī)律。但是人類就有這個(gè)智慧，可以寫一段程序來計(jì)算圓周率。那是不是這段程序就是壓縮后的圓周率了呢？而且還可以跟其他知識(shí)混合，再繼續(xù)壓縮這段程序？因此，知識(shí)的壓縮可能是無止境的，而且事實(shí)上現(xiàn)在大家在更小的模型規(guī)模上也觀測到了智能涌現(xiàn)的現(xiàn)象。我們也應(yīng)該在算法優(yōu)化，工程實(shí)現(xiàn)上持續(xù)探索，我相信還有更好的產(chǎn)生智能的知識(shí)壓縮方法等待我們?nèi)グl(fā)現(xiàn)。

▌看到AI深“黑盒”面

現(xiàn)在AI所表現(xiàn)出來的好像什么都能干，但是你會(huì)發(fā)現(xiàn)他跟精神病一樣，一本正經(jīng)地胡說八道。人一本正經(jīng)胡說八道的時(shí)候，自己是知道的。但是AI胡說八道的時(shí)候，它自己是不知道的。

螞蟻也一直在研究AI的安全可信。我們覺得大模型有非常多的風(fēng)險(xiǎn)，它的挑戰(zhàn)也是巨大的。

第一是認(rèn)知一致性對齊。為什么會(huì)有這個(gè)擔(dān)心？因?yàn)锳I的價(jià)值觀可能跟人類的價(jià)值觀從來就不可能對齊，目前看只靠大模型技術(shù)本身是不太可能實(shí)現(xiàn)這個(gè)目標(biāo)的，除非有搜索增強(qiáng)或者知識(shí)圖譜，甚至更多技術(shù)的幫助。

第二是決策白盒化。如果真的把大模型用到?jīng)Q策系統(tǒng)中，一定是要白盒化。例如，當(dāng)你在做一筆支付的時(shí)候，如果被拒付了，你一定會(huì)打電話給客服了解為什么會(huì)拒付？如果我們只能告訴你這是大模型決策的，我相信一定會(huì)被投訴。所以大模型要真正用在決策場景，一定要有白盒化的能力。

第三是交流協(xié)同演進(jìn)。市面上有各種通用大模型，但事實(shí)上各有特點(diǎn)。人類之所以能夠發(fā)展到今天，不是因?yàn)橐粌蓚€(gè)人的智慧，如何像人類社會(huì)一樣集百家之長，取得突破進(jìn)展？我認(rèn)為需要協(xié)作。大模型之間如何能夠更好的協(xié)作，不是說簡單的從語料層面，或者是從API層面去打通，而是大模型之間能夠有一個(gè)協(xié)同演進(jìn)的機(jī)制。我們覺得這也是未來的一個(gè)關(guān)鍵挑戰(zhàn)。

▌螞蟻為什么堅(jiān)定投入大模型

我們判斷，螞蟻不能錯(cuò)過這次技術(shù)范式的演進(jìn)和變革。我們下了很大的功夫研究，投入的資源也非常大。11月6日，根據(jù)國家七部委聯(lián)合公布的《生成式人工智能服務(wù)管理暫行辦法》指導(dǎo)要求，螞蟻百靈大模型完成備案，基于百靈大模型的多款產(chǎn)品已陸續(xù)完成內(nèi)測，將向公眾開放。在這里，我也介紹下螞蟻集團(tuán)對大模型的整體布局。

第一，全棧布局。

我們覺得它是一個(gè)新的技術(shù)，我們有原始人看到火一樣的興奮。我們?nèi)珬２季值倪壿嬀褪沁@么來的，我們一定要研究清楚，并且研究到其化學(xué)反應(yīng)的本質(zhì)。螞蟻大模型堅(jiān)持自主研發(fā)、全棧布局，目前已形成包括大模型底層基礎(chǔ)設(shè)施、基礎(chǔ)大模型、行業(yè)大模型、應(yīng)用產(chǎn)品在內(nèi)的完整技術(shù)鏈條。我們是從集群開始自己搭的，螞蟻建設(shè)了超過萬卡的異構(gòu)集群，其中硬件算力效率(HFU)超過60%，集群有效訓(xùn)練時(shí)長占比90%以上，RLHF訓(xùn)練在同等模型效果下訓(xùn)練吞吐性能相較于業(yè)界方案提升3.59倍，推理性能相較于業(yè)界方案提升約2倍。

第二，長線發(fā)展。

從螞蟻的角度來看，大模型是一個(gè)基礎(chǔ)技術(shù)，基礎(chǔ)技術(shù)就要堅(jiān)持長期主義，做好長期不賺錢的準(zhǔn)備，至少在我們看來，它不是一個(gè)今天就可以拿出來賺錢的技術(shù)。在沒有完全搞清楚它的風(fēng)險(xiǎn)與危害之前，我們會(huì)做一些積極的應(yīng)用嘗試，但會(huì)避免貿(mào)然直接使用在商業(yè)場景。

第三，要面向產(chǎn)業(yè)，面向消費(fèi)者，面向很多好玩的東西。

我們覺得大模型真正歷史性的突破是幫助行業(yè)生產(chǎn)力提升，而且有可能讓人類社會(huì)生產(chǎn)力劇增。我們做大模型技術(shù)的最終目標(biāo)還是會(huì)面向產(chǎn)業(yè)，也包括金融產(chǎn)業(yè)、醫(yī)療產(chǎn)業(yè)等專業(yè)服務(wù)場景，幫助他們?nèi)プ霎a(chǎn)業(yè)升級。

另外，螞蟻在大模型的安全上堅(jiān)決投入。

任何一項(xiàng)技術(shù)都有它的不可控性。我們分析下來，大模型安全還有若干個(gè)難點(diǎn)。第一是不可控；第二是覆蓋面廣，任何東西都可以生成；第三就是，安全的本質(zhì)其實(shí)還是對抗，一定會(huì)有壞人來濫用這個(gè)技術(shù)；第四就是防護(hù)的時(shí)效性等問題。

安全力方面，螞蟻研發(fā)了大模型安全一體化解決方案——“蟻天鑒”。“蟻鑒”平臺(tái)作為業(yè)內(nèi)首個(gè)工業(yè)級大模型應(yīng)用的安全評測產(chǎn)品，可支持每天50萬飽和式攻擊，全面覆蓋生成內(nèi)容數(shù)百類風(fēng)險(xiǎn)；“天鑒”平臺(tái)可在大模型運(yùn)行時(shí)，采用大模型對抗大模型的方式，對風(fēng)險(xiǎn)進(jìn)行防御。其中前置安全護(hù)欄功能，能精確召回20多類提問風(fēng)險(xiǎn)意圖，對生成內(nèi)容的風(fēng)險(xiǎn)攔截率提升99.7%。

同時(shí)我們也特別關(guān)注AI倫理問題。我們和螞蟻集團(tuán)法務(wù)團(tuán)隊(duì)一起，邀請了很多外部的倫理專家法律專家，幫我們導(dǎo)入了一些常識(shí)性的倫理問題來強(qiáng)化我們的大模型。

▌結(jié)語

怎么用AI、大模型技術(shù)，為人類提供一個(gè)更好的智能化工具，提升生活幸福感，這是我們一直在追求的。

我們覺得大模型也不是AI的全部，AI 是個(gè)更大的范疇。通用人工智能是我們的目標(biāo)，大模型不是目的，它是一個(gè)手段，甚至只是剛才講的“鉆木取火”的手段，可能并不是最好的獲得類人智能的手段。人腦大概只用40瓦就足夠每天做很多很多的推理。今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”，當(dāng)人類敢于把自己從中心位置挪開，認(rèn)知的角度發(fā)生改變的時(shí)候，往往就是人類文明進(jìn)步的開始。大模型也是一樣的道理，要看到大模型智能涌現(xiàn)現(xiàn)象背后的本質(zhì)。當(dāng)我們徹底理解它的時(shí)候，或許我們才真正迎來“日心說”一般劃時(shí)代的技術(shù)革命。

為了這一天的到來，我們愿意和同行一起，分享前行中的實(shí)踐和經(jīng)驗(yàn)，共建行業(yè)的標(biāo)準(zhǔn)和生態(tài)。為一個(gè)真正通用人工智能時(shí)代的到來，一起努力。

謝謝大家。