世間有一種軟件，名叫“深度學(xué)習(xí)框架”。 在人工智能的江湖，常聽人言：得框架者，得天下。 多年以前，一面畫著大G的大旗在高處飄揚(yáng)，美國谷歌公司的深度學(xué)習(xí)框架占據(jù)大半江山。萬萬沒有想到，一場(chǎng)大風(fēng)暴來了。

2018 年，臉書公司“同款”對(duì)標(biāo)產(chǎn)品把一款前輩產(chǎn)品吸納進(jìn)來，聯(lián)劍并肩，威力大增。一年后，火力全開，專揀敵人的罅隙進(jìn)攻。連沖數(shù)劍，殺開一個(gè)缺口，有守有攻，看看就可闖出。放眼學(xué)術(shù)圈，更是獨(dú)領(lǐng)風(fēng)騷，頂級(jí)學(xué)術(shù)會(huì)議的勝利快報(bào)像雪片一樣飛來。

小心低頭，王冠易掉，谷歌框架的王者時(shí)代，結(jié)束了。 歷史總是吊詭，一些無名之處會(huì)發(fā)生極為有名的戰(zhàn)役。戰(zhàn)事殘酷而隱秘，高深晦澀的技術(shù)仿佛咒語，牢牢擋住人們的視線。 美國白宮《2019年國家人工智能研發(fā)戰(zhàn)略規(guī)劃》報(bào)告中，美國將中國視為人工智能主要對(duì)手，進(jìn)行了深刻觀察。 “中國人工智能發(fā)展勢(shì)頭很猛。” 這話猛一聽，真讓人高興。

后半句是個(gè)打擊：“中國人工智能缺點(diǎn)亦十分明顯，硬件、算法、人才……人工智能框架創(chuàng)新能力薄弱。” “硬件” “人才”……這題我會(huì)，這題我會(huì)，“框架”是個(gè)啥？ 假如人工智能深度學(xué)習(xí)是太平洋上的一個(gè)島嶼，算法是島上茂盛的植被，框架和芯片則是地質(zhì)結(jié)構(gòu)，算法建在框架和芯片之上。 深度學(xué)習(xí)框架，頭頂兩個(gè)光環(huán)亮閃閃，第一個(gè)，基礎(chǔ)軟件。 幾乎所有的深度學(xué)習(xí)開發(fā)者，都要用深度學(xué)習(xí)框架。幾乎所有的深度學(xué)習(xí)算法和應(yīng)用，都是用其實(shí)現(xiàn)的。 作為一種復(fù)雜基礎(chǔ)軟件，有這樣一條原則：極少數(shù)人“造”輪子，大部分人“用”輪子。

框架研發(fā)門檻高不可攀，本質(zhì)上，這類產(chǎn)品是大型科技企業(yè)才“配”擁有的基礎(chǔ)設(shè)施，小門小戶造不起。 多說一句，打敗圍棋大師李世石的人工智能阿法狗（AlphaGo）聽過吧，框架也是其背后的底層技術(shù)。 谷歌科學(xué)家的凡爾賽是：“我們讓阿法狗更順暢”。

（一）上半場(chǎng)：美國科技大廠的豪門恩怨 簡(jiǎn)單地說，深度學(xué)習(xí)框架=深度學(xué)習(xí)操作系統(tǒng)。 世間最流行的兩個(gè)深度學(xué)習(xí)框架，谷歌公司的TensorFlow和臉書公司的PyTorch。

開發(fā)者壓力山大，需要“精通”這兩個(gè)，或至少“熟練”其中一個(gè)，甚至，“輔修”第三個(gè)框架，“選修”第四個(gè)。 谷歌與臉書，作為美國科技企業(yè)，其框架產(chǎn)品的流行度，像極了可口可樂和百事可樂。 快樂肥宅水統(tǒng)治世界，兵家必爭(zhēng)之地必屬梟雄。大型科技企業(yè)想盡一切辦法取得技術(shù)上的領(lǐng)先優(yōu)勢(shì)，深度學(xué)習(xí)框架不會(huì)錯(cuò)過，也無法繞過。 算法突破、數(shù)據(jù)爆發(fā)、算力增長的“鐵人三項(xiàng)”支撐了AI的浪潮，唯一能將“鐵人”整合的系統(tǒng)軟件，是深度學(xué)習(xí)框架。

它好比底座，對(duì)下，完成對(duì)底層硬件的調(diào)度；對(duì)上，支持模型搭建。

人工智能的一堆新玩（算）意（法）：人臉識(shí)別、圖像分類、圖像檢測(cè)與分割、語音識(shí)別、廣告推薦、GAN、強(qiáng)化學(xué)習(xí)等等，被封裝在軟件框架里。 封裝，不是封印。 孫悟空沖著框架大喊：“人工智能，叫你一聲，敢答應(yīng)嗎？”Siri（用機(jī)械女聲回答）：穿豹紋超短裙的那位，你有事找我？ 一般來說，只有超大型科技企業(yè)才能支撐“操作系統(tǒng)”的開發(fā)。 深度學(xué)習(xí)的“操作系統(tǒng)”萌芽于高等學(xué)府，但早期工業(yè)雛形出現(xiàn)在美國科技豪門，是大公司競(jìng)爭(zhēng)的舞臺(tái)，也是全球計(jì)算機(jī)技術(shù)精英群體，最精銳部隊(duì)的角逐。

使用全國通用感嘆詞：“臥槽，深度學(xué)習(xí)框架是硬科技。” 把全球AI頂級(jí)精英俱樂部的會(huì)員分成兩類：一類是原創(chuàng)AI算法的發(fā)明者， 一類是AI框架的發(fā)明者。 前一類是加錢閱讀的部分，后一類是本文的重點(diǎn)。 請(qǐng)大家記住這些名字，因?yàn)檫@些“精神小伙”，對(duì)深度學(xué)習(xí)框架的發(fā)展至關(guān)重要。

現(xiàn)任阿里巴巴技術(shù)副總裁賈揚(yáng)清，浙江紹興人，從初中三年級(jí)開始接觸電腦，他一直覺得自己學(xué)編程挺晚的。 2002年是他高考那一年，浙江省是高考界的領(lǐng)跑者，清華大學(xué)計(jì)算機(jī)系的分?jǐn)?shù)線很高，他去了清華自動(dòng)化系。

在科學(xué)界，瑞士是物理和數(shù)學(xué)領(lǐng)域的領(lǐng)跑者。也在2002年，瑞士戴爾莫爾感知人工智能（Idiap）研究所誕生了第一個(gè)機(jī)器學(xué)習(xí)庫Torch。 歐洲最高山脈阿爾卑斯山的雪頂千年不化，山腳下的瑞士名城馬蒂尼（Martigny），既是登山愛好者的天堂，又是葡萄酒產(chǎn)區(qū)。 這是個(gè)做學(xué)術(shù)的好地方，自1991年以來，這里的研究所就是全球人工智能和認(rèn)知智能領(lǐng)域的領(lǐng)導(dǎo)者之一。 機(jī)器學(xué)習(xí)庫Torch，出自“葡萄酒產(chǎn)區(qū)”研究所的一份研究報(bào)告（三位作者分別是：Ronan Collobert、Samy Bengio、Johnny Mariéthoz）。

其中一位作者姓本吉奧（Bengio），沒錯(cuò)，這位眉毛粗粗的科學(xué)家，就是深度學(xué)習(xí)三巨頭之一，約舒亞·本吉奧（Yoshua Bengio）的兄弟。

2007年他跳槽去了谷歌。 Torch意為火把，成為框架曠野的第一顆火種。 “庫”（Library）是一系列事先編寫好的代碼集合，在編程中調(diào)用，可以減少重復(fù)工作。 加拿大蒙特利爾大學(xué)的深度學(xué)習(xí)框架的開發(fā)，始于2007年，Theano是行業(yè)祖師爺。

框架和圖靈獎(jiǎng)獲得者頗有淵源，約舒亞·本吉奧（Yoshua Bengio）和伊恩·古德費(fèi)洛（Ian Goodfellow）都有參與Theano。 庫和框架的不同之處，在于境界。

庫是兵器庫，框架則是一套武林絕學(xué)的世界觀，程序員在這個(gè)世界觀的約束下去練（編）拳（程）法（序），結(jié)果被框架所調(diào)用?？蚣芙庸芰顺绦虻闹骺刂屏鳌?反正，框架比庫厲害多了。 有了框架，才能做到只關(guān)注算法的原理和邏輯，不用去費(fèi)事搞定底層系統(tǒng)、工程的事。生命短暫，都想走捷徑。話不能這么說，都996了，生產(chǎn)隊(duì)里的驢也得歇歇。 轉(zhuǎn)眼間，賈揚(yáng)清已經(jīng)在美國加州大學(xué)伯克利分校攻讀博士學(xué)位。也是在此期間，他開啟了計(jì)算機(jī)視覺的相關(guān)研究。

那時(shí)候，他常被一個(gè)問題困擾：怎樣訓(xùn)練和設(shè)計(jì)深度學(xué)習(xí)的網(wǎng)絡(luò)？為此，賈揚(yáng)清想造一個(gè)通用工具。 著名的Caffe框架的發(fā)音和“咖啡”相似，是“快速特征提取的卷積框架”論文的英文簡(jiǎn)稱。巧合的是，這個(gè)框架像咖啡一樣流行。 這是賈揚(yáng)清第一個(gè)C++項(xiàng)目，多年以后，他在阿里巴巴回憶：“最開始的時(shí)候沒有測(cè)試，代碼糾錯(cuò)（Debug）成了最痛苦的事?！?2013年的Caffe框架是他的成名之作。在工業(yè)場(chǎng)景的計(jì)算機(jī)視覺系統(tǒng)上，Caffe 穩(wěn)健快速，是無可爭(zhēng)議的王者。

這一年，Parameter Server（參數(shù)服務(wù)器）的兩位著名教授走向臺(tái)前，邢波（Eric Xing）教授和Alex Smola教授，現(xiàn)在兩位均在美國卡內(nèi)基梅隆大學(xué)（CMU）任教。 參數(shù)服務(wù)器是個(gè)編程框架，也支持其他AI算法，對(duì)深度學(xué)習(xí)框架有重要影響。 高校實(shí)驗(yàn)室善于技術(shù)創(chuàng)新，深度學(xué)習(xí)框架的很多精髓創(chuàng)意源于此地。但是，深度學(xué)習(xí)框架復(fù)雜性高、工程量極大，長期負(fù)責(zé)復(fù)雜產(chǎn)品，高校并不擅長。 事實(shí)也證明，多年后，高校出生的深度學(xué)習(xí)框架，都以某種方式“進(jìn)入”企業(yè)，或者被企業(yè)趕超了。 嗅覺敏銳者，業(yè)已出發(fā)。 2015年11月，TensorFlow開源，由谷歌大腦團(tuán)隊(duì)開發(fā)。谷歌的搜索、油管、廣告、地圖、街景和翻譯的背后，都有其身影。

谷歌開源AI產(chǎn)品備受矚目。若論起名的原因，TensorFlow直譯，張量（tensor）在圖中流動(dòng)（flow）。由此也可獲知，數(shù)據(jù)流圖是框架的重要技術(shù)。 再往細(xì)說，數(shù)據(jù)流圖由算子組成，算子又分為大算子和小算子。Caffe是大算子抽象，TensorFlow是小算子抽象。小算子好處是靈活，壞處是性能優(yōu)化難。 TensorFlow原創(chuàng)者之一是谷歌天才科學(xué)家，杰夫·迪恩（Jeff Dean）。 為什么說他是天才？ 贊美之詞就免了。在2000年下半年的時(shí)候，Jeff Dean的代碼速度突然激增了40倍，原因是他把自己的鍵盤升級(jí)到了USB 2.0。編譯器從來不會(huì)給Jeff Dean警告，但Jeff Dean會(huì)警告編譯器。 筆者承認(rèn)，這確實(shí)是兩個(gè)段子，出處無考。 2015 年是一個(gè)重要的年份，何愷明等人的研究成果，突破了邊界，在準(zhǔn)確率上再創(chuàng)新高，風(fēng)頭一時(shí)無二。

谷歌AI研究員弗朗索瓦·喬萊特（Francois Chollet）幾乎是獨(dú)自完成了著名的Keras 框架的開發(fā)，為谷歌再添一條護(hù)城河，大有“千秋萬代，一統(tǒng)江湖”的勢(shì)頭。 這時(shí)候，喊一嗓子“深度學(xué)習(xí)是下一個(gè)重大技術(shù)趨勢(shì)”，已經(jīng)沒有壓倒性的反對(duì)意見了。 美國西雅圖素有“阿拉斯加門戶”之稱，微軟公司總部位于西雅圖衛(wèi)星城，從那里開車13個(gè)小時(shí)就能到達(dá)谷歌公司總部所在地山景城。在AI的跑道上，很多人在追趕谷歌，但是，微軟既沒有好車，也沒有彎道，壓力大了，方向盤也能捏碎。 按理說，背靠微軟的產(chǎn)品本應(yīng)有個(gè)好前途，框架卻都沒有流行起來。 英文單詞Minerva的意思是“智慧女神”，這是微軟亞研院一個(gè)孵化項(xiàng)目的名字，由當(dāng)時(shí)的副院長張崢發(fā)起，項(xiàng)目組成員有紐約大學(xué)王敏捷和北京大學(xué)肖天駿。

現(xiàn)在張崢在亞馬遜上海AI研究院做院長。兩名大將也隨之前往，現(xiàn)在均是張?jiān)洪L麾下主力。 后來，就沒有后來了。開源（Github）給女神畫上了句號(hào)。 2016年，從先后關(guān)系上講，CNTK（Cognitive Toolkit）伸手接過女神的接力棒，可惜魔障難消，用的人少，沒有推廣開，于2019年停止維護(hù)。 GitHub上的悼詞是：“在這個(gè)版本之后，沒有新功能開發(fā)的計(jì)劃?！?這意味著，微軟已經(jīng)放棄了CNTK。 兩次前車之鑒，微軟仍沒有認(rèn)輸?shù)拇蛩恪?/p>

因?yàn)樯钪蚣艿闹匾裕惨驗(yàn)槲④浀碾娔X里，絕不會(huì)長期使用貼著別人家logo的AI工具。 2016年，賈揚(yáng)清從谷歌TensorFlow團(tuán)隊(duì)離職，跳槽到了Facebook公司。與谷歌揮手道別，四載光陰（實(shí)習(xí)兩年，工作兩年），往事依稀，他的內(nèi)心充滿感懷。 西雅圖作為美國的超一線城市，華盛頓大學(xué)是城市招牌之一，華人武術(shù)宗師李小龍就畢業(yè)于此?！疤觳派倌辍标愄炱嬉苍谶@里取得了計(jì)算機(jī)博士學(xué)位。 陳天奇在AI圈的名氣，不比李小龍?jiān)谖湫g(shù)界低，且都是少年成名。 陳天奇讀博士的第二年，一個(gè)叫做MXNet的項(xiàng)目開始了，這是一個(gè)名牌大學(xué)聯(lián)合學(xué)術(shù)項(xiàng)目。

僅僅一年時(shí)間里，就做出了完整的架構(gòu)。團(tuán)隊(duì)中還有一位聞名遐邇的大神，李沐（現(xiàn)任亞馬遜公司資深主任科學(xué)家，principal scientist）。 2016年5月，MXNet開源，濃縮了當(dāng)時(shí)的精華，合并了幾個(gè)原來有的項(xiàng)目，陳天奇cxxnet、參數(shù)服務(wù)器、智慧女神、顏水成學(xué)生林敏的purine2。

所以，MXNet，讀作“mixnet”，mix是中文“混合”之意。 可巧了，從華盛頓大學(xué)到亞馬遜公司全球總部不到6公里，開車只消10分鐘。總部大樓抱著兩個(gè)“溫室大球”坐落于市中心?？赡苁墙畼桥_(tái)先得月，這次亞馬遜公司火眼金睛，行動(dòng)迅速。2017年9月，MXNe被亞馬遜選為官方開源平臺(tái)。 江山代有才人出，該退休時(shí)就退休。同一年，祖師爺Theano官宣退休。 這時(shí)候，賈揚(yáng)清借鑒谷歌TensorFlow框架里面的一些新思想，實(shí)現(xiàn)了一個(gè)全新的開源Caffe2。三十而立的他，成長為遍歷世界級(jí)產(chǎn)品的第一高手。 谷歌TensorFlow在人間瀟灑走一回。未曾想一場(chǎng)大風(fēng)暴正在醞釀。 2018 年，PyTorch接納Caffe2后，意外崛起，上演令谷歌框架王冠落地的戲劇性一幕。

易用性確實(shí)可以搶客戶，但谷歌沒有想到臉書搶了這么多。后來者確實(shí)可以居上，但谷歌沒有想到臉書僅用如此短的時(shí)間。 改旗易幟，有人嘩然，有人唏噓。 谷歌出發(fā)最早，為何沒有獨(dú)坐釣魚臺(tái)？為什么是臉書搶了市場(chǎng)？ 谷歌野心非常大，初期想做很大很全的工具。雖然完備性很強(qiáng)，但是，系統(tǒng)過度復(fù)雜。雖然以底層操作為主，有很多基礎(chǔ)的功能，但是這些功能沒能封裝得很好，需要開發(fā)者自己解決（定義），手動(dòng)工作過多。 三個(gè)AI開發(fā)者湊在一起，花生配酒，吐槽谷歌TensorFlow，十有八九。甲有點(diǎn)激動(dòng)，說：“實(shí)在太難用了，想罵臟話。”乙表示贊同，說：“簡(jiǎn)直就是一個(gè)縫合怪。”“一座屎山，還要往屎上堆屎?！北f完，深埋頭，嘆口氣。 雖然TensorFlow可直接使用天下排名第一又易上手的Python語言來編寫程序，算子庫豐富，TPU加速，但是，一些個(gè)性化規(guī)定瑣碎，新概念層出不窮，開發(fā)者要視其為一種新的編程語言來學(xué)習(xí)。 再者，系統(tǒng)非常復(fù)雜，代碼又長又臭，難以維護(hù)。

更糟的是，API很不穩(wěn)定，易變臉。API好比電腦鍵盤，鍵盤上的字母位置天天變，誰受得了？你想要一個(gè)活著的祖宗嗎？ 僅僅是丟市場(chǎng)還不夠慘，PyTorch框架帶火了背后的技術(shù)（動(dòng)態(tài)執(zhí)行等），臉書開始左右技術(shù)趨勢(shì)。 谷歌仰天長嘯，潸然淚下，口中默念：“萬萬沒有想到?！?命運(yùn)像水車的輪子一樣旋轉(zhuǎn)，有時(shí)高，有時(shí)低，而亞馬遜公司的MXNet從來沒高過。 知乎上有兩篇非?；鸬母哔澨梢桓Q其端倪。李沐：《為什么強(qiáng)大的MXNet一直火不起來？》。賈揚(yáng)清：《如何看待亞馬遜 AI 李沐團(tuán)隊(duì)大批人員離職？》。

談起亞馬遜和MXNet框架的緣分，就不得不提起一位美國卡內(nèi)基梅隆大學(xué)的高人，Alex Smola教授，他也是李沐在CMU的博士導(dǎo)師。 2016年7月，Alex Smola教授從CMU重返工業(yè)界，加入亞馬遜AWS擔(dān)任副總裁級(jí)別的科學(xué)家（職級(jí)為Distinguished Scientist）。大半年后，2017年3月，李沐加入AWS，直接向老師Alex Smola匯報(bào)。 師徒同框，雙手比V。 此時(shí)，巨頭已整裝列位，兵馬齊發(fā)。微軟豈能袖手旁觀，微軟在智慧女神和CNTK兩次滑鐵盧之后，依然斗志昂揚(yáng)準(zhǔn)備第三次入局。 這次，微軟思路清奇地設(shè)計(jì)了ONNX（全稱Open Neural Network Exchange），一種開放式深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的格式，用于統(tǒng)一模型格式標(biāo)準(zhǔn)。

ONNX是臉書和微軟合作力推的，賈揚(yáng)清也是發(fā)起者之一，目標(biāo)劍指“標(biāo)準(zhǔn)和生態(tài)”。 說白了，一個(gè)PyTorch模型可以被導(dǎo)出ONNX文件格式的模型。 不止于此，隨后，微軟基于ONNX這個(gè)橋梁研發(fā)了一個(gè)推理用的ONNX Runtime框架，低調(diào)地在2018年最后一個(gè)月開源。 想做“標(biāo)準(zhǔn)”，得大家伙都同意。

ONNX沒成為標(biāo)準(zhǔn)，若論原因，可能是ONNX還做得不夠好吧。 ONNX Runtime框架的“新功能”暴露了巨頭之間的動(dòng)態(tài)競(jìng)爭(zhēng)關(guān)系。

這一次，微軟站隊(duì)臉書，給Pytorch機(jī)器學(xué)習(xí)庫做了幾個(gè) “好用的部件”。

若論其中一個(gè)原因，可能是微軟和臉書沒有云上的競(jìng)爭(zhēng)關(guān)系，這幾年臉書公司的定位依然還是互聯(lián)網(wǎng)公司，沒有發(fā)展云計(jì)算。 亞馬遜云（AWS）、谷歌云、微軟云則斗紅了眼。 第三次進(jìn)軍框架，微軟的策略是，強(qiáng)攻不下，組隊(duì)打怪。若有一日，Onnx Runtime 框架有希望挑戰(zhàn)Pytorch框架，肯定調(diào)轉(zhuǎn)火力，支持自家。 真正的競(jìng)爭(zhēng)激烈，不是玩家多，而是高手多。短短幾年之內(nèi)，幾座技術(shù)巔峰，拔地而起，各有各的精絕。 其一，谷歌和亞馬遜是計(jì)算圖的擁躉。兩者都以更高的、令人贊嘆的工業(yè)級(jí)工程質(zhì)量把計(jì)算圖抽象推向新高度，把表達(dá)能力推向新的里程碑。 其二，臉書公司在計(jì)算過程中沒有計(jì)算圖的概念。但在解決易用性上，超常發(fā)揮。 谷歌皇冠跌落，給后來者“跌出”希望，留給中國隊(duì)的時(shí)間不多了。

（二）下半場(chǎng)：中國隊(duì)的出征 2014年的某一天，北京海淀區(qū)丹棱街5號(hào)接待了一位特殊的客人。 這位來自美國CMU的教授，名叫邢波，此時(shí)任微軟亞研院顧問一職，他擅長的領(lǐng)域包括大規(guī)模計(jì)算系統(tǒng)。他也是AI科學(xué)家俱樂部的白（ding）金（ji）會(huì)（da）員（lao）。

恰在此時(shí)，微軟亞研院副院長馬維英（現(xiàn)任清華大學(xué)智能產(chǎn)業(yè)研究院講席教授、首席科學(xué)家）找到一位研究員，名叫袁進(jìn)輝，他是清華大學(xué)計(jì)算機(jī)專業(yè)的博士，師從張鈸院士。 知識(shí)使人年輕，很多科學(xué)家，年逾不惑，雙肩包+步行，背影仍像學(xué)生。而袁進(jìn)輝卻頭發(fā)花白，笑容謙和，像是在校園里散步的退休教授，其實(shí)他是1981年的。 馬維英副院長和袁進(jìn)輝談起，谷歌較先起步，已將大規(guī)模主題模型的訓(xùn)練系統(tǒng)技術(shù)，應(yīng)用到谷歌廣告系統(tǒng)和推薦系統(tǒng)的關(guān)鍵組件中。邢波教授近期既然到訪北京，那不妨合作。 于是，邢波教授團(tuán)隊(duì)和袁進(jìn)輝團(tuán)隊(duì)雙劍合璧。這場(chǎng)合作的成果，被表揚(yáng)了。主管全球研究院的微軟副總裁周以真女士評(píng)之為該年度看到的最令人激動(dòng)的成果，不過這是后話。 那時(shí)候的動(dòng)力，一方面來源于超過谷歌，直道超，沒有彎道。另一方面，業(yè)界有多位知名科學(xué)家和資深工程師，已經(jīng)在同一問題上醞釀已久。

難度可想而知，條件卻捉襟見肘。沒有可供使用的集群，沒有工程師團(tuán)隊(duì)的支持。 按打游戲的說法，微軟想上分，那就要看一下配置。推算一下可知，即使是當(dāng)時(shí)最先進(jìn)的算法，在當(dāng)時(shí)的硬件環(huán)境中訓(xùn)練目標(biāo)規(guī)模的模型，至少要半年時(shí)間。 再看一下，雙方陣容。 提起邢波教授的團(tuán)隊(duì)，恐怕AI學(xué)術(shù)圈無人不知，其本人位列論文發(fā)表貢獻(xiàn)第一（2018），其學(xué)生很多已是名校教授，每年發(fā)表的論文數(shù)量，源源不斷地為CMU名列全球大學(xué)計(jì)算機(jī)科學(xué)與人工智能的排名第一“貢獻(xiàn)力量”。 “微軟代表隊(duì)”是袁進(jìn)輝研究員，還有一個(gè)實(shí)習(xí)生高飛。 這個(gè)條件，這個(gè)目標(biāo)，看了只想瞇眼說“呵呵”。 美國賓州匹茨堡和中國北京，時(shí)差十幾個(gè)小時(shí)。袁進(jìn)輝后來回憶：一年多的時(shí)間里，每天郵件不斷，每周好幾次電話會(huì)議，技術(shù)難題不討論透徹不罷休。只要足夠幸運(yùn)，就會(huì)在錯(cuò)誤的道路上迅速挨揍，只要高手夠多，不足之處就不會(huì)被放過……馬維英和劉鐵巖兩位大佬，羽扇綸巾，幕后帷幄。 項(xiàng)目結(jié)束的時(shí)候，2014年已近尾聲。

大家伙的心聲是：“缺少任何一個(gè)人，結(jié)果都不是大家看到的樣子。” 那一次，袁進(jìn)輝為破壞式創(chuàng)新的威力，窒息。 這次合作，成果是LightLDA。它的算法結(jié)果是一流的，系統(tǒng)實(shí)現(xiàn)是一流的，僅用數(shù)十臺(tái)服務(wù)器，完成之前成千上萬臺(tái)服務(wù)器才能做的事，所以得到周以真女士的高度評(píng)價(jià)。 民（zhi）間（hu）評(píng)價(jià)：“要我說，LightLDA那是真的正經(jīng)貢獻(xiàn)，又smart，又是解決關(guān)鍵問題，又真work，正經(jīng)把Topic Modeling（主題模型）在大數(shù)據(jù)時(shí)代的潛力大大地提高了?！?當(dāng)時(shí)，北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系網(wǎng)絡(luò)與信息系統(tǒng)研究所，研究分布式系統(tǒng)的肖臻教授也給與LightLDA相當(dāng)?shù)目隙ā?/p>

這事，被肖臻的學(xué)生以敬仰袁進(jìn)輝大神事跡的口吻在知乎講過。 而今復(fù)盤，大勢(shì)的端倪早已顯露，大數(shù)據(jù)、大模型、大型計(jì)算架構(gòu)設(shè)計(jì)呼之欲出。而這個(gè)領(lǐng)域的學(xué)者，普遍在2018年才意識(shí)到這個(gè)問題的重要性。 微軟亞研院不愧為AI黃埔軍校，技術(shù)前瞻性極強(qiáng)，但是，復(fù)雜基礎(chǔ)軟件的成功，不是僅靠“單刀赴會(huì)”。 大公司必勝，那是夸?？凇４蠊颈貭?zhēng)，才是真靈驗(yàn)。 坐標(biāo)北京西二旗，百度大廈和百度科技園。技術(shù)大牛背景的李彥宏，牽著搜索入口的現(xiàn)金牛，依著“牛脾氣”治理百度，他看不上云計(jì)算，這倒讓阿里巴巴笑了。 其實(shí)，看不上云計(jì)算的技術(shù)大佬不止一位，自由開源軟件GNU/Linux的鼻祖理查德·斯托曼（Richard Stallman）也多次在公開場(chǎng)合“懟”云計(jì)算。 巧合的是，他倆觀點(diǎn)出奇地一致：云計(jì)算不是技術(shù)創(chuàng)新，而是一種商業(yè)模式創(chuàng)新。 李彥宏睥睨云計(jì)算，卻對(duì)人工智能，滿眼小星星。 百度深度學(xué)習(xí)研究院（IDL）在人工智能的江湖里，是桃源仙境般的存在，處處大神，遍地高手。高水平科學(xué)家、研究人員、工程師密度之大，令人驚嘆，感覺連保安都要會(huì)編程才配在門口刷工作證。 昔日盛景，已成絕響。

時(shí)間拉回到2013年，百度第一位T11徐偉，同時(shí)也是百度深度學(xué)習(xí)框架PaddlePaddle的原創(chuàng)者和奠基人。 每一家科技巨頭的深度學(xué)習(xí)框架的首位指揮官，均非等閑之輩。徐偉也是Facebook早期研究員，F(xiàn)acebook產(chǎn)品矩陣豐富，他負(fù)責(zé)大規(guī)模推薦平臺(tái)，在多個(gè)產(chǎn)品背后顯神功。 可能是有法律文件約束，百度大神科學(xué)家的離職，大多不公開原因。徐偉離職加盟地平線，他將手中的接力棒交給了另一位神級(jí)技術(shù)大牛，擼碼一絕的王益。 見過王益的人會(huì)說一個(gè)詞，“聰明絕頂”，重音在后面兩個(gè)字上。 王益在知乎謙虛地自稱“四十歲老程序員”，言談之間一副老技術(shù)專家的低調(diào)本色。他在加入百度之前曾任谷歌研究員，是少見的“APAC創(chuàng)新獎(jiǎng)”獲得者（參與開發(fā)一個(gè)分布式機(jī)器學(xué)習(xí)的工具）。

王益是清華大學(xué)機(jī)器學(xué)習(xí)和人工智能博士，師從清華大學(xué)周立柱教授。 有一次在知乎分享程序員成長經(jīng)驗(yàn)，他輕描淡寫地說了一句：“我有一位恩師，徐偉?！?細(xì)節(jié)總是讓人容易忽略，早年，王益曾向徐偉抱怨：“某某團(tuán)隊(duì)好像就是想用他們自己研發(fā)的工具，不用PaddlePaddle？” 后來，王益在回復(fù)一位網(wǎng)友跟帖時(shí)解釋當(dāng)時(shí)這一問題存在的合理性：“設(shè)計(jì)PaddlePaddle是技術(shù)換代的時(shí)候，步子大，當(dāng)時(shí)來不及優(yōu)化用戶體驗(yàn)，不愿意用確實(shí)有道理。離開后，后來人持續(xù)優(yōu)化了體驗(yàn)。內(nèi)部組織結(jié)構(gòu)調(diào)整也促進(jìn)了新技術(shù)的接納。” 這也印證了一位百度匿名AIG離職科學(xué)家高管對(duì)筆者的獨(dú)家透露：“百度內(nèi)部曾經(jīng)有兩個(gè)類似的產(chǎn)品，最后敲定PaddlePaddle的人，是陸奇。” 了解此事的人不多，也正因此，采訪前夕，這位科學(xué)家高管仍在反復(fù)向筆者強(qiáng)調(diào)——“請(qǐng)務(wù)給我匿名”。 百度最早出發(fā)，生態(tài)建設(shè)也最早起步。

2017年年末，百度市場(chǎng)部的朋友找筆者交（chi）流（fan），給PaddlePaddle出謀劃策。那時(shí)候，開源框架的運(yùn)營和推廣已經(jīng)全面拉開：北航軟件學(xué)院的教材出版、頂級(jí)學(xué)術(shù)會(huì)議模型復(fù)現(xiàn)、高校宣講…… 據(jù)說，陸奇離職前，仍然緊盯PaddlePaddle的進(jìn)展。 一山行盡，一山青。框架的玩家，不止科技大廠。 人工智能獨(dú)角獸曠視科技是從2014年起內(nèi)部開始研發(fā)框架。在2021年的采訪中，曠視天元的負(fù)責(zé)人田忠博告訴筆者：“原因很簡(jiǎn)單，僅以當(dāng)時(shí)的開源框架，沒有辦法真正做好科研，才會(huì)有自己做深度學(xué)習(xí)框架的想法。” 舉一例，就能說明問題。 曠視科技有一篇ShuffleNet的學(xué)術(shù)論文，僅用Caffe提供的“工具”，永遠(yuǎn)也探索不到ShuffleNet這件事情的可能性。由此看來，曠視科技早已參悟，研究和工程的共振，離不開強(qiáng)大框架的支持。 百度PaddlePaddle開源時(shí)間點(diǎn)是在2016 年8月。

現(xiàn)在看來，這是歷史性的一刻，尤其在中美摩擦的歷史背景下回看，更不敢皺眉設(shè)想，一旦美國忌憚中國的人工智能發(fā)展勢(shì)頭，把深度學(xué)習(xí)框架徹底掐死。 百度的出征，代表著中國隊(duì)上場(chǎng)了，標(biāo)志著中國科技企業(yè)參與到人工智能最殘酷的戰(zhàn)役之中。2017年，AI盛極一時(shí)，獨(dú)角獸頻現(xiàn)，融資快訊爆炸。而PaddlePaddle作為國內(nèi)唯一的開源深度學(xué)習(xí)框架，此后兩年多，都是孤家寡人。 2018年7月，百度成立深度學(xué)習(xí)技術(shù)平臺(tái)部，由2011年就入職百度的馬艷軍總負(fù)責(zé)。 畢竟是國產(chǎn)框架，2019年，百度PaddlePaddle有了中文名，名叫“飛槳”。國外產(chǎn)品連個(gè)中文名都懶得起。 零的突破之后，新問題是，“用工業(yè)級(jí)的質(zhì)量，把創(chuàng)新在框架上實(shí)現(xiàn)出來”。 2019年2月，一流科技獲得千萬級(jí)Pre-A輪投資，袁進(jìn)輝是創(chuàng)始人兼CEO。此事之后，才有些小道消息傳出，早在2017年初，快手創(chuàng)始人宿華就投了一流科技，天使輪。

“小伙子睡涼炕，全憑火氣壯?！币患抑挥袔资藞F(tuán)隊(duì)的初創(chuàng)公司也來做復(fù)雜基礎(chǔ)軟件。投資人一臉懵逼地進(jìn)來，一臉懵逼地離開。 誰都會(huì)挑用起來順手的錘子。框架在一家公司內(nèi)部很難統(tǒng)一。

百度內(nèi)部“軍令如山”，必須統(tǒng)一使用飛槳。

曠視科技內(nèi)部可以用任何開源框架，員工中自發(fā)使用天元框架者居多。

微軟亞研院的情況是：很多工程實(shí)現(xiàn)是實(shí)習(xí)生完成，干活時(shí)會(huì)讓同學(xué)們繼續(xù)用熟悉的框架干活，很難強(qiáng)行統(tǒng)一用CNTK。 互聯(lián)網(wǎng)科技公司大多是軟件起家，華為則被戲稱為“泥腿子們”終于“洗干凈腳進(jìn)城”的硬件廠商。是啥不重要，能打就行。所以，華為要拿出來單聊。 華為在開源軟件世界里，風(fēng)評(píng)不高，前腳還有：“鴻蒙失火，殃及池魚” （禁止諧音梗，扣錢）。

華為MindSpore的行動(dòng)頗為迅速，可惜，在群眾情緒上，被鴻蒙拖了后腿。 2018年10月10日，上海。華為全聯(lián)接大會(huì)上，肯德基外賣全家桶套餐，不對(duì)，講錯(cuò)了，是AI戰(zhàn)略與全棧全場(chǎng)景AI解決方案。這是華為高層首次提起MindSpore這個(gè)事兒。 2019年，10月15日，14點(diǎn)02分，王益在網(wǎng)上突然發(fā)帖問了一句，這“開源框架”什么時(shí)候開源??？有匿名采訪者告訴筆者：“賈揚(yáng)清回了一句，‘Show me the code’?！惫P者沒有找到原文或者截圖。 按工作流程，華為MindSpore官方進(jìn)駐知乎，先發(fā)了一個(gè)“Read me文檔”（翻譯為“閱讀指南文件”）。結(jié)果，人在家中坐，禍從天上來，很多人誤以為“開源”只有“Read me”而已，熱度直接飛起。 最息事寧人的評(píng)論：“沸騰就完事了，想那么多干嘛?！弊罴旬嬅娓性u(píng)論：“站在馬里亞納海溝里揮舞道德的內(nèi)褲。”神評(píng)論：“按揭開源。” 網(wǎng)友的才華，從手機(jī)屏幕里噴出來。

哪怕華為員工看到這些評(píng)論，也笑出了豬叫，細(xì)一想，要克制，便在暗地里捂嘴笑。 一位老牌廠商高管在采訪時(shí)，告訴筆者：“華為不了解生態(tài)系統(tǒng)對(duì)軟件的影響。這就是為什么他們?cè)诎l(fā)布手機(jī)操作系統(tǒng)時(shí)，沒有考慮如何構(gòu)建生態(tài)系統(tǒng)。”受訪人要求筆者匿名。 這一評(píng)價(jià)，一針扎在要害上。 外國框架并不成熟，也不完美，這也是國產(chǎn)框架參戰(zhàn)的部分原因。 有人發(fā)問：“為什么要再做一個(gè)框架？”華為內(nèi)部也有人捫心自問：“MindSpore解決的特色問題到底是什么？” 可能是2020年正式開源前夕，可能是華為中央軟件院總架構(gòu)師金雪鋒博士、算法科學(xué)家于璠博士、開源社區(qū)運(yùn)營團(tuán)隊(duì)負(fù)責(zé)人黃之鵬等人第一次“齊聚”會(huì)議室，可能是一場(chǎng)“元老會(huì)”。 筆者了解到，在華為內(nèi)部組織結(jié)構(gòu)中，MindSpore屬于昇騰產(chǎn)品團(tuán)隊(duì)，也歸屬于計(jì)算產(chǎn)品線。這是一個(gè)和華為“小云”同級(jí)別的BU。

匿名采訪者透露，MindSpore在內(nèi)部也是要承接業(yè)務(wù)部門需求的。 MindSpore再早之前的研發(fā)時(shí)間線不得而知，因?yàn)椤笆玛P(guān)”華為最敏感的“部（xin）位（pian）”。 細(xì)細(xì)翻閱三位科學(xué)家的公開觀點(diǎn)，第一位，華為MindSpore首席架構(gòu)師金雪鋒博士。第二位，一流科技創(chuàng)始人袁進(jìn)輝博士。第三位，谷歌公司W(wǎng)aymo自動(dòng)駕駛汽車感知和規(guī)劃任務(wù)機(jī)器學(xué)習(xí)平臺(tái)資深研發(fā)工程師、阿帕奇基金會(huì)MXNet項(xiàng)目委員會(huì)委員、Horovod（是Uber開源的一個(gè)深度學(xué)習(xí)工具）技術(shù)委員會(huì)委員袁林博士。 他們共同認(rèn)為：“市場(chǎng)需求沒有很好地滿足，技術(shù)沒有收斂，創(chuàng)新還有空間?！?國外框架出發(fā)時(shí)，廣闊天地，大有可為，國產(chǎn)框架正好相反。好摘的果實(shí)都已被摘走，只剩高高樹頂上的，還有那零散摔落在地的。 國貨當(dāng)自強(qiáng)，同情分不要也罷。

國產(chǎn)深度學(xué)習(xí)框架的建設(shè)者，藏好后退的發(fā)際線，在時(shí)代的噪音里，縱身一躍。 2020年，國產(chǎn)深度學(xué)習(xí)框架井噴。 3月20日，清華大學(xué)計(jì)圖（Jittor）。3月25日，曠視科技天元（MegEngine） 。3月28日，華為MindSpore。7月31日，一流科技OneFlow。 四家國產(chǎn)，同期開源。五家國產(chǎn)，旌旗列陣。這一年最有可能被追認(rèn)為國產(chǎn)深度學(xué)習(xí)框架的“元年”。

守舊的經(jīng)驗(yàn)是，既然國外開源了，就抓緊學(xué)。既然人家成了事實(shí)工業(yè)標(biāo)準(zhǔn)，就盡力參與?？偸锹撕脦着?，Linux這輪就是這樣。 引用某游戲廠商的經(jīng)典臺(tái)詞是：“別催了，在抄了，在抄了?！?可惜競(jìng)爭(zhēng)從來不是游戲。 深度學(xué)習(xí)框架的臺(tái)詞是：“不能照抄，不能舔狗，舔到最后，一無所有?！?2020年，國產(chǎn)框架在技術(shù)上不是單純的跟隨者角色了，也有很多創(chuàng)新點(diǎn)可圈可點(diǎn)。 飛槳作為國內(nèi)最早的開源框架，模型庫是最豐富的。以模型庫的形式沉淀成深度學(xué)習(xí)框架生態(tài)的一部分，生態(tài)也起步早。 古人云：“不謀全局者，不足以謀一域” 。

有匿名采訪者認(rèn)為：“華為是國內(nèi)投入框架研發(fā)最堅(jiān)定的大公司?！?可以觀察到，華為劍指全棧AI戰(zhàn)略，投入非常大。硬件算子庫、基礎(chǔ)軟件、平臺(tái)、產(chǎn)業(yè)基金、聯(lián)合項(xiàng)目、標(biāo)準(zhǔn)、論文專利、人才，幾乎所有的地方都發(fā)狠力。 華為內(nèi)部技術(shù)高管（筆者被反復(fù)要求匿名）告訴筆者：“大廠發(fā)展深度學(xué)習(xí)框架一定不是為了賣錢，而為了發(fā)展生態(tài)。華為發(fā)展深度學(xué)習(xí)框架，一方面是自主可控，一方面是堅(jiān)定地發(fā)展AI全棧能力。Mindspore并沒有拘泥于自家的芯片，不能僅僅視為一款產(chǎn)品，而是戰(zhàn)略級(jí)的平臺(tái)，這是明確公開說的?！?翻看所有的宣傳稿件，不難總結(jié)出，華為有全場(chǎng)景，端邊云協(xié)同，比如，華為自己有手機(jī)業(yè)務(wù)，方便對(duì)硬件做指令級(jí)優(yōu)化。 但是，華為做的遠(yuǎn)不止這些。 第一，在拿MindSpore 為抓手，來解決深度學(xué)習(xí)之外的、以前在超算領(lǐng)域關(guān)注的一些計(jì)算任務(wù)（科學(xué)計(jì)算）。

其它框架雖然也有這個(gè)目標(biāo)，但華為想到了，也做到了。 第二，AI有個(gè)公開的槽點(diǎn)，即被黑盒問題所累。然而，牽扯到AI安全的問題，既基礎(chǔ)，又前沿，搞得人少，困難多。對(duì)于基礎(chǔ)軟件來說，又格外重要。 華為金雪鋒博士有一個(gè)表述：“按DARPA（美國國防部先進(jìn)研究項(xiàng)目局）的說法，可解釋AI的目的，就是要解決用戶面對(duì)模型黑盒遇到的問題，從而實(shí)現(xiàn)：用戶知道AI系統(tǒng)為什么這樣做，也知道AI系統(tǒng)為什么不這樣做，用戶知道AI系統(tǒng)為什么做錯(cuò)了。 這個(gè)問題被華為關(guān)注，無疑提高了國產(chǎn)框架段位。你在研究拳法，我在研究拳法背后的哲學(xué)根基。 華為MindSpore開源后，很多質(zhì)疑的聲音消失了，醞釀了半天的道德制高點(diǎn)沒有罵出來，憋得怪難受。

不過，有些批評(píng)，華為確實(shí)該虛心接受，不是外人，都能過去。 （三）如何競(jìng)爭(zhēng)？ 滔滔江水，浪奔浪涌，摩爾定律卻日漸消失于地表。 需要在硬件層面對(duì)AI進(jìn)行優(yōu)化浮出水面，因?yàn)樵谖⒂^層面的編譯器優(yōu)化，需要和硬件廠商合作。這是華為的獨(dú)家優(yōu)勢(shì)。在所有框架公司里，唯獨(dú)華為有芯片。

官宣用語：“用昇騰+MindSpore，構(gòu)建華為數(shù)字底座”。 華為被特朗普轟炸了幾輪，印象十分深刻。

在獨(dú)家硬件的加持下，MindSpore的名場(chǎng)面是，有開發(fā)者感受到“快到飛起”的興奮。 這也不是唯一的路，因?yàn)樯疃葘W(xué)習(xí)編譯器也登上了舞臺(tái)。巧不巧，這又是一個(gè)底層技術(shù)。

所以說，深度學(xué)習(xí)框架門檻高不可攀，算法、底層硬件、操作系統(tǒng)、分布式系統(tǒng)、編譯器，一個(gè)都不能少。 TVM編譯器在2017 年開源，能夠在任何硬件后端上有效優(yōu)化和運(yùn)行計(jì)算，可作為框架的后端。學(xué)術(shù)方面，進(jìn)展也迅速，比如“如何利用TVM直接參與硬件設(shè)計(jì)過程的迭代，使得加速器設(shè)計(jì)在一開始的時(shí)候就可以直接獲得軟件的支持和目標(biāo)的具體反饋”。 TVM的背后是陳天奇團(tuán)隊(duì)，與其競(jìng)爭(zhēng)的還是中國人民的老朋友，谷歌（MLIR）。 國產(chǎn)框架，萬箭齊發(fā)之勢(shì)。 創(chuàng)業(yè)公司代表隊(duì)唯一的隊(duì)員，一流科技袁進(jìn)輝博士則放出豪言：“要做出世界上速度最快的?！?/p>

AI科學(xué)家的豪言壯語，比起羅永浩的那句“收購不可避免走向衰落的蘋果公司，并復(fù)興它”，也沒克制。 天下武功唯快不破。 他認(rèn)為，第一，在分布式深度學(xué)習(xí)里，計(jì)算僅僅是一個(gè)方面，多個(gè)GPU上任務(wù)的協(xié)同需要頻繁地把數(shù)據(jù)在GPU之間傳來傳去。數(shù)據(jù)在數(shù)據(jù)流圖里行走（flow），想走得快，算得快，吞吐量得大，得將數(shù)據(jù)通信也設(shè)計(jì)成數(shù)據(jù)流圖的一部分，不能讓傳輸成了瓶頸。 第二，哪里需要數(shù)據(jù)通信，需要什么形式的數(shù)據(jù)來進(jìn)行通信，都要開發(fā)者去編程實(shí)現(xiàn)，這很麻煩，框架應(yīng)該自動(dòng)實(shí)現(xiàn)。

袁進(jìn)輝博士的總結(jié)是：“OneFlow有兩個(gè)創(chuàng)新點(diǎn)：一會(huì)自動(dòng)安排數(shù)據(jù)通信。二把數(shù)據(jù)通信和計(jì)算的關(guān)系協(xié)調(diào)好，讓整體效率更高。” 2020年，多節(jié)點(diǎn)和多設(shè)備的訓(xùn)練成為深度學(xué)習(xí)的主流，這一趨勢(shì)符合袁進(jìn)輝創(chuàng)業(yè)之初的判斷，而這一思路可追溯到2014年他在微軟亞研院的思考。 袁進(jìn)輝團(tuán)隊(duì)的短板明顯存在，AI研發(fā)投入“壕無人性”，直白一點(diǎn)：創(chuàng)業(yè)公司窮。不過，2021年春節(jié)前，高瓴創(chuàng)投獨(dú)家領(lǐng)投一流科技A輪融資，總額5000萬元人民幣。 框架，A面是各有特色，B面是什么呢？ 答案是，大規(guī)模。 這世界上唯一能夠碾壓國內(nèi)一線城市房?jī)r(jià)增速的，只有AI模型的規(guī)模。雖然硬件和軟件的進(jìn)步已經(jīng)將每年的訓(xùn)練成本降低了37%；但是，AI模型越來越大，以每年10倍的速度增長。 人工智能模型就像宇宙飛船飛向太空最遠(yuǎn)處，正在探索能力的邊界，拓展人類的想象力。

大模型，跑步前進(jìn)，工業(yè)級(jí)實(shí)現(xiàn)，拔腿直追。 邁入大型模型訓(xùn)練時(shí)代，要求深度學(xué)習(xí)框架能夠在面臨數(shù)百臺(tái)、數(shù)千臺(tái)計(jì)算機(jī)的龐大規(guī)模時(shí)，有效地進(jìn)行訓(xùn)練。 比如，對(duì)于單個(gè)設(shè)備或多個(gè)設(shè)備數(shù)據(jù)并行這種簡(jiǎn)單場(chǎng)景的支持已經(jīng)足夠優(yōu)秀，但在模型更大或者神經(jīng)網(wǎng)絡(luò)拓?fù)涓鼜?fù)雜時(shí)，通用框架的易用性和效率都大打折扣，有這種需求的工業(yè)級(jí)應(yīng)用只好下血本研發(fā)定制方案。 大規(guī)模訓(xùn)練是當(dāng)前各廠商競(jìng)爭(zhēng)的一個(gè)焦點(diǎn)，誰輸誰贏仍有變數(shù)。但可以肯定的是，只待“百團(tuán)大戰(zhàn)”的第一槍打響后，就是全方位的比拼（易用性，完備性，高效性）。 壞消息是，國產(chǎn)在市場(chǎng)和生態(tài)上與美國巨頭依然有很大的距離。

好消息是，這不是一個(gè)完全被動(dòng)的局面。 甚至，國產(chǎn)框架的競(jìng)爭(zhēng)也在細(xì)分，分化出局部戰(zhàn)役。 框架分為訓(xùn)練和推理兩部分，訓(xùn)練框架難度大，推理框架次之。

華為推理框架已經(jīng)做到了生產(chǎn)級(jí)別，交付到了華為手機(jī)上。在手機(jī)巨頭廠商中，框架的玩法，各不相同。

都知道，蘋果機(jī)器學(xué)習(xí)框架CoreML的代碼是高度商業(yè)秘密。 巨頭的動(dòng)作出其不意地整齊劃一，端側(cè)深度學(xué)習(xí)推理框架，BAT已經(jīng)全部出手。

百度Paddle Lite、阿里巴巴mnn、騰訊ncnn、華為移動(dòng)端推理框架Bolt（華為諾亞方舟實(shí)驗(yàn)室開源）、OPEN AI LAB的邊緣AI推理框架Tengine ，甚至連小米也有，MACE。 單論技術(shù)難度，這些同類產(chǎn)品比深度學(xué)習(xí)框架低很多，但也各懷絕技，各有千秋，只是誤放在一起比來比去，就不是內(nèi)味兒了。 深度學(xué)習(xí)框架的戰(zhàn)場(chǎng)上，全行業(yè)最拔尖的團(tuán)隊(duì)悉數(shù)上場(chǎng)。 （四）開源也競(jìng)爭(zhēng) 做基礎(chǔ)軟件，一要決心，二要耐心，三要開源，因?yàn)槭谴笸度?、長周期、搶生態(tài)。 關(guān)于開源與生態(tài)，筆者最想采訪的是美國硅谷創(chuàng)投圈資深人士，思科云計(jì)算事業(yè)部研發(fā)老大徐皞。

多次聯(lián)系，終于得到他的回復(fù)。 他告訴筆者：“生態(tài)系統(tǒng)對(duì)操作系統(tǒng)而言，比操作系統(tǒng)本身更重要更難發(fā)展。這個(gè)道理很簡(jiǎn)單：操作系統(tǒng)可以雇幾百個(gè)人寫出來，生態(tài)需要懇求幾萬、幾十萬、幾百萬的人去寫應(yīng)用才算數(shù)。對(duì)手機(jī)電腦而言，多數(shù)用戶是為應(yīng)用買單，而不是為操作系統(tǒng)買單；對(duì)框架而言，多數(shù)用戶是為能不能快速解決商業(yè)問題而買單?！?開源是一個(gè)隱秘的角落，“大教堂與集市”的比喻口口相告，代代相傳，是開發(fā)者眼中獨(dú)一無二的圣地，擠滿了來自全世界貢獻(xiàn)與分享的熱情，胸前佩戴“開源項(xiàng)目主要貢獻(xiàn)者”的獎(jiǎng)?wù)拢墙匚坏南笳鳌?曾幾何時(shí)，開源軟件是對(duì)抗大公司的俠者。

而如今，大公司卻對(duì)開源軟件越來越青睞。巨頭對(duì)開源的投入，其背后是生態(tài)，是為了占領(lǐng)市場(chǎng)。開源軟件的開發(fā)，不再是開發(fā)者之間松散的合作。

開源軟件公司有更多主導(dǎo)，開源軟件的開發(fā)效率和質(zhì)量都有所提升。 開源的“不競(jìng)爭(zhēng)”是另一種形式的競(jìng)爭(zhēng)。眼下這幾年，開源商業(yè)模式有變。徐皞認(rèn)為：“開源軟件真正興盛，真正有突破，也就是五到十年的事情，開源軟件商業(yè)模式依然在非常早期。” 開源軟件的背后是競(jìng)爭(zhēng)，是研發(fā)與工程的投入，不投入，怎么占領(lǐng)。

Linux是有很多家的貢獻(xiàn)，但是安卓代碼1200萬行，全部是谷歌工程師自己寫的。

看看美國公司對(duì)開源市場(chǎng)的投入力度，中國公司不能落后，更應(yīng)該主動(dòng)投入，占據(jù)，甚至主導(dǎo)。 開源和閉源，隔山兩相望，且看那密密麻麻的布防，哪個(gè)山頭都有重兵。 開源軟件世界里，框架雖為一隅，卻極盡奇觀。最好的思想，最好的代碼都悉數(shù)拿出來了。這是分享，也是一種較量。 前美國國防部咨詢顧問，史蒂夫·馬奎斯的說法是：“開源項(xiàng)目，來源于最純粹的競(jìng)爭(zhēng)。如果一個(gè)開源項(xiàng)目在商業(yè)世界獲得了成功，那決不會(huì)是出于僥幸，決不會(huì)是因?yàn)槠渌?jìng)爭(zhēng)者恰好被規(guī)章制度所累、被知識(shí)產(chǎn)權(quán)法約束、被人傻錢多的金主拖垮。一個(gè)開源項(xiàng)目勝出了，背后只會(huì)有一個(gè)原因——它真的比其他競(jìng)爭(zhēng)者都要好?！?有借有還，再借不難?！敖栌盟悸贰笔撬耍终T發(fā)更深層次的競(jìng)爭(zhēng)。

上帝說，要有光。特斯拉說，要有電。開源說，要有代碼。 若問深度學(xué)習(xí)框架將帶來什么，得想清楚深度學(xué)習(xí)的未來在哪。 聽說過深度學(xué)習(xí)又被稱為軟件2.0嗎？

作為數(shù)據(jù)驅(qū)動(dòng)范式的頂峰，從數(shù)據(jù)里自動(dòng)推導(dǎo)出程序，而不是必須靠程序員絞盡腦汁手動(dòng)書寫程序，這是一個(gè)劃時(shí)代的進(jìn)步。 深度學(xué)習(xí)可能從一個(gè)小小島嶼，演進(jìn)成一個(gè)大陸板塊。 在接下來的十年，深度學(xué)習(xí)軟件有機(jī)會(huì)變成每個(gè)軟件工程師醫(yī)藥箱里的必備“藥丸”（不要亂想，不是藍(lán)色的那種）。人類最重要的計(jì)算機(jī)軟件將由其創(chuàng)造，自動(dòng)駕駛，藥物發(fā)現(xiàn)…… 開源軟件的玩法自由奔放，但也有公地悲劇、PR銅臭。深度學(xué)習(xí)框架是一款理解成本很高的軟件，群眾基礎(chǔ)薄（mei）弱（you）。于是，有人用“AI平臺(tái)”一詞，胡亂指代，張冠李戴，故意混淆，真令人作嘔……大過節(jié)的，算了算了。 有決心，就有私心，有瘋子，就有騙子。時(shí)間總能給出答案。 結(jié)語： 古人云，按經(jīng)濟(jì)學(xué)的規(guī)律辦事。 大約兩百多年前，英國經(jīng)濟(jì)學(xué)家杰文斯指出，技術(shù)成本降低，將提升技術(shù)的普及度，從而擴(kuò)大市場(chǎng)規(guī)模。

起初，戴著大粗金鏈子，說錯(cuò)了，戴著領(lǐng)結(jié)的大英煤老板十分擔(dān)心，掐指一算：第一次工業(yè)革命讓蒸汽機(jī)效率提升，每臺(tái)用煤量減少，總的用煤量會(huì)下降，生意要下滑。 結(jié)果事實(shí)正相反，用煤量大幅增加，好開心呀，因?yàn)檎羝麢C(jī)使用成本降低了，使得蒸汽機(jī)用得更廣泛了。 框架的道理也一樣，降低了研發(fā)人力成本，降低了計(jì)算資源成本，帶動(dòng)市場(chǎng)規(guī)模擴(kuò)大。 兩百年后的今天，人工智能深度學(xué)習(xí)算法的大火，創(chuàng)造了算法軟件包史無前例的機(jī)會(huì)，軟件開發(fā)中的標(biāo)準(zhǔn)化就是把每個(gè)人都要干的活統(tǒng)一起來，成為工業(yè)化的環(huán)節(jié)。 深度學(xué)習(xí)框架牛就牛在把共性提煉抽象出來，用最簡(jiǎn)約的代碼實(shí)現(xiàn)，代碼越簡(jiǎn)單越牛。

軟件流水線提升整個(gè)行業(yè)的水平，徹底替代手工打造的落后局面。

搞深度學(xué)習(xí)框架的那群人， 他們，可能是同學(xué)同事同行，亦狂亦俠亦友。他們，必然是浩宇璀璨群星，風(fēng)雷意氣崢嶸。

賈揚(yáng)清，化身修羅，重回故里，現(xiàn)任阿里巴巴技術(shù)副總裁。

陳天奇，學(xué)府道場(chǎng)，CMU大學(xué)教書，投入深度學(xué)習(xí)編譯TVM。

李沐，蒲團(tuán)打坐，駐守美國亞馬遜，現(xiàn)任資深主任科學(xué)家。

徐偉，開山老祖，現(xiàn)任地平線AI首席科學(xué)家。

王益，絕頂神僧，谷歌、騰訊、螞蟻金服美研主任科學(xué)家，2021年初去臉書公司。

袁進(jìn)輝，苦煉金剛，網(wǎng)名老師木，清華博后，微軟科學(xué)家，窮酸創(chuàng)業(yè)。

林敏，羽化成仙，跳出三界，研究基礎(chǔ)理論去了。

無論是產(chǎn)品，還是生態(tài)，最終，市場(chǎng)會(huì)決定勝出者。

人工智能頭頂高科技花環(huán)，被高高捧起，又被左右開弓扇耳光，靈魂三逼問：到底行不行？啥時(shí)候突破？誰殺死那只獨(dú)角獸？ 突破難規(guī)劃，創(chuàng)新難計(jì)劃，獨(dú)角獸不拼命也不行……此后，深度學(xué)習(xí)框架，對(duì)于國外開發(fā)者同樣重要。

需要發(fā)問的是：如何才能做出全球大流行的開源深度學(xué)習(xí)框架？網(wǎng)友質(zhì)問的原話是：“你敢超過嗎？”

原文標(biāo)題：搞深度學(xué)習(xí)框架的那幫人，不是瘋子，就是騙子

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq