操作系統是計算機系統中的核心組成部分,也是架設在計算機硬件和軟件之間的橋梁,它對計算機系統的性能和穩定性產生直接影響,是開發者和企業關注的關鍵根技術之一。在ChatGPT浪潮下,促進了各項技術創新發展,操作系統也不例外,那么在智能化時代,操作系統將迎來哪些挑戰和機遇?
openEuler社區TC委員熊偉在“長沙·中國 1024 程序員節的“2023 技術英雄會”上帶來《智能化操作系統的機遇和挑戰》的主題演講,帶來了他對智能化操作系統的前沿思考與探索實踐。
1024大模型與OS協同優化已成趨勢
操作系統將現大變局
據埃森哲在《技術展望2023》中顯示,技術正朝著通用智能、數字身份、數據透明和前沿探索方向演進。其中特別指出:基礎模型的問世,堪稱人工智能歷史上的最大變革之一。熊偉表示,大模型擴展了智能邊界,而且智能邊界將持續拓展,因此數據共享和數據安全將越來越重要。
面向大規模復雜系統的調優和運維等,傳統的人工手段已難以為繼,大模型與操作系統協同優化已成必然趨勢。熊偉具體從以下兩方面闡述,一是在運維上,由于數據中心和云的復雜性,造成定位效率低,修復時間長。例如大規模集群系統涉及器件的數量達百萬甚至千萬級,而平均穩定運行時間僅為天級。而且跨越故障的流程長,單器件故障,業界的處理時間為1-30天,這將嚴重影響系統的效率。針對此問題,微軟嘗試用大模型對40000個生產事故做微調,據數據顯示,處理故障大約得到了70%的改善。此外,在社區和開源領域,K8sGPT通過將SRE經驗編入大模型來診斷和分類集群問題。
其次是在調優上,由于應用負載膨脹,軟件棧厚重,參數眾多且關聯,人工調優已很難獲得最佳性能。另外在硬件上,芯片工藝持續落后,負載協同復雜,硬芯微架構優化難,也造成硬件系統性能無法得到最佳釋放。針對這個問題,在業界,Granulate通過AI對負載或者0代碼修改獲得5倍性能提升,降低了45%的成本;在學術界,紐約州立大學使用大模型應用參數自動調優,Google使用可學習AI數據結構代替hash算法。
因此熊偉表示,大模型在運維等領域的加速應用,AI協同復雜、多場景的覆蓋,打造操作系統智能化平臺,實現大模型與操作系統的協同優化已成為必然趨勢。
譬如前不久,微軟宣布將GPT-4大模型嵌入到操作系統里,利用GPT知識構建自主AI能力,改變了傳統三十年的交互方式,實現了機器人流程自動化。
1024算力效率與泛在智能應用
OS走向異構融合
在人工智能迅速發展下,未來人類向智能社會過渡。在這種大趨勢下,人工智能的變化對操作系統造成的影響將主要體現在兩個方面。一個是日愈復雜的算力系統,一個是泛在智能應用。
智能應用對操作系統的訴求是人機實時智能交互,性能和資源利用與服務質量同等重要,也就是“魚和熊掌兼得”。熊偉表示,
AI應用服務對系統低時延、高性能、高可用的綜合訴求高,因此需構建低熵高效的操作系統。
因為在傳統的計算機體系中,如果吞吐量上升,其可靠性就會稍微下降一些,時延也會增加。但是AI時代以來,既要吞吐量更高,同時要求時延小,可靠性要求也高。所以可想而知,其難度有多大。
此外,數據模型集增長迅速,但是開發效率低下。HuggingFace每天新增1000多個模型、300多個數據集,且仍在加速增長。但是在真正訓練過程中,超80%的開發周期都在8天以上,模型開發的等待時間超60%,無效算力非常多。因此,AI工程化訴求強烈。AI技術發展牽引軟件工程由傳統敏捷開發工具鏈DevOps,向人工智能開發工具鏈DataOps、AIOps、DevOps演進。
對于硬件來講,傳統處理器越來越多,如何調度?多樣性計算時代,軟硬件的發展給了操作系統調度重新設計的空間。但隨著高速緩存造成的影響更適合硬件任務切換,任務的切換隨著SMT/warp的增加會日漸復雜,硬件的調度和OS會形成互補。計算理論表明,計算模式最終趨向收斂,多種計算模式融合是應用發展的必然結果,系統層異構融合是趨勢。
異構融合的趨勢下,多樣性算力產品與生態不再孤立,正如NVIDIA DGX往全棧協同與融合方向發展,芯片硬件也會發生非常劇烈的變革,從單芯片發展為超級芯片,軟件棧也會從傳統的CUDA生態演進到集群融合完整棧。
1024openEuler的未來:
打造AI原生的異構融合OS
面向未來多樣性計算的智能時代,openEuler秉持“以AI賦能openEuler更智能,以openEuler使能AI更高效”的理念,嘗試通過自然語言和操作系統進行交互溝通,打通領域知識,不僅支持GLM、LlaMA、Baichuan等大模型,還支持輔助運維、輔助編程等,通過AI賦能開發者,即“AI for openEuler”。下一步openEuler的設想是實現“openEuler for AI”,即通過異構算力協同,實現超大容量和高效算力。通過PB級異構內存管理,使訓練效率提升20%以上,通過異構算力多維調度,使推理并發提升50%以上。
展望openEuler的未來,其定位為 “面向未來多樣性計算的智能時代,打造AI原生的異構融合OS”。熊偉表示,大模型和AI時代來臨后,基礎設施還將產生哪些變化,華為與各界仍在不斷探索中,而華為將持續提供優質服務,為開發者和企業提供堅實 “裝備”。
編輯:黃飛
-
計算機
+關注
關注
19文章
7651瀏覽量
90598 -
操作系統
+關注
關注
37文章
7133瀏覽量
125406 -
AI
+關注
關注
88文章
34917瀏覽量
278085 -
GPT
+關注
關注
0文章
368瀏覽量
16040 -
ChatGPT
+關注
關注
29文章
1589瀏覽量
9015
原文標題:大模型時代,智能化操作系統面臨的機遇與挑戰
文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
鴻道Intewell操作系統:人形機器人底層操作系統
理想汽車智駕操作系統解讀

鴻道Intewell工業操作系統核心技術全景透視
【「鴻蒙操作系統設計原理與架構」閱讀體驗】01-初始華為鴻蒙
國產銀河麒麟操作系統V10和星光麒麟V1.0操作系統如何選擇?

deepin操作系統介紹

如何在windows上emulate不同操作系統
什么是嵌入式操作系統?

新手學操作系統(第一周)

工控機支持什么操作系統
開啟全新AI時代 智能嵌入式系統快速發展——“第六屆國產嵌入式操作系統技術與產業發展論壇”圓滿結束
簡單認識RTOS實時操作系統
iOS 18公共測試版震撼發布:重塑移動操作系統新紀元
嵌入式實時操作系統:Intewell操作系統與VxWorks操作系統有啥區別

評論