為了全面提升淘寶直播體驗(yàn)和互動能力，淘系技術(shù)團(tuán)隊(duì)聯(lián)合阿里云經(jīng)歷三年時(shí)間打造了首個(gè)全鏈路RTC實(shí)時(shí)傳輸網(wǎng)。在時(shí)延、成本、抗弱網(wǎng)等指標(biāo)均取得巨大提升。小編將介紹GRTN的技術(shù)演進(jìn)路線及未來規(guī)劃。

我從2016年開始做淘寶直播，在2017年也做了很多分享。從2016年啟動到現(xiàn)在這幾年內(nèi)淘寶直播還是有了很多技術(shù)沉淀，記得2017年當(dāng)時(shí)最早說的是在直播上行上通過RTC優(yōu)化直播鏈路，這個(gè)方案當(dāng)時(shí)在業(yè)界還比較少被談到，因?yàn)楫?dāng)時(shí)大部分方案都是傳統(tǒng)的上行走RTMP，下行走FLV，沒記錯(cuò)的話我們應(yīng)該是較早在直播上引入RTC的技術(shù)，當(dāng)時(shí)來看淘寶直播在技術(shù)上還是具備一定的前瞻性。技術(shù)一直在進(jìn)步，說明從2016年到現(xiàn)在RTC技術(shù)在直播的應(yīng)用越來越廣，研究也越來越深入。

從淘寶的經(jīng)驗(yàn)來看，引入RTC技術(shù)后對整個(gè)淘寶直播的體驗(yàn)、核心的業(yè)務(wù)指標(biāo)都帶來很大的幫助。GRTN是淘寶直播和阿里云團(tuán)隊(duì)共建的RTC網(wǎng)絡(luò)，我會分享GRTN在淘系內(nèi)容業(yè)務(wù)上的落地和規(guī)劃，也會介紹下GRTN的關(guān)鍵技術(shù)點(diǎn)。

1淘寶的業(yè)務(wù)數(shù)據(jù)

回顧淘寶直播以往的業(yè)務(wù)數(shù)據(jù)，2016年啟動淘寶直播，到2020年雙十一為止整個(gè)數(shù)據(jù)的增速非常驚人，這是一個(gè)從0到1的業(yè)務(wù)，剛啟動時(shí)既沒有業(yè)務(wù)基礎(chǔ)也缺少技術(shù)儲備，唯一有的是2016年淘寶直播在手淘首頁的“愛逛街”有一個(gè)很小的版塊，只有60萬DAU，但較好的點(diǎn)是在主播供給有一些沉淀。實(shí)際在逛逛的業(yè)務(wù)之前，淘系在一些小的內(nèi)容賽道上如有好貨、必買清單上還是做了不少嘗試。愛逛街也是其中一個(gè)典型例子，當(dāng)然后面遇到了很多困難，DAU跌得比較厲害，在首頁的位置也往下移。但在早期為淘系積累了一大批優(yōu)質(zhì)的內(nèi)容生產(chǎn)者，達(dá)人、寫手，這些積累為淘寶直播在最早啟動時(shí)帶來了幫助。

回到2016年的啟動淘寶直播的時(shí)間點(diǎn)，早期對整個(gè)直播的業(yè)務(wù)模式定義很清楚，2016年市場并沒有電商直播的概念，所謂的“百播大戰(zhàn)”，其實(shí)大家提到的都是秀場、游戲、或是傳統(tǒng)的YY直播廠商將直播平臺移動化的產(chǎn)物，基本沒有提到電商或“賣貨”在直播場景中的模式。這里可以重點(diǎn)提一下，確實(shí)是淘寶直播定義了整個(gè)電商直播的標(biāo)準(zhǔn)——邊看邊買：主播講、用戶問問題、主播回答問題形成的購買鏈路，這其實(shí)是2016年淘寶直播的第一個(gè)版本上線后，這個(gè)核心的商業(yè)模式已經(jīng)建立。后續(xù)我們做了很多工作，低時(shí)延、互動能力優(yōu)化、在多媒體互動上大量的玩法，都是在模式邊緣性的擴(kuò)充和升級，本質(zhì)并沒有變，過去4年內(nèi)的核心還是“邊看邊買”，并且非常好的將直播互動能力應(yīng)用起來。在很長一段時(shí)間，整個(gè)淘寶直播的轉(zhuǎn)換率僅次于“手猜”，對大部分人逛淘寶都是具備極強(qiáng)的目的性，很少逛“猜你喜歡”，大部分還是打開手淘搜索欄直接搜索。互動+電商直播對整個(gè)購買鏈路的轉(zhuǎn)換率提升影響很大，這就是創(chuàng)新的力量。

整體數(shù)據(jù)基本是連年翻倍的增速，無論是直播間DAU、還是整個(gè)直播開播場次、成交規(guī)模在去年全年已經(jīng)突破4000億。

覆蓋的內(nèi)容形態(tài)上也發(fā)生了很多變化，早期典型場景是女裝類和美妝類，但最近幾年如珠寶、美食，包括村播各種形態(tài)都涌現(xiàn)出來，數(shù)據(jù)表現(xiàn)還不錯(cuò)，除了內(nèi)容的多樣化之外，成交規(guī)模上也有33個(gè)過億的直播間（雙11期間），整體呈現(xiàn)出非常健康的狀態(tài)，這也是我們過去在生態(tài)多樣性努力的成果。

在供給側(cè)，開播鏈路也做了大量的簡化。原來電商平臺上較為復(fù)雜的開店、上新、認(rèn)證安全機(jī)制導(dǎo)致淘寶直播在很長一段時(shí)間在開播、入駐、發(fā)送商品的整個(gè)流程會相當(dāng)復(fù)雜，所以從業(yè)務(wù)方面去年在開播鏈路上做了極簡：一鍵開播、一鍵入駐、一鍵上架，整個(gè)商家開播的場次、頻次得到大幅提升。技術(shù)上，去年雙11單個(gè)直播間同時(shí)在線人數(shù)突破200萬，這是真實(shí)連接的同時(shí)在線（淘寶直播間的口徑是嚴(yán)格意義上的真實(shí)在線，一定是長連接能夠維持在播放態(tài)），在200萬的真實(shí)在線中，單個(gè)直播間的播放時(shí)延在1.2s以內(nèi)，更大的困難在于極低時(shí)延的同時(shí)要確保畫面和消息的同步，要保證畫面中上鏈接時(shí)，鏈接能夠同時(shí)彈出來，這是很關(guān)鍵的。而且因?yàn)椤皳尩骄褪琴嵉健保壳爸辈ラg內(nèi)的購買模式已經(jīng)變成了強(qiáng)實(shí)時(shí)的“秒殺模式”，意味著推送的寶貝鏈接一定要第一時(shí)間與畫面同步且最低時(shí)延推送給直播間的所有用戶，才能夠?qū)崿F(xiàn)“看到就搶到”。這其實(shí)是規(guī)模所帶來的最大技術(shù)挑戰(zhàn)。

另外規(guī)模的上升如果沒有編解碼、碼率層面的優(yōu)化，會帶來成本線性的增加。所以我們也做了基于H.265的全鏈路、包括H.266的預(yù)研。利用帶寬95峰值計(jì)費(fèi)的特性通過削峰填谷的手段做一些智能的調(diào)度，以達(dá)到兩個(gè)目的：第一個(gè)是使峰值降下來。第二個(gè)是在峰值不變（總成本不變）的條件下，把日常碼率提上去。

我的主題也會圍繞以上幾個(gè)方面展開。

2 玩法介紹

大家平常看直播間時(shí)，除了觀看之外，會給主播側(cè)提供一些營銷類能力包括抽獎(jiǎng)、打賞、倒計(jì)時(shí)紅包。我會從業(yè)務(wù)角度重點(diǎn)介紹“情景互動”。

其實(shí)在我們做整個(gè)直播間的實(shí)時(shí)內(nèi)容理解之前，直播間的內(nèi)容分發(fā)鏈路是很困難的，因?yàn)橹辈ラg具有強(qiáng)實(shí)時(shí)性，可能存在兩個(gè)小時(shí)就結(jié)束了，意味著內(nèi)容只有在兩個(gè)小時(shí)內(nèi)分發(fā)價(jià)值最大。比如在主播賣貨結(jié)束后再進(jìn)行分發(fā)，此時(shí)貨已經(jīng)沒有了，分發(fā)的價(jià)值不大，只剩下簡單的內(nèi)容介紹價(jià)值。

第二個(gè)點(diǎn)是在直播的過程中，如何最大鏈路將分發(fā)價(jià)值發(fā)揮出來。分發(fā)網(wǎng)絡(luò)的實(shí)時(shí)性是沒有問題的，這是阿里巴巴集團(tuán)最大的優(yōu)勢。困難是直播間內(nèi)發(fā)生的事情無法預(yù)測，不像視頻、圖文，有大量已知的前置內(nèi)容，在上線內(nèi)容分發(fā)之前就有許多預(yù)處理可以將它做到結(jié)構(gòu)化。但直播不一樣，也是剛才所說的結(jié)合圖像識別，語音信息甚至上下文信息將整個(gè)直播間內(nèi)容做到結(jié)構(gòu)化。最佳狀態(tài)是主播正在賣連衣裙，而我們希望用戶在主搜中搜索“連衣裙”時(shí)命中的就是主播此時(shí)介紹的連衣裙，現(xiàn)在也已經(jīng)很接近這個(gè)狀態(tài)了。

3技術(shù)架構(gòu)

介紹一下我們的技術(shù)架構(gòu)。

首先從層次上看，最底層的基礎(chǔ)設(shè)施主要基于阿里云的多媒體體系，包括邊緣推流、中心轉(zhuǎn)碼、時(shí)移、錄制能力。第二點(diǎn)包括播放側(cè)的分發(fā)機(jī)制，這是阿里云的技術(shù)應(yīng)用。直播的一個(gè)比較大的不同點(diǎn)在于，淘寶直播在阿里云的基礎(chǔ)之上建立自己的分法體系——RTC分發(fā)體系，這是有一個(gè)過程的，不是一步到位的，它們共同構(gòu)成了淘寶直播底層基座。

直播開放平臺層核心分成三方面，一方面分為兩頭。一頭是生產(chǎn)側(cè)，包括編解碼體系、主播APP、前處理（美顏處理）、場景識別、端側(cè)推流能力、上線的處理包括流控。另一頭是觀看側(cè)，整個(gè)淘寶直播的房間應(yīng)用了自研播放器，做了大量后置電路處理包括畫面增強(qiáng)、自研的H.265軟件解碼器，值得一提的是淘寶直播間大概率是唯一一家實(shí)現(xiàn)了全鏈路H.265覆蓋，意味著整個(gè)鏈路沒有轉(zhuǎn)碼（生產(chǎn)、推流、分發(fā)側(cè)、播放側(cè)）完全支持全鏈路H.265，而且覆蓋比例非常高。有同學(xué)疑惑軟解H.265在端側(cè)實(shí)現(xiàn)的難度，解決了這個(gè)問題也就解決了整個(gè)H.265在端側(cè)解碼的覆蓋，結(jié)合硬解鏈路做到極大的提升，也會節(jié)約很多轉(zhuǎn)碼成本。

在流媒體鏈路之上，分裝了整個(gè)直播間直播業(yè)務(wù)領(lǐng)域模型的概念，比如流狀態(tài)、互動能力、商品管理能力、彈幕、營銷型玩法。我們分裝了整體的一套API支撐核心業(yè)務(wù)。

直播底層最核心的兩個(gè)傳輸鏈路：一個(gè)是流媒體鏈路，另一個(gè)是消息點(diǎn)鏈路。消息點(diǎn)鏈路是整個(gè)評論消息和營銷型類玩法怎么和流媒體鏈路同時(shí)向下做分發(fā)、同步。這是我們核心的幾個(gè)技術(shù)點(diǎn)。

4 技術(shù)演進(jìn)

直播在過去幾年除了基礎(chǔ)性優(yōu)化，最大的底層改造是從傳統(tǒng)基于CDN的中心化分發(fā)機(jī)制轉(zhuǎn)化為去中心化網(wǎng)絡(luò)上。我們先介紹一下原始網(wǎng)絡(luò)特點(diǎn)及問題。

首先在第一個(gè)階段（上方左圖），是迄今為止大部分直播廠商所用的最典型方案。大家基于CDN最傳統(tǒng)的中心分發(fā)網(wǎng)絡(luò)，主要以FLV文件為主。這樣的好處是一方面對整個(gè)CDN改造低，其二是無論是RTMP還是FLV，在兩端業(yè)務(wù)方面支持是最完備的。而且底層協(xié)議流控方面，都走TCP，不需要做太多優(yōu)化改造，是最快從0到1直播業(yè)務(wù)構(gòu)建體系，但這個(gè)模式存在的問題是什么？雖然這個(gè)模式很快，包括淘寶直播第一期也是這樣做的，但是整個(gè)鏈路一定會從L1到L2到中心節(jié)點(diǎn)，存在回源機(jī)制，這是不可避免的。因?yàn)檫@是靜態(tài)的結(jié)構(gòu)，不存在任何動態(tài)感知能力，會帶來大量回源成本和時(shí)延問題。時(shí)延問題一方面與回源有關(guān)系，也與整個(gè)流控協(xié)議缺少更精細(xì)力度的控制有關(guān)系，RTMP和端側(cè)的FLV是典型的TCP底層協(xié)議，在業(yè)務(wù)上能優(yōu)化的點(diǎn)有限，調(diào)調(diào)本地的Cache，L1緩存的GOP大小，手段有限，會帶來很多額外的成本。

我們在淘寶直播發(fā)現(xiàn)了這種體系下更為嚴(yán)重的一個(gè)點(diǎn)，淘寶直播的主播相對秀場、游戲等比較分散。秀場上熱門主播是比較集中的狀態(tài)，可能占了頭部整個(gè)流量的60%甚至80%，這樣它的中心化分發(fā)可以將成本攤平，而淘寶大部分主播在線處于平均水位線以下，和頭部差別很大，但這一部分用戶占了絕大多數(shù)。剛剛中心化機(jī)制主要解決熱點(diǎn)集中的問題，但在淘寶直播中，100萬的在線人數(shù)可能分布在上萬個(gè)直播間中，所以這個(gè)機(jī)制會進(jìn)一步放大成本高的問題。

以上就是為什么會演化出淘寶會向GRTN去中心化方式走，這里有一個(gè)形成過程。

第一個(gè)階段起源于一個(gè)很簡單的問題，當(dāng)時(shí)通過線上數(shù)據(jù)分析，絕大多數(shù)在播放側(cè)引發(fā)的卡頓大多是因?yàn)樯闲芯W(wǎng)絡(luò)的抖動，基本上在第一跳（主播的RTMP到L1節(jié)點(diǎn)之間的波動引發(fā)了大多數(shù)卡頓），但在當(dāng)時(shí)情況下無法對鏈路重新做優(yōu)化，很典型的設(shè)計(jì)機(jī)制是我們在與L1同級的節(jié)點(diǎn)中部署了淘寶直播自己的上升節(jié)點(diǎn)，與主播走的是私有的RTC協(xié)議，從RTC協(xié)議節(jié)點(diǎn)上直推到L1，中間走的是同一個(gè)地方，走專線或者GRTN，也就是最前面的一公里用私有協(xié)議走掉，這是第一步的RTC。

第二步先走的下行，就是主播的下行和下行的L1節(jié)點(diǎn)之間，把它改造成了RTC。改造后的效果比較好，但這里的效果更多的是解決卡頓問題。基于WebRTC的上行，整個(gè)RTMP上行改造之后對卡頓的優(yōu)化非常明顯，卡頓降了接近1/3，尤其在弱網(wǎng)場景以及海外推流場景下表現(xiàn)非常突出。但是后面經(jīng)過時(shí)延統(tǒng)計(jì)，兩頭編解碼大概在60ms，整個(gè)發(fā)送在不到100ms，播放側(cè)也類似，核心在整個(gè)分發(fā)鏈路時(shí)延占的最多。所以說兩頭問題解決的話可以解決卡頓問題，但并不能解決時(shí)延的問題，這就回到了如何真正做到全鏈路RTC。

這不是業(yè)務(wù)型決策，中間的整個(gè)分發(fā)機(jī)制一定要跟整個(gè)CDN的原來的技術(shù)貼近。因?yàn)樵瓉淼腃DN分發(fā)機(jī)制并不是流媒體的分發(fā)網(wǎng)絡(luò)，它本質(zhì)是文件的分發(fā)網(wǎng)絡(luò)。那么如何改造它，我們聯(lián)合了多個(gè)團(tuán)隊(duì)，最終完成了GRTN全鏈路RTC的升級。這里帶來的優(yōu)勢幾乎基本可以解決前面的問題，一方面它是完全去中心化不存在任何回源的邏輯，對一些區(qū)域非常接近的房室的話，利用整個(gè)動態(tài)路由的策略，完全可以不經(jīng)過中心的浪費(fèi)。

全鏈路的RTC帶來的好處是節(jié)點(diǎn)和節(jié)點(diǎn)之間的感知以及傳輸做到更細(xì)密度的控制，甚至是一些針對流媒體傳輸?shù)奶厥庑浴Ａ髅襟w傳輸中有些包可以丟，策略上面可以做一些更細(xì)力度的控制，不一定是可靠到達(dá)；在提出多網(wǎng)融合之前，我們在整個(gè)直播、視頻會議、連麥場景等很多時(shí)候其實(shí)走的是獨(dú)立的通道，播放的時(shí)候可能走FLV，用戶之間連麥用RTC。

目前為止大部分在線教育廠商因?yàn)槌杀締栴}還是采用的這個(gè)策略，但是如果完成了整個(gè)RTC全鏈路網(wǎng)絡(luò)，任何一個(gè)節(jié)點(diǎn)都可以做上行或下行，同時(shí)下行直播鏈路和它成為雙向的通話場景本質(zhì)上沒有任何區(qū)別，這意味著我們可以在同一個(gè)通道完成連麥和直播播放場景。當(dāng)然視頻會議在整個(gè)外圍系統(tǒng)增加了MCU或SIP網(wǎng)關(guān)中其實(shí)也是類似，也就是說在直播、連麥、視頻會議和點(diǎn)對點(diǎn)通話做到了四網(wǎng)合一。今天來說這個(gè)方向得到了普遍意義的認(rèn)可。

成本上面包括回源成本、鏈路過長的成本都會得到解決，全雙工和多網(wǎng)融合是一個(gè)概念，同時(shí)具備上行和下行的邏輯。

以上基本是網(wǎng)絡(luò)演進(jìn)的一個(gè)過程。

5 低延時(shí)直播

回到剛剛提到的直播間里主播上鏈接的機(jī)制，本質(zhì)上包括幾個(gè)問題：

消息到達(dá)率：消息超過百萬級在線的話其實(shí)跟原來幾千幾萬在線分發(fā)所面對的困難完全不是一個(gè)技術(shù)體系。做法上除了對原來的Push模式大量的改造，包括分統(tǒng)機(jī)制、飽和機(jī)制，這里最大的技術(shù)改造是把消息做到分層，包括主播推送給用戶的消息，這個(gè)到達(dá)率及對業(yè)務(wù)的價(jià)值我們認(rèn)為是最大的。這類采用Push消息，把原來的進(jìn)出直播間、評論、擴(kuò)散的消息更多在CDN靜態(tài)化。最終其實(shí)是把整個(gè)消息機(jī)制做成了推拉結(jié)合機(jī)制，把整個(gè)5s消息到達(dá)率做到高于三個(gè)9，大概是3s的三個(gè)9。

單純的消息穩(wěn)定到達(dá)率及時(shí)效性，它如果不能和畫面的到達(dá)率結(jié)合起來，效果是不能發(fā)揮出來的（上鏈接之后，畫面要更短時(shí)間看到，同時(shí)搶寶貝的鏈接在主播側(cè)盡可能短的看到并且時(shí)延要縮短，這里一方面依賴消息鏈路的改造，一方面依賴整個(gè)GRTN低時(shí)延傳輸之外，兩者的同步方面主要是基于幀的染色，目前走的SEI，或者是特殊幀的附加信息保證兩者同步，關(guān)鍵在于同步的時(shí)間窗要盡可能小；上鏈接過大的話，極有可能是畫面到了，用戶通過提前畫面的截選把鏈接解出來），這也是需要關(guān)注的點(diǎn)。2018年，有一個(gè)場景是“點(diǎn)題成金”-沖關(guān)答題分獎(jiǎng)金，即使這種技術(shù)在“點(diǎn)題成金”模式下會更為迫切，但畫面和題目一定要高度一致，這就是直播和消息的強(qiáng)同步。

依賴于整個(gè)RTC的全鏈路，時(shí)延基本可以做到小于1s，這是一個(gè)均值，在一些更為非盲情況下，時(shí)延可以做到更低。

6淘寶直播連麥

雙通道帶來的優(yōu)勢是RTC通道可以同時(shí)承接直播推流與連麥，再借助于外圍系統(tǒng)的配套，視頻會議也可以承接（MCU），這也是我們正在做的方向，希望四個(gè)場景（直播、通話、視頻會議、連麥）各有一個(gè)真實(shí)的業(yè)務(wù)能夠承接起來，并具有一定的規(guī)模。

淘寶目前的端合流與云合流分別有一個(gè)演進(jìn)階段，但最終走向了融和型。因?yàn)槎撕狭鲿沓杀旧系膬?yōu)勢，但云合流在調(diào)度和擴(kuò)展性更有優(yōu)勢，所以兩種方向我們都做了支持。演進(jìn)的路徑上基本也是從早期的RTMP支持連麥的時(shí)候，后面因?yàn)樯闲泻拖滦蠷TMP的階段化，已經(jīng)有了融和態(tài)，最后走了全鏈路RTC徹底解決了直播連麥通道上不統(tǒng)一的問題。

7GRTN動態(tài)路徑規(guī)劃

GRTN的動態(tài)路徑規(guī)劃中有幾個(gè)重點(diǎn)。

一個(gè)是動態(tài)路由規(guī)劃，這里核心是每一個(gè)節(jié)點(diǎn)對任一個(gè)節(jié)點(diǎn)的到達(dá)路徑都是可感知的，有很多衡量的指標(biāo)，比如任何兩個(gè)節(jié)點(diǎn)之間的丟包率、時(shí)延、抖動、容量、成本都有動態(tài)預(yù)估。因?yàn)橹虚g整個(gè)網(wǎng)絡(luò)會持續(xù)發(fā)送探測包把信息記錄下來，所以節(jié)點(diǎn)1方面它對自己可連接的節(jié)點(diǎn)到任意一個(gè)節(jié)點(diǎn)的路由都是有動態(tài)的策略表并記錄的。根據(jù)策略方式，有些質(zhì)量最優(yōu)，那在丟包、時(shí)延、抖動方面有權(quán)重的設(shè)計(jì)，保證它一定處于最低時(shí)延及最小卡頓率下傳輸；另一種成本最優(yōu)，可能中間的鏈路比較長，走的節(jié)點(diǎn)成本消耗不同，有些走專線，有些走LTN，會產(chǎn)生成本的不同，這塊也會計(jì)算成本還是質(zhì)量最優(yōu)。

目前GRTN真正在線上跑的版本還是融合了各種策略，典型的一個(gè)例子如果是RTC通話連麥場景，它對時(shí)延也就是質(zhì)量要求最高，卡頓要求最低，這就會選擇質(zhì)量最優(yōu)的策略。所以這塊也會根據(jù)不同場景做一些設(shè)計(jì)。

8參數(shù)自學(xué)習(xí)

在整個(gè)網(wǎng)絡(luò)上面，很多參數(shù)是此消彼長的（卡頓和時(shí)延），但這只是最終的表現(xiàn)。如果在細(xì)粒度，如編碼側(cè)、解碼側(cè)、端側(cè)的緩存設(shè)置上面，整個(gè)系統(tǒng)目前有超過400個(gè)參數(shù)，這些參數(shù)的最優(yōu)解是什么，在收斂過程中很難確定也很難證實(shí)。

所以我們做了參數(shù)自學(xué)習(xí)的方式，前期有人工剪枝，之后利用線上大量的AP系統(tǒng)對400個(gè)參數(shù)的收斂做了非常快的設(shè)計(jì)。純粹通過參數(shù)優(yōu)化方式帶來收益，在底層機(jī)制不變的條件下純粹的參數(shù)優(yōu)化已經(jīng)對卡頓和時(shí)延帶來明顯的優(yōu)勢。

9 游戲玩法

去年我們做了大量了基于玩法型的優(yōu)化，包括營銷類優(yōu)化（抽獎(jiǎng)、發(fā)紅包）和社區(qū)互動型玩法或游戲類玩法，可以拉近主播和用戶之間的連接（如：抖音前段時(shí)間的潛水艇），既有樂趣也有內(nèi)容的產(chǎn)出。但這個(gè)模式在之前沒有很好的應(yīng)用在直播中，會遇到幾個(gè)問題：

首先，用到大量端側(cè)推理模型，在手淘無論是MN還是端側(cè)的網(wǎng)絡(luò)小樣本訓(xùn)練都沒有完全跟上。今年基本可以做到和業(yè)界對齊。

其次，有很多探索靠單純端側(cè)的算力無法滿足。比如3D直播間、虛擬主播技術(shù)，對一些算力的訴求是綜合的單純放在端上是不現(xiàn)實(shí)的，如何用更好的方案一方面把端側(cè)和云端的算力一致化運(yùn)用起來，去除差異。本質(zhì)上來說，前處理的模式就識別或是畫面特效配合，在端側(cè)或云側(cè)處理對于用戶側(cè)和主播側(cè)是無感知的。舉個(gè)例子，比如人臉識別或是特效識別，我們既可以把這個(gè)模型放在主播側(cè)推優(yōu)之前，完全用主播側(cè)APP或PC處理，也可以完全放在GRTN的某個(gè)節(jié)點(diǎn)處理完成后通過實(shí)時(shí)回顯鏈路放到主播側(cè)APP上。所以對主播來說，如果可以解決時(shí)延的問題，回顯來自本地還是云端是沒有任何區(qū)別的。解決如何充分靈活地調(diào)動云端算力，并結(jié)合GRTN實(shí)時(shí)回顯鏈路解決直播的流內(nèi)互動玩法問題是我們的根本目的。

簡單介紹一下，上圖中的幾個(gè)玩法。第二個(gè)“打年獸”，主播通過人臉控制屏幕下方炮臺的左右移動，打上方小蜜蜂，通過人臉輸入控制道具。游戲基于兩種機(jī)制，人臉的識別、流的處理、渲染和最終合成完全是一個(gè)端上的版本，同時(shí)我們也做了云端的版本。

3D直播間，人員站在綠幕前，后面的場景是3D數(shù)字直播間，通過摳圖、合成方式做成。在3D場景下，完全放在端側(cè)不現(xiàn)實(shí)，沒有很好的算力，它和后面的3D場景完全不交互，但做到完全的3D化后，可以和場景中的元素交互，解決直播間里的遠(yuǎn)程機(jī)樣的問題。

10多媒體處理中心

整個(gè)的設(shè)計(jì)模式上述介紹的差不多，最重要的的幾點(diǎn)是把前置的能力作為GRTN的算子掛接上去，還可以掛在端上調(diào)度的系統(tǒng)上。另外GRTN整個(gè)實(shí)時(shí)回顯模式也做到了云端一體化設(shè)計(jì)。

11智能控制

最后一部分的核心是針對目前帶寬的水位或是業(yè)務(wù)數(shù)據(jù)上的策略，對于整個(gè)線上碼率、根據(jù)更細(xì)粒度人群的投放，我們做整個(gè)成本和畫質(zhì)的平衡，在雙11期間發(fā)揮了很好的作用，晚上可以做到分裝級降碼率，還會自動根據(jù)線上的變化提升整個(gè)畫質(zhì)。

以上是分享的內(nèi)容，謝謝！

責(zé)任編輯：lq6