當(dāng)以太網(wǎng)接口的速率提升到100G以上后，用傳統(tǒng)FPGA來實現(xiàn)對應(yīng)的數(shù)據(jù)處理時，一定會遇到總線效率的問題。本文就分享團隊對大位寬高速數(shù)據(jù)處理時采用的分段總線方法的一些心得，希望大家可以批評指正。

01分段總線及格式

1.1 分段總線的格式

隨著不斷提升的以太網(wǎng)帶寬對總線吞吐率要求的提升，需要在芯片內(nèi)部采用更高的主頻、更大的總線位寬，但受制程及功耗影響，總線頻率不能持續(xù)提升，這就需要在總線數(shù)據(jù)位寬方面加大提升力度。下圖為Achronix公司在介紹400G以太網(wǎng)FPGA實現(xiàn)時給出的結(jié)論，對于400G以太網(wǎng)的數(shù)據(jù)處理，意味著數(shù)據(jù)總線位寬超過1024bit，時鐘頻率超過724MHz，傳統(tǒng)的FPGA在實現(xiàn)時很難做到時序收斂。

主要原因在于更寬的數(shù)據(jù)總線帶來了總線效率的問題，針對變長數(shù)據(jù)輸入的情景，當(dāng)芯片內(nèi)部總線位寬變大時，若每個總線字在數(shù)據(jù)傳輸過程中不能被有效利用，則可能導(dǎo)致總線效率降低。

例如，在位寬為64bit的總線上傳輸65字節(jié)的數(shù)據(jù)幀，其在總線上的傳輸格式如下圖所示，第9個總線字僅用來傳輸1字節(jié)，導(dǎo)致總線效率降低，約為90.3%。

若總線位寬再進一步提升至512bit后，如下圖所示，總線效率只有50.8%。

可見，在傳統(tǒng)總線中，當(dāng)傳輸數(shù)據(jù)量未對齊邊界到總線位寬時，總線效率隨位寬的拓寬而降低。

【以下內(nèi)容來源于劉歡博士的論文】

為解決上述總線效率問題，需要引入分段總線格式。非分段總線每個 總線字內(nèi)僅可以容納一個數(shù)據(jù)幀的內(nèi)容，當(dāng)總線字不能被充分利用時（如長度為 64 字節(jié)的數(shù)據(jù)總線承載 65 字節(jié)的幀），未利用部分使用特定值（如全 0）做填充處理， 在某些幀長下，填充字段所占比例過高，導(dǎo)致總線效率低下。分段總線將數(shù)據(jù)總線字分為多個總線段，每個總線段可以容納一個數(shù)據(jù)幀的內(nèi)容，換言之，一個總線字由多個總線段組成，此時一個總線字可以承載多個數(shù)據(jù)幀的內(nèi)容，從而降低了填充字段的影響。

分段總線在工業(yè)界與學(xué)術(shù)界均獲得了關(guān)注與研究，在工業(yè)界，Xilinx 與 Intel 的 400G 和600G以太網(wǎng) IP 核、PCIe IP核等的片內(nèi)總線均采用了簡單分段總線格式，以實現(xiàn)更高的總線效率；在學(xué)術(shù)界，涌現(xiàn)了一種新的分段總線架構(gòu)：Multi Buses[1]，下文分別對兩種分段總 線格式進行介紹，并分析其總線效率與實現(xiàn)開銷。

（1）Xilinx/Intel 分段總線格式

Xilinx 在其最新一代 Versal ACAP 中采用了 600G 以太網(wǎng) IP 硬核[316]，該 IP 核可以支持一個 400G 以太網(wǎng)端口+2個100G 以太網(wǎng)端口，對于 400G 以太網(wǎng)端口，用戶側(cè)采用1024比特數(shù)據(jù)總線，該數(shù)據(jù)總線分為 8 段，每段 128 比特；Intel 在其最新一代Agilex FPGA中采用Chiplet技術(shù)集成了400G 以太網(wǎng)[2-4]，其面向用戶側(cè)接口 也采用了 1024 比特數(shù)據(jù)總線，該總線分為 16 段，每段 64 比特。Xilinx/Intel分段總線格式如圖所示。

Xilinx/Intel 分段總線運行頻率均為 390MHz 左右，在頻率受限的前提下，通過使 用寬總線，可以實現(xiàn)更高的最高吞吐量；通過使用分段總線，可以在一個總線數(shù)據(jù)字中承載多個數(shù)據(jù)幀的數(shù)據(jù)，減小填充的影響，從而提升總線效率，增強對短數(shù)據(jù)幀的支持。

（2）Multi Buses 分段總線格式

最近，學(xué)術(shù)界涌現(xiàn)出了一種名為 Multi Buses 的新型分段總線，該總線格式如圖所示，數(shù)據(jù)總線采用了 Word、Region、Block 和 Item 四個度量標(biāo)準(zhǔn)，下圖僅為示意圖，四種度量標(biāo)準(zhǔn)之間的數(shù)量關(guān)系可以任意定義。圖中 Word 代表了總線字， 其長度與總線寬度相等；Block 與 Xilinx/Intel 分段總線格式中的總線段起到相同的 作用，即單個 Block 內(nèi)僅可以承載一個數(shù)據(jù)幀的內(nèi)容，未使用部分采用特定值填充；Item 即總線傳輸?shù)淖钚挝唬纾蕴W(wǎng)/PCIe等傳輸總線，其用戶側(cè)數(shù)據(jù)總線的 最小傳輸單位為 1 字節(jié)；Region 是 Multi Buses 引入的新概念，也是該總線的重要創(chuàng)新點，下面對 Region 的概念與優(yōu)勢進行詳細(xì)介紹。

數(shù)據(jù)總線用于傳輸數(shù)據(jù)，而處理模塊用于處理總線承載的數(shù)據(jù)，在設(shè)計總線格式時，除需要考慮總線的傳輸效率外，還需要顧及處理模塊的實現(xiàn)復(fù)雜度。對于 Xilinx/Intel 分段總線，總線段的長度越小，填充字段造成的影響越小，因此可以實現(xiàn)更高的總線效率，但由于數(shù)據(jù)幀的結(jié)束可能發(fā)生在任意一個總線段，因此每個總線段都需要預(yù)留一個處理模塊，換言之，總線效率提高的同時，設(shè)計的面積復(fù)雜度也線性提高了。

但是，需要注意的是，數(shù)據(jù)幀在傳輸時需要滿足最小長度要求，例如，以太網(wǎng)幀的最小傳輸長度為 64 字節(jié)，數(shù)據(jù)幀的最小傳輸長度可能遠(yuǎn)大于總線段的長度，而處理模塊處理數(shù)據(jù)時，一般以數(shù)據(jù)幀為單位。因此，如果可以把各個總線段的處理結(jié)果聚合為數(shù)據(jù)幀的處理結(jié)果，然后交由處理模塊做進一步處理，如此可以有效減少處理模塊的數(shù)量，進而減小面積開銷。根據(jù)該思想，Multi Buses 提出了 Region 的概 念，Region 的大小與傳輸數(shù)據(jù)幀的最小長度緊密相關(guān)，在一個 Region 中，允許承載兩個數(shù)據(jù)幀的內(nèi)容，因此在一個 Region 中僅會出現(xiàn)一個數(shù)據(jù)幀結(jié)束，該結(jié)束數(shù)據(jù)幀的后續(xù)處理，將交由本 Region 對應(yīng)的處理模塊進行。

舉例說明 Region 的概念與設(shè)計優(yōu)勢。使用 4096 比特/512 字節(jié)數(shù)據(jù)總線傳輸以太 網(wǎng)數(shù)據(jù)幀，當(dāng)總線段長度為 8 字節(jié)時，總線段數(shù)量為 64，此時如果不引入 Region 的 概念，則需要 64個處理模塊以完成數(shù)據(jù)幀的處理；以太網(wǎng)數(shù)據(jù)幀的最小長度為 64 字節(jié)，因此一個總線字中最多承載 9個數(shù)據(jù)幀的數(shù)據(jù)，并出現(xiàn) 8個數(shù)據(jù)幀結(jié)束，此時 56個處理模塊都是空閑的。引入 Region 的概念，并將 Region 大小設(shè)置為 64 字節(jié)，此 時一個總線數(shù)據(jù)字可以分為 8個 Region，每個 Region 對應(yīng)一個處理模塊，數(shù)據(jù)處理模塊的數(shù)量降低了 87.5%，當(dāng)傳輸最短幀時，數(shù)據(jù)處理模塊的利用率可以達(dá)到 100%。

（3）分段總線效率與面積開銷分析

總線效率