浪潮信息布局PCIe光互連技術(shù)：PCIe Gen5信號(hào)傳輸距離提升20倍

  ICC訊 近日，浪潮信息前瞻性布局的PCIe光互連技術(shù)方案順利通過原型樣機(jī)驗(yàn)證。該方案實(shí)現(xiàn)了混合速率線性光傳輸，解決了PCIe協(xié)議與光傳輸技術(shù)之間的兼容性問題。測(cè)試結(jié)果顯示，該方案有效地將PCIe Gen5信號(hào)傳輸距離拓展至30米，相比傳統(tǒng)銅互連傳輸距離提升了20倍，同時(shí)避免了高速電信號(hào)長(zhǎng)距離傳輸中的信號(hào)衰減問題，實(shí)現(xiàn)了更高性能、更低延遲、更穩(wěn)定的數(shù)據(jù)傳輸，可滿足大規(guī)模數(shù)據(jù)中心，機(jī)柜內(nèi)和機(jī)柜間長(zhǎng)距離高速總線信號(hào)互連的需求。

  大模型時(shí)代對(duì)PCIe技術(shù)進(jìn)步的需求

  PCIe總線協(xié)議（Peripheral Component Interconnect Express）作為計(jì)算機(jī)和服務(wù)器中使用最廣泛的高速數(shù)據(jù)傳輸技術(shù)，其傳輸性能的提升對(duì)于滿足這些需求至關(guān)重要。傳統(tǒng)連接方案主要依賴于銅纜進(jìn)行電信號(hào)傳輸，用于單機(jī)內(nèi)部計(jì)算芯片和設(shè)備之間互連。眾所周知，銅纜在信號(hào)完整性、延遲、傳輸距離和功耗等方面存在日益突出的局限，無(wú)法滿足PCIe高性能互連系統(tǒng)的需求。

  同時(shí)，隨著AIGC的發(fā)展，千億參數(shù)成為大模型智能涌現(xiàn)的臨界點(diǎn)，參數(shù)規(guī)模越大，意味著計(jì)算復(fù)雜度越高，因此所需要的算力規(guī)模也變得越來越大，萬(wàn)卡成為算力系統(tǒng)設(shè)計(jì)的起點(diǎn)，單機(jī)內(nèi)部的PCIe連接已經(jīng)不能滿足需求，機(jī)柜內(nèi)互連和跨機(jī)柜的互連成為新的發(fā)展方向，以實(shí)現(xiàn)更高效的數(shù)據(jù)交換和資源共享。光互連技術(shù)在這里開始發(fā)揮作用，利用光纖來替代銅纜，進(jìn)一步提升帶寬和傳輸距離。為解決這些問題，包括PCI-SIG（PCI Special Interest Group）和浪潮信息等在內(nèi)的眾多組織或公司，正在積極研究和推進(jìn)PCIe光互連技術(shù)，該技術(shù)將顛覆數(shù)據(jù)中心的互連方式，為Data Center as a Computer的實(shí)現(xiàn)奠定基礎(chǔ)。

  PCIe技術(shù)演進(jìn)中的光互連挑戰(zhàn)

  經(jīng)過20多年的發(fā)展，PCIe技術(shù)已經(jīng)成為計(jì)算系統(tǒng)中數(shù)據(jù)通信的核心技術(shù)，自誕生以來，PCIe協(xié)議經(jīng)歷了從1.0到6.0版本的迭代，PCIe數(shù)據(jù)傳輸速率也從1.0的2.5GT/s，提升為6.0的64GT/s。這一進(jìn)步的同時(shí)也帶來了新的挑戰(zhàn)。

  PCIe技術(shù)快速發(fā)展與電互連局限的矛盾日益突出。傳統(tǒng)的PCIe電互連傳輸方式雖然成熟，但在面對(duì)日益增長(zhǎng)的數(shù)據(jù)傳輸需求時(shí)，其傳輸帶寬和傳輸距離方面的限制逐漸凸顯，已無(wú)法滿足高性能PCIe互連對(duì)應(yīng)的業(yè)務(wù)場(chǎng)景。浪潮信息開始探索使用光互連技術(shù)替代傳統(tǒng)的電互連方案，光互連技術(shù)可以實(shí)現(xiàn)更遠(yuǎn)的距離、更高的帶寬和更低的延遲，這為PCIe架構(gòu)帶來了突破的可能，有望成為服務(wù)器系統(tǒng)未來高速數(shù)據(jù)傳輸?shù)闹匾l(fā)展方向。

  在研究過程中，浪潮信息的工程師們發(fā)現(xiàn)盡管光互連技術(shù)有明顯的優(yōu)勢(shì)，但PCIe協(xié)議與光傳輸技術(shù)之間的兼容性問題卻成為了新的挑戰(zhàn)。PCIe協(xié)議制定之初并未考慮采用光互連來傳輸，導(dǎo)致現(xiàn)有光傳輸技術(shù)與PCIe協(xié)議之間存在許多不兼容的地方，如圖2。

圖2

  首先，PCIe鏈路的建立包括接收端檢測(cè)、電氣空閑狀態(tài)和協(xié)商鏈路速率等過程，常規(guī)的光模塊設(shè)計(jì)通常針對(duì)的是簡(jiǎn)單的光信號(hào)傳輸，不具備處理這些復(fù)雜的協(xié)議過程的能力。

  其次，PCIe鏈路的穩(wěn)定建立需要輔助信號(hào)的支持，如PERST#、PRSNT# 等，而光模塊內(nèi)部通常沒有預(yù)留傳輸輔助信號(hào)的通道。這些不兼容的地方阻礙了PCIe協(xié)議與光傳輸?shù)慕Y(jié)合。

  眾所周知，隨著PCIe速率的增加，傳統(tǒng)銅纜在長(zhǎng)距離傳輸面臨著越來越大的挑戰(zhàn)。例如，PCIe 1.0時(shí)，銅纜傳輸距離可達(dá)10米，而PCIe 4.0時(shí)，這一距離縮短至3、4米；當(dāng)速率進(jìn)一步提高到64 GT/s和128 GT/s，也即PCIe 6.0和未來的PCIe 7.0，銅纜傳輸距離將進(jìn)一步縮短至幾十厘米，無(wú)法滿足數(shù)據(jù)中心的長(zhǎng)距離傳輸需求，PCIe光互連變得不可或缺。

  浪潮信息PCIe光互連方案：突破距離限制，實(shí)現(xiàn)高效能數(shù)據(jù)中心互連

  浪潮信息針對(duì)PCIe電互連在傳輸帶寬和距離上的局限性，創(chuàng)新研發(fā)了PCIe光互連方案，成功將PCIe信號(hào)從1.4米傳輸距離拓展至30米，滿足數(shù)據(jù)中心對(duì)長(zhǎng)距離高性能互連網(wǎng)絡(luò)的需求。

  針對(duì)光傳輸中與PCIe協(xié)議的不兼容問題，浪潮信息的工程師們深入研究了PCIe協(xié)議以及光電轉(zhuǎn)換組件的工作原理，提出了混合速率線性光傳輸方案，如圖3。

圖3

  該方案包含三大關(guān)鍵技術(shù)特征：

  · 將輔助信號(hào)匯合并編譯為600Mbps的低壓差分信號(hào)，與寬速率范圍的高速數(shù)據(jù)信號(hào)一起，通過光纖鏈路實(shí)現(xiàn)同步傳輸。

  · 利用線性直驅(qū)技術(shù)構(gòu)建了高速信號(hào)的光傳輸鏈路，這不僅優(yōu)化了光電轉(zhuǎn)換過程，還擴(kuò)大了光電器件的傳輸帶寬，同時(shí)減少了光鏈路的能耗和傳輸延遲。

  · 通過硬件升級(jí)來擴(kuò)展和升級(jí)鏈路，確保能夠適應(yīng)未來PCIe Gen6和Gen7設(shè)備的組網(wǎng)互連需求。

  基于上述方案，浪潮信息的工程師們開發(fā)了PCIe光互連的原型，并進(jìn)行了傳輸驗(yàn)證。測(cè)試結(jié)果顯示，該原型不僅實(shí)現(xiàn)了30米光纖鏈路PCIe Gen5信號(hào)傳輸，還實(shí)現(xiàn)了PCIe輔助信號(hào)的光傳輸，圖4為30米光互連鏈路眼圖測(cè)試結(jié)果。作為對(duì)比，同樣的系統(tǒng)架構(gòu)，銅纜方案最遠(yuǎn)傳輸距離約1.4米，因此光互連方案成功實(shí)現(xiàn)將PCIe Gen5信號(hào)傳輸距離提升20倍。并且在性能測(cè)試環(huán)節(jié)，PCIe光互連鏈路通過2小時(shí)的NVMe-based FIO讀寫測(cè)試和24小時(shí)GPU帶寬測(cè)試，遠(yuǎn)距離傳輸性能與NVMe盤和GPU直連CPU的測(cè)試數(shù)據(jù)基本一致，證明了該方案的有效性和可靠性。

  而且在針對(duì)不同距離條件下信號(hào)傳輸質(zhì)量的測(cè)試中，30米長(zhǎng)度的光纖鏈路眼高和眼寬結(jié)果與1米長(zhǎng)度的光纖鏈路基本一致，如圖5的（1）和（2）。這表明信號(hào)的傳輸質(zhì)量幾乎不隨光鏈路長(zhǎng)度增加而衰減，這種優(yōu)勢(shì)是電互連傳輸技術(shù)所不具備的。

  備注：眼高和眼寬是用于評(píng)估高速信號(hào)質(zhì)量的兩個(gè)重要參數(shù)，據(jù)此可直觀地觀察高速信號(hào)在傳輸過程中受到的噪聲和抖動(dòng)影響，從而評(píng)估信號(hào)的整體傳輸質(zhì)量。

圖4

圖5（1）

圖5（2）

  PCIe協(xié)議仍在不斷迭代，數(shù)據(jù)傳輸速率和功能不斷提升，在服務(wù)器系統(tǒng)高速互連中的作用愈發(fā)關(guān)鍵。光互連傳輸技術(shù)通過提供更遠(yuǎn)的傳輸距離、更低的延遲和更低的功耗，克服了傳統(tǒng)電互連的局限性。展望未來，PCIe光互連技術(shù)將在智算中心、大規(guī)模數(shù)據(jù)中心等領(lǐng)域發(fā)揮更大作用，為現(xiàn)代計(jì)算和數(shù)據(jù)通信領(lǐng)域帶來更多創(chuàng)新和突破。