CPO交換機(jī)應(yīng)用落地挑戰(zhàn)
AIGC的持續(xù)升溫和大規(guī)模的算力運(yùn)行,使得數(shù)據(jù)中心的“能耗焦慮”日益加劇,高速互聯(lián)下的綠色數(shù)據(jù)中心的建設(shè)也成為了未來的發(fā)展趨勢。早在2023年6月,新華三就發(fā)布了全球首款基于51.2T交換容量的800G CPO硅光數(shù)據(jù)中心交換機(jī),為智算網(wǎng)絡(luò)部署全面降溫。
CPO硅光交換機(jī)除了支持高密800G端口能力、滿足更大規(guī)模智算中心建設(shè)需求之外,還進(jìn)一步降低了設(shè)備功耗,滿足PUE≤1.2的要求。
全球首款基于51.2T交換容量的800G CPO硅光數(shù)據(jù)中心交換機(jī)
從業(yè)界發(fā)展來看,CPO交換機(jī)的概念由來已久,從早期10G時(shí)代的OBO(on-board Optics)模塊到56G時(shí)代的CPO交換機(jī)芯片,而近期,隨著AIGC的熱度又再次被市場所注視,可謂是數(shù)據(jù)中心領(lǐng)域皇冠上的明珠。
然而,雖然關(guān)注者眾多,但有關(guān)CPO交換機(jī)的消息通常是風(fēng)聲大雨點(diǎn)小,往往僅提出一個(gè)DEMO便沒有了后續(xù)商用的消息。這是因?yàn)镃PO交換機(jī)的落地應(yīng)用面臨著許多挑戰(zhàn),首當(dāng)其沖的便是CPO交換機(jī)的可靠性。
對于客戶而言,交換機(jī)最關(guān)鍵的要求便是可靠性。CPO交換機(jī)相較于傳統(tǒng)可插拔模塊的形態(tài),由于將更多的模塊組件被集成在一塊基板之上,因此這塊大芯片出現(xiàn)問題的概率指數(shù)級上升。此外,早期方案中,光源也被集成在芯片內(nèi)部,根據(jù)大量統(tǒng)計(jì)數(shù)據(jù)顯示,光模塊最容易失效的部件是激光器,更有甚者,為了降低功耗,一個(gè)激光器需要為4個(gè)通道提供激光,那么一旦出現(xiàn)問題將影響4個(gè)通道的業(yè)務(wù)。由于上述問題,以及集成方案的不可更換性,集成激光器的CPO方案往往都無法真正商用落地。
CPO交換機(jī)落地關(guān)鍵:外置光源
為了解決以上問題,新華三在CPO交換機(jī)上采用了16個(gè)外置光源,將最容易失效的部分通過機(jī)箱內(nèi)部無源光網(wǎng)絡(luò)的方案部署在前面板側(cè),大幅提高了CPO交換機(jī)的可維護(hù)性。
外置光源將高功率激光器產(chǎn)生的功耗從芯片內(nèi)部剝離,使得整體機(jī)箱內(nèi)部的溫度梯度更為均衡,有利于設(shè)備的散熱。而且外置光源內(nèi)的激光器可工作在更低的溫度環(huán)境中,相較于在交換芯片附近70~80度的高溫,激光器的電光效率也能得到提高。
新華三針對客戶關(guān)注的可靠性重點(diǎn)問題,對設(shè)備進(jìn)行了軟硬件的專業(yè)優(yōu)化,讓S9827-64EO的每個(gè)通道也能像可插拔光模塊一樣進(jìn)行監(jiān)控診斷。對于出現(xiàn)異常的通道,S9827-64EO會(huì)根據(jù)各個(gè)監(jiān)控點(diǎn)的反饋智能判斷故障點(diǎn),輔助運(yùn)維快速、準(zhǔn)確、高效完成異常排查和維護(hù)。
利用直通型外置光源壓縮交換機(jī)尺寸
CPO交換機(jī)通過將傳統(tǒng)光模塊中的光電轉(zhuǎn)換器件與交換芯片集成在同一基板上,實(shí)現(xiàn)了空間和功耗上的節(jié)約。雖然采用光纖法蘭作為與其他節(jié)點(diǎn)互聯(lián)的光接口,但依然需要大量前面空間來布置法蘭。并且,為了提高光源的可靠性和可維護(hù)性,還需要額外的1U空間來布置外置光源,因此現(xiàn)有CPO交換機(jī)的尺寸無法進(jìn)一步壓縮。
H3C S9827-64EO CPO交換機(jī)在CIOE 2024上的實(shí)機(jī)上電展示
直通型外置光源是一種將前面板法蘭與外置光源集成于一體的解決方案。
傳統(tǒng)外置光源均使用光電混合盲插接口來保證人眼安全,拉手環(huán)處的連接空間被閑置。直通型外置光源將這一部分空間充分利用,結(jié)合高密連接器方案將前面板法蘭與外置光源結(jié)合,在外置光源內(nèi)部則使用短跳線與光電混合接口相連。
這一方案的優(yōu)勢在于:
由于當(dāng)前電力供需緊張形勢進(jìn)一步加劇,為確保電網(wǎng)安全,確保民生用電,確保不出現(xiàn)拉閘限電,經(jīng)研究決定,從8月15日起取消主動(dòng)錯(cuò)避峰需求響應(yīng)。
顯著提高了設(shè)備的集成度,使得采用該技術(shù)的CPO交換機(jī)最低只需1U的空間;減少了CPO交換機(jī)內(nèi)部光纜復(fù)雜度,無需將數(shù)據(jù)光纖和光源光纖分別布置;
更貼近傳統(tǒng)光模塊的使用體驗(yàn);
可以實(shí)現(xiàn)多種連接方案的切換需求,原本CPO交換機(jī)由于光接口形態(tài)與激光器是需要一一對應(yīng),無法靈活的切換DR或FR等需求方案,采用直通型外置光源后,可以同步切換接口和激光器,因此有望實(shí)現(xiàn)兼容DR和FR的CPO交換機(jī)。
直通型外置光源和傳統(tǒng)外置光源方案對比
光電混合接口的方案對比
目前,業(yè)界已提出了多種方案的直通型外置光源形態(tài),它們對于光電混合接口的定義也各有不同,主要分為IPEC組織下的PELS形態(tài),和OIF組織下的ELSFP形態(tài),以下我們分別介紹:
1. 直通型ELSFP
OIF定義的ELSFP采用橫向雙MT的設(shè)計(jì),直通型ELSFP是通過增加MT插芯的芯子數(shù)量來實(shí)現(xiàn)額外的數(shù)據(jù)通道。在使用MT-36的情況下,最高可支持64個(gè)通道(4*DR8)的數(shù)據(jù)傳輸和8個(gè)通道的保偏激光傳輸。ELSFP的直通型和普通型在光電混合口外形上并無差異,為了區(qū)別這兩種方案以防錯(cuò)配導(dǎo)致光口損傷,OIF在外殼上定義了一個(gè)鍵位序列作為防呆結(jié)構(gòu),以保證不同方案外置光源在盲插時(shí)不至于損壞光電混合接口。
直通型ELSFP
2.直通型PELS
PELS定義的直通型采用縱向堆疊的雙MT的設(shè)計(jì),同樣在使用MT-36的情況下,最高可支持64個(gè)通道(4*DR8)的數(shù)據(jù)傳輸和8個(gè)通道的保偏激光傳輸。由于PELS的直通型方案和普通方案存在構(gòu)型上的區(qū)別,并沒有設(shè)置額外的防呆結(jié)構(gòu)。
直通型PELS
不過這兩種方案均需要使用到MT-36插芯需要使用3排12芯來滿足4*DR8業(yè)務(wù)的插芯排布,由于插芯在制作過程中,光纖是以排為基礎(chǔ)單位進(jìn)行組裝,多排光纖間會(huì)存在互相干擾,保偏光纖需要使用人工對齊偏振角,在多層組裝時(shí)有可能會(huì)降低插芯的良率。2組MT-36插芯為了能夠滿足4對DR8數(shù)據(jù)通道的需求,所有光纖通道均需要使用,因而普通方案中MT-12中間4個(gè)插芯用于保偏激光的通道,也被對稱的用于數(shù)據(jù)傳輸。
兩組MT-36插芯在4*DR8需求下可能的排列方案
這與傳統(tǒng)MT插芯中的光纖分布有一些差異,也會(huì)影響到前端口的扇出,因?yàn)榕cCPO交換機(jī)對接的4組DR8接口必然遵循傳統(tǒng)的MT插芯排布,無論是MT-16還是MT-24都無法兼容。
傳統(tǒng)MT插芯的Tx、Rx排布情況
新型PELS直通型外置光源
新華三基于在CPO交換機(jī)領(lǐng)域的先進(jìn)開發(fā)經(jīng)驗(yàn)和光模塊領(lǐng)域的多年深耕經(jīng)驗(yàn),投入核心研發(fā)力量開發(fā)了全新PELS直通型外置光源,模塊設(shè)計(jì)滿足IPEC OIO Pluggable External Laser Source IA規(guī)范。
新型PELS直通型外置光源
新型PELS直通型外置光源將傳統(tǒng)位于前面板的連接器通道通過Pass-through技術(shù)轉(zhuǎn)移到外置光源的前端,使采用高密度直通型PELS外置光源的CPO交換機(jī)使用體驗(yàn)更接近傳統(tǒng)交換機(jī)。
使用SENKO研發(fā)的超高密度SNMT-24插芯作為光電混合盲插接口的直通光路連接器,最高可支持8路保偏光源通道+32對數(shù)據(jù)通道以傳統(tǒng)MT-12的形式對稱排列在兩側(cè),可使51.2T CPO交換機(jī)最低降至1U高度。
光電混合接口示意圖
Host側(cè)SNMT連接器可獨(dú)立拆卸更換,清潔維護(hù)更方便。在保持相同連接密度下,4個(gè)SNMT-24插芯的雙排插芯使得光纖組裝相對三排插芯的MT-36有著更好良率表現(xiàn)。
新華三研發(fā)的新型PELS直通型外置光源在2024年9月的CIOE光博會(huì)上,由多家合作單位共同展示,收獲了廣泛關(guān)注與好評,也將很快為更多行業(yè)客戶的算力建設(shè)提供更加高效可靠的網(wǎng)絡(luò)基礎(chǔ)底座。