康寧光通信馬銳：IT服務數據中心的設計淺析

　　Iccsz訊 康寧光通信企業(yè)網亞太區(qū)市場經理馬銳對IT服務數據中心的設計進行了淺析，隨著云計算技術安全性穩(wěn)定性的大幅提高，越來越多的企業(yè)開始使用第三方云服務來處理各種數據業(yè)務需求。因此，云服務對網絡基礎設施的投入在未來幾年將會迅速增加，成為數據中心市場發(fā)展的主要驅動力。相比較而言，傳統(tǒng)企業(yè)IT基礎設施費用則呈現出逐年下降的趨勢(如圖1所示)。

圖1. 全球網絡基礎設施費用細分市場對比趨勢  來源：LightCounting and Forbes

　　用于第三方IT服務的云數據中心與傳統(tǒng)企業(yè)數據中心對比，具有很多新的特點。云數據中心需要更高的帶寬，更低的時延，更大的網絡規(guī)模和更快的升級頻率等。2016年大約全球80%的40GbE光傳輸設備銷售額來自互聯網云服務企業(yè)。從2017年開始由于云數據中心的驅動100GbE光傳輸設備需求迅速增長。預計到2022年云服務對以太網收發(fā)器的需求將達到全球市場的70%(如圖2所示)，并且在2018年后開始帶動200GbE和400GbE的銷售。相對而言，傳統(tǒng)企業(yè)對以太網收發(fā)器的需求將會保持平穩(wěn)，并將長期以10GbE網絡為主。本文中我們將根據IT服務類用戶的需求特點對數據中心光纖類型的選擇，傳輸方式的選擇和布線結構的選擇進行淺析。

圖2. 全球以太網收發(fā)器銷售額分布($M)  來源：LightCounting

　　光纖類型的選擇

　　在數據中心以太網設計中，光纖類型的選擇需要根據數據中心對傳輸速率，傳輸距離等的需求進行綜合考慮。目前云計算數據中心已經普遍部署40G乃至100G以太網來支持日益增長的數據業(yè)務需求。多模光纖系統(tǒng)因技術成熟度高，總體成本較低等優(yōu)點，仍舊被大多數數據中心所采用。然而業(yè)界普遍認為傳統(tǒng)的OM3/4多模光纖主要用來支持100m-150m的短距離傳輸。因此為了延長多模光纖在高速網絡中的傳輸距離，相關國際標準組織正式命名了基于波分復用技術的OM5多模光纖。

表1. 使用不同光纖類型和收發(fā)器支持的40G/100G以太網最大傳輸距離對比

　　*COC=使用Corning產品測試

　　面對三種多模光纖，數據中心設計人員應該根據數據中心的實際需求進行選擇。在表1中我們列出了不同光纖類型使用不同收發(fā)器時能夠支持40G/100G以太網的最大傳輸距離。目前因只有40G SR4和100G SR4是IEEE正式發(fā)布的國際標準，因此使用其他收發(fā)器類型的傳輸距離均為企業(yè)測試結果。根據表1數據可以看出在不使用SWDM收發(fā)器的前提下，OM5光纖與OM4光纖支持的40G/100G最大傳輸距離相同。而且通過使用eSR4收發(fā)器的并行通信方式，OM4光纖可以支持550m(40G)和300m(100G)的最大傳輸距離，均長于使用SWDM收發(fā)器下的OM5光纖的傳輸距離。因此在數據中心傳輸距離需要超過150m時OM5光纖并非唯一選擇。此外，康寧根據對過去三年部署的OM3和OM4數據中心通道長度的統(tǒng)計發(fā)現，大約95%已部署OM3系統(tǒng)90%已部署OM4系統(tǒng)長度在100m以內(如圖3所示)。總體來說OM3/OM4光纖能夠滿足90%的40G/100G數據中心連接需求。對于少數需要支持300m傳輸的數據中心，則可以使用OM4/eSR4或OM5/SWDM的組合方式。

圖3. 數據中心以太網OM3/4連接通道長度分布

　　傳輸方式的選擇

　　近年來云數據中心的發(fā)展持續(xù)驅動對高速數據傳輸的需求。傳統(tǒng)上我們一直在使用加快光源開關速率的方式在單一通道內增加串行傳輸速率，例如從1G增加到10G。但隨著對更高速率網絡需求的大幅提升，傳統(tǒng)的串行傳輸方式已經無法滿足數據中心發(fā)展的需要。目前能夠支持40G/100G網絡的傳輸方式主要可分為兩類，一類是基于WDM技術的串行傳輸方式，一類是通過在多根光纖上同時傳輸數據的并行傳輸方式。我們在表2中簡述了兩種傳輸方式的優(yōu)缺點和主要應用環(huán)境。

表2. WDM串行傳輸與并行傳輸方式的對比

　　與選擇光纖類型類似，選擇哪種傳輸方式主要根據數據中心部署速率，傳輸距離以及整體預算等進行綜合考慮。目前大多數已部署的40G/100G數據中心均采用并行傳輸方式。主要原因有如下幾點。首先，采用并行傳輸可以滿足絕大多數40G/100G數據中心對傳輸距離的要求。此外，并行傳輸使用的收發(fā)器可以利用現有收發(fā)器的市場規(guī)模優(yōu)勢降低成本。例如40G收發(fā)器只需使用4個相同的10G光源和光組件，既有產品市場規(guī)模大，成熟度高，相應的價格較低。如果使用40G波分復用收發(fā)器，則需要使用多個不同波長的光源，新波段的光源因處于產品生命周期的早期，成本較高。

　　并行傳輸方式被廣泛使用的另一個主要原因是并行傳輸支持端口分支應用。使用并行傳輸方式的40G/100G光收發(fā)器既可以傳輸一路40G/100G信號，又可以同時傳輸4路獨立的10G/25G信號。這種方式給用戶帶來的一個最顯著的好處就是可以在相同的空間內提高10G/25G端口的密度。我們以40G網絡為例來具體說明使用端口分支方式如何提高端口密度。

　　常規(guī)的帶有QSFP收發(fā)器端口的40G交換機板卡可以提供36個40G端口。如果我們使用端口分支的方式將一個40G端口分支為4個10G端口，則36個40G端口可以支持4×36=144個10G鏈路。比較而言，常規(guī)的帶有SFP+收發(fā)器端口的10G交換機板卡可以提供48個10G端口。如果需要達到同樣的10G端口數，則需要部署3個48口10G交換機。目前全球已出貨的40G QSFP交換機大概有一半應用于10G端口分支。采用這種方式不但可以提高10G端口密度3倍左右，而且每個10G端口能耗可以降低60%，成本可以降低30%-45%。而且當數據中心未來需要升級為全40G網絡時，無需重新購買40G收發(fā)器和交換機就可以平滑升級。同樣的方式也適用于100G乃至未來的200G/400G網絡(如圖4所示)。因此，在可以預見的未來，并行傳輸方式仍將被大多數高密度數據中心所采用。

圖4. 并行分支應用演進

　　布線結構的選擇

　　為了應對高速增長的數據處理需求，尤其是逐漸增加的數據中心內服務器之間東西向的數據傳輸需求，云數據中心開始采用有別于傳統(tǒng)三層交換網絡結構的新型網絡來提高效率，降低時延。其中如圖5所示的脊葉(Spine-leaf)兩層網絡結構近來被越來越多的云數據中心所采用。這種網絡結構需要每一個脊交換機與每一個葉交換機相連，從而提高路由效率。隨著云數據中心規(guī)模的不斷增大，不但在一個數據中心內部需要大量的布線連接，而且在一個園區(qū)內的不同數據中心之間也需要大量的布線連接。數據中心內和數據中心之間的全交叉互聯需求給布線結構的設計以及安裝測試等都帶來了新的挑戰(zhàn)。

圖5.傳統(tǒng)三層網絡結構與脊葉(Spine-leaf)兩層網絡結構的對比

　　我們以圖6所示的網絡示意圖為例來分析使用不同布線方案對用戶的影響。如表3所示，我們對比三種不同的布線方式，LC跳線端到端直連，72芯MTP預端接光纜連接MDA和HDA配線區(qū)，576芯MTP預端接光纜連接MDA和HDA配線區(qū)。通過對比我們可以發(fā)現，方案2和方案3采用結構化布線，預端接MTP光纜連接MDA和HDA配線區(qū)的方式相比較方案1跳線直連可以大大減少安裝，標識，測試以及故障查找的工作量，從而降低安裝測試和維護的成本，并且可以大量節(jié)省時間滿足云計算數據中心對快速部署快速交付的要求。此外，在網絡需要遷移增加和變更時，方案1需要重新在兩層交換之間安裝端到端的長跳線，工作量大安裝難度高。而方案2和方案3只需在MDA或HDA配線區(qū)使用短跳線配置即可。

圖6. 脊葉兩層交換網絡配置示意圖

(10G網絡，4個脊交換機，48個葉交換機，每個葉交換機帶32個服務器，收斂比1：1。)

表3. 布線方案對比

　　使用MTP預端接光纜的結構化布線方案對比LC跳線端到端直連的另一個優(yōu)點是可以大量節(jié)省線槽資源(如圖7所示)。對于服務于第三方的云計算數據中心來說，空間的節(jié)省就代表著成本的節(jié)省。在部署高密度的數據中心時，使用預端接方案，特別是使用高芯數預端接光纜可以有效節(jié)省線槽資源。不但便于安裝鋪設，更有利于整個數據中心系統(tǒng)的空氣流動從而降低日常運行時的制冷成本。

圖7.不同布線方案線槽占用率對比

        作者：康寧光通信企業(yè)網亞太區(qū)市場經理馬銳