騰訊耿競一：100G非相干彩光方案在城域互聯(lián)的應用

  注：本文根據2018年5月ODCC數據中心光網絡技術大會耿競一(騰訊高級網絡架構師)演講內容整理。

  ICCSZ訊 IPOC(IP Optical Convergence，IP與光融合)是騰訊城域互聯(lián)的重要技術路線，100G非相干彩光方案也是基于此進行的設計。

  IPOC方案在城域網的應用，首先要明確騰訊在城域互聯(lián)場景的技術背景和需求，或者可以歸納為對超大規(guī)模的分布式數據中心之間的城域互聯(lián)的場景分析。

  下圖1是騰訊國內某核心城市的真實組網圖，8個IDC集群園區(qū)之間的Fullmesh連接，每兩個園區(qū)之間都是點到點的光纖互聯(lián)，光纖距離小于120公里。

  根據目前的流量規(guī)劃和帶寬規(guī)劃，我們可以看到在未來的2019年，整個騰訊骨干網的城域部分帶寬建設量會達到300T級別，并且這個數據是以超過100%的年增長率持續(xù)增長。所以騰訊在光傳輸網絡領域面臨著非常龐大的挑戰(zhàn)，即在如此巨大規(guī)模的網絡下，我們需要構建一個什么樣的方案來解決光傳輸的問題。

  這個問題可以從三個維度來分析，即運維、性能和互聯(lián)場景。

  IPOC運維需求

  目前騰訊在網運營的網絡設備數量已超過七萬臺，服務器已經超過一百萬，網絡運營團隊正面臨著海量運營的挑戰(zhàn)。因此在方案設計和選擇的時候，運營支撐能力的考慮是非常重要的因素之一。

  一方面，光傳輸方案做到所有節(jié)點部署操作簡單，以盡量減小建設及運營的復雜度。

  另一方面，方案需要具備適應不同光纖環(huán)境和大規(guī)模靈活拓展能力。傳統(tǒng)的OTN系統(tǒng)多服務于電信運營商，設備形態(tài)和硬件設計包括散熱方式等都是面向傳統(tǒng)運營商的機房，這些設備對于分布式數據中心機房而言，需要進行電力改造、散熱通道改造、甚至機架的改造等，會大大延長數據中心機房的交付時間。隨著云計算時代的到來，我們需要光傳輸網絡具備更好的靈活性和可拓展性。

  另外設備的硬件形態(tài)也希望統(tǒng)一。越來越多的網絡設備和型號對于運營的挑戰(zhàn)是持續(xù)增長的，所以我們需要在把網絡變得更加開放的同時，讓所有的設備，無論是IP設備還是光傳輸設備，都具備硬件形態(tài)的統(tǒng)一。

  IP+光的統(tǒng)一運營，其實是IPOC方案最核心的出發(fā)點之一，也是解決海量運維問題的必經之路。只有讓運維域更加扁平化，將IP和光融合，才能實現對光和IP進行統(tǒng)一運營，甚至未來的統(tǒng)一調度。

  IPOC互聯(lián)場景需求

  長久以來網絡為業(yè)務提供的服務能力，是城域之內120公里以內2到3毫秒，我們更多的聚焦在當網絡發(fā)生故障時，如何加快網絡的收斂速度。但隨著云計算時代的到來，伴隨著騰訊云在國內和海外的快速擴張，網絡中越來越多的承載了ToB業(yè)務，這些業(yè)務通常是中小型或初創(chuàng)企業(yè)，其在業(yè)務上通常不會像大型OTT企業(yè)的主流業(yè)務一樣具備完整的冗余或負載能力，所以要求基礎網絡提供更加極致的低時延環(huán)境。

  因此，IPOC方案首先需要低時延，通過減少光傳輸系統(tǒng)中的電處理等方式，追求亞毫秒級的時延節(jié)省。

  其次是低功耗。交換機直出彩光方案意味著交換機可以通過光模塊或者板卡直接發(fā)出不同波長的彩光，隨之帶來的是光模塊和板卡需要更高的功耗和更強的散熱需求，這些都會影響交換機的端口密度。所以IPOC方案需要做到低功耗，甚至是接近灰光模塊的功耗，從而保證網絡設備的整機吞吐量。

  IPOC光傳輸方案要覆蓋到城市內跨園區(qū)的、點到點的、光纖距離小于120公里的互聯(lián)場景。另外通過方案的簡化，可以降低城域帶寬建設成本。

  光傳輸的本質是光信號在物理介質上的傳輸，所以在方案設計和選擇時光纖距離是重要因素。圖2是騰訊目前城域互聯(lián)光纖距離的一個統(tǒng)計。

  現在已有超過40%的光纖距離是在60公里之內，國內除了北上廣深四個超大型城市外，其他大部分城市城域光纖互聯(lián)的距離都可以在60公里之內。

  騰訊作為公有云服務提供商，以為用戶提供極致網絡為目標，這意味著騰訊的網絡要盡量的貼近用戶，公有云用戶大量的集中在北上廣深，所以騰訊需要將IDC集群在這四個城市落地。而這些城市資源相對緊張，很難部署超大規(guī)模的IDC園區(qū)，取而代之的是更多的中小型的園區(qū)，所以60km以內的光纖占比未來會變得更高，這也是100G QSFP28非相干彩光方案的一個重要場景。

  超過60公里的光纖范圍內仍然采用傳統(tǒng)的相干方案，一種是100G/200G CFP2 DCO的交換機直出彩光方案，另一種是基于傳統(tǒng)OTN的簡化，我們稱之為Pizzabox OTN。

  100G QSFP28非相干彩光方案

  圖3是基于100G QSFP28 非相干技術實現的交換機直出彩光方案示意說明。

圖3 100G QSFP28非相干彩光方案示意圖

  兩個交換機通過QSFP28彩光模塊直接出彩光，中間OLS系統(tǒng)進行光放和合分波。我們聚焦于運營系統(tǒng)的設計，將整個系統(tǒng)定義成一個以太網的設備運維域，并從三個維度進行故障監(jiān)控和分析。

  在交換機上通過對彩光模塊提供的豐富接口進行監(jiān)控，監(jiān)控每一個光模塊或者每一個波長的性能參數;當發(fā)生故障時聯(lián)動OLS系統(tǒng)的告警信息，初步完成問題定界，并根據OLS自身的報警信息和故障影響范圍可基本完成故障點的判斷；極端故障場景下，可以在OLS外掛OSA進行逐波檢測以確認故障原因。

  Tencent Defined IPOC解決方案

  IPOC的目標是讓網絡變得更加開放，這意味著未來會有更多的供應商能夠以白盒或灰盒的方式，幫助騰訊構建網絡，同時這也對網絡運營提出了更高的挑戰(zhàn)。

  一方面，IPOC包含了光設備和IP設備，所以我們需要所有的IP設備或者光傳輸設備在硬件層面上盡可能保持統(tǒng)一。

  另一方面，無論是IP設備還是光傳輸設備，都需要具備軟硬件解耦能力。這樣讓用戶可以通過在商用OS之上的應用開發(fā)，完成定制化的需求開發(fā)和快速迭代。