騰訊耿競一：100G非相干彩光方案在城域互聯(lián)的應(yīng)用

  注：本文根據(jù)2018年5月ODCC數(shù)據(jù)中心光網(wǎng)絡(luò)技術(shù)大會耿競一(騰訊高級網(wǎng)絡(luò)架構(gòu)師)演講內(nèi)容整理。

  ICCSZ訊 IPOC(IP Optical Convergence，IP與光融合)是騰訊城域互聯(lián)的重要技術(shù)路線，100G非相干彩光方案也是基于此進行的設(shè)計。

  IPOC方案在城域網(wǎng)的應(yīng)用，首先要明確騰訊在城域互聯(lián)場景的技術(shù)背景和需求，或者可以歸納為對超大規(guī)模的分布式數(shù)據(jù)中心之間的城域互聯(lián)的場景分析。

  下圖1是騰訊國內(nèi)某核心城市的真實組網(wǎng)圖，8個IDC集群園區(qū)之間的Fullmesh連接，每兩個園區(qū)之間都是點到點的光纖互聯(lián)，光纖距離小于120公里。

  根據(jù)目前的流量規(guī)劃和帶寬規(guī)劃，我們可以看到在未來的2019年，整個騰訊骨干網(wǎng)的城域部分帶寬建設(shè)量會達到300T級別，并且這個數(shù)據(jù)是以超過100%的年增長率持續(xù)增長。所以騰訊在光傳輸網(wǎng)絡(luò)領(lǐng)域面臨著非常龐大的挑戰(zhàn)，即在如此巨大規(guī)模的網(wǎng)絡(luò)下，我們需要構(gòu)建一個什么樣的方案來解決光傳輸?shù)膯栴}。

  這個問題可以從三個維度來分析，即運維、性能和互聯(lián)場景。

  IPOC運維需求

  目前騰訊在網(wǎng)運營的網(wǎng)絡(luò)設(shè)備數(shù)量已超過七萬臺，服務(wù)器已經(jīng)超過一百萬，網(wǎng)絡(luò)運營團隊正面臨著海量運營的挑戰(zhàn)。因此在方案設(shè)計和選擇的時候，運營支撐能力的考慮是非常重要的因素之一。

  一方面，光傳輸方案做到所有節(jié)點部署操作簡單，以盡量減小建設(shè)及運營的復(fù)雜度。

  另一方面，方案需要具備適應(yīng)不同光纖環(huán)境和大規(guī)模靈活拓展能力。傳統(tǒng)的OTN系統(tǒng)多服務(wù)于電信運營商，設(shè)備形態(tài)和硬件設(shè)計包括散熱方式等都是面向傳統(tǒng)運營商的機房，這些設(shè)備對于分布式數(shù)據(jù)中心機房而言，需要進行電力改造、散熱通道改造、甚至機架的改造等，會大大延長數(shù)據(jù)中心機房的交付時間。隨著云計算時代的到來，我們需要光傳輸網(wǎng)絡(luò)具備更好的靈活性和可拓展性。

  另外設(shè)備的硬件形態(tài)也希望統(tǒng)一。越來越多的網(wǎng)絡(luò)設(shè)備和型號對于運營的挑戰(zhàn)是持續(xù)增長的，所以我們需要在把網(wǎng)絡(luò)變得更加開放的同時，讓所有的設(shè)備，無論是IP設(shè)備還是光傳輸設(shè)備，都具備硬件形態(tài)的統(tǒng)一。

  IP+光的統(tǒng)一運營，其實是IPOC方案最核心的出發(fā)點之一，也是解決海量運維問題的必經(jīng)之路。只有讓運維域更加扁平化，將IP和光融合，才能實現(xiàn)對光和IP進行統(tǒng)一運營，甚至未來的統(tǒng)一調(diào)度。

  IPOC互聯(lián)場景需求

  長久以來網(wǎng)絡(luò)為業(yè)務(wù)提供的服務(wù)能力，是城域之內(nèi)120公里以內(nèi)2到3毫秒，我們更多的聚焦在當(dāng)網(wǎng)絡(luò)發(fā)生故障時，如何加快網(wǎng)絡(luò)的收斂速度。但隨著云計算時代的到來，伴隨著騰訊云在國內(nèi)和海外的快速擴張，網(wǎng)絡(luò)中越來越多的承載了ToB業(yè)務(wù)，這些業(yè)務(wù)通常是中小型或初創(chuàng)企業(yè)，其在業(yè)務(wù)上通常不會像大型OTT企業(yè)的主流業(yè)務(wù)一樣具備完整的冗余或負載能力，所以要求基礎(chǔ)網(wǎng)絡(luò)提供更加極致的低時延環(huán)境。

  因此，IPOC方案首先需要低時延，通過減少光傳輸系統(tǒng)中的電處理等方式，追求亞毫秒級的時延節(jié)省。

  其次是低功耗。交換機直出彩光方案意味著交換機可以通過光模塊或者板卡直接發(fā)出不同波長的彩光，隨之帶來的是光模塊和板卡需要更高的功耗和更強的散熱需求，這些都會影響交換機的端口密度。所以IPOC方案需要做到低功耗，甚至是接近灰光模塊的功耗，從而保證網(wǎng)絡(luò)設(shè)備的整機吞吐量。

  IPOC光傳輸方案要覆蓋到城市內(nèi)跨園區(qū)的、點到點的、光纖距離小于120公里的互聯(lián)場景。另外通過方案的簡化，可以降低城域帶寬建設(shè)成本。

  光傳輸?shù)谋举|(zhì)是光信號在物理介質(zhì)上的傳輸，所以在方案設(shè)計和選擇時光纖距離是重要因素。圖2是騰訊目前城域互聯(lián)光纖距離的一個統(tǒng)計。

  現(xiàn)在已有超過40%的光纖距離是在60公里之內(nèi)，國內(nèi)除了北上廣深四個超大型城市外，其他大部分城市城域光纖互聯(lián)的距離都可以在60公里之內(nèi)。

  騰訊作為公有云服務(wù)提供商，以為用戶提供極致網(wǎng)絡(luò)為目標，這意味著騰訊的網(wǎng)絡(luò)要盡量的貼近用戶，公有云用戶大量的集中在北上廣深，所以騰訊需要將IDC集群在這四個城市落地。而這些城市資源相對緊張，很難部署超大規(guī)模的IDC園區(qū)，取而代之的是更多的中小型的園區(qū)，所以60km以內(nèi)的光纖占比未來會變得更高，這也是100G QSFP28非相干彩光方案的一個重要場景。

  超過60公里的光纖范圍內(nèi)仍然采用傳統(tǒng)的相干方案，一種是100G/200G CFP2 DCO的交換機直出彩光方案，另一種是基于傳統(tǒng)OTN的簡化，我們稱之為Pizzabox OTN。

  100G QSFP28非相干彩光方案

  圖3是基于100G QSFP28 非相干技術(shù)實現(xiàn)的交換機直出彩光方案示意說明。

圖3 100G QSFP28非相干彩光方案示意圖

  兩個交換機通過QSFP28彩光模塊直接出彩光，中間OLS系統(tǒng)進行光放和合分波。我們聚焦于運營系統(tǒng)的設(shè)計，將整個系統(tǒng)定義成一個以太網(wǎng)的設(shè)備運維域，并從三個維度進行故障監(jiān)控和分析。

  在交換機上通過對彩光模塊提供的豐富接口進行監(jiān)控，監(jiān)控每一個光模塊或者每一個波長的性能參數(shù);當(dāng)發(fā)生故障時聯(lián)動OLS系統(tǒng)的告警信息，初步完成問題定界，并根據(jù)OLS自身的報警信息和故障影響范圍可基本完成故障點的判斷；極端故障場景下，可以在OLS外掛OSA進行逐波檢測以確認故障原因。

  Tencent Defined IPOC解決方案

  IPOC的目標是讓網(wǎng)絡(luò)變得更加開放，這意味著未來會有更多的供應(yīng)商能夠以白盒或灰盒的方式，幫助騰訊構(gòu)建網(wǎng)絡(luò)，同時這也對網(wǎng)絡(luò)運營提出了更高的挑戰(zhàn)。

  一方面，IPOC包含了光設(shè)備和IP設(shè)備，所以我們需要所有的IP設(shè)備或者光傳輸設(shè)備在硬件層面上盡可能保持統(tǒng)一。

  另一方面，無論是IP設(shè)備還是光傳輸設(shè)備，都需要具備軟硬件解耦能力。這樣讓用戶可以通過在商用OS之上的應(yīng)用開發(fā)，完成定制化的需求開發(fā)和快速迭代。