浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)應用技術分析（下）

  引言

  前一期我們的文章《浸沒式液冷數(shù)據(jù)中心技術淺析》中我們已經(jīng)總體分析了浸沒式液冷的技術特點與應用優(yōu)勢與發(fā)展的前景。采用浸沒式液冷這種技術的最終目的是想要提高數(shù)據(jù)中心單機柜的功率從而提升單位面積的計算密度，與此同時實現(xiàn)單位能源與資源消耗的最大能效比，即實現(xiàn)綠色節(jié)能的目標。所以提升IT設備運行效率是浸沒式液冷數(shù)據(jù)中心追求的目標。而作為IT設備數(shù)據(jù)通信的紐帶即數(shù)據(jù)中心網(wǎng)絡布線系統(tǒng)，我們需要考慮的是當布線系統(tǒng)浸沒于冷卻液的情況下，需要分析傳統(tǒng)的布線系統(tǒng)是否還適合于這種場景，冷卻液的化學特性決定了布線系統(tǒng)的材料選擇上有不同。如果傳輸系統(tǒng)采用光學，光學通信接口浸沒于冷卻液的情況下會有不同的要求等等需要重新考慮。隨著網(wǎng)絡傳輸速率從主干100G升級到400G以及未來的800G，對于布線系統(tǒng)性能的敏感性更高?；诖?，浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)的要求值得我們作專題探討。

  浸沒式液冷對布線系統(tǒng)的要求

  一，冷卻液材料兼容性的要求：

  由于冷卻液是一種復合性的化學材料，當整體布線系統(tǒng)長期浸入冷卻液時，需要驗證布線系統(tǒng)的每種材料與冷卻液的相容性問題，會不會由于長期浸泡產(chǎn)生化學反應而導致出現(xiàn)問題。我們以業(yè)界比較知名的3M公司的兩種最常用的冷卻液用于單相液冷3M? Fluorinert? FC-3283以及兩相液冷3M? Fluorinert? FC-72為例，可以參考相關的兼容性的要求如下：

注：材料兼容性分類表來源于3M

  二，高帶寬對布線系統(tǒng)的要求：

  傳統(tǒng)數(shù)據(jù)中心由于采用風冷為主，基于風冷的制冷效率，需要防止服務器過熱導致無法穩(wěn)定運行，這是服務器運算效率無法提升的瓶頸，傳統(tǒng)數(shù)據(jù)中心普遍單機柜的配電量在10KW以下，而浸沒式液冷數(shù)據(jù)中心由于冷卻效率高于傳統(tǒng)的數(shù)據(jù)中心25倍，從而單機柜的配電量可以達到50KW以上甚至未來達到100KW。這樣的功率密度下，浸沒式液冷數(shù)據(jù)中心的運算與處理效率是傳統(tǒng)數(shù)據(jù)中心幾倍甚至幾十倍，所以浸沒式液冷數(shù)據(jù)中心天然地適合于高性能運算并需要高帶寬的網(wǎng)絡支持，服務器端口可以有支持50G/100G及未來200G/400G,而主干應用可以支持100G/400G以及未來800G以上的帶寬的應用，甚至不排除未來采用CPO集成式封裝的光器件支持1.6T及以上。基于以上的帶寬的要求，高帶寬應用的主流傳輸技術主要依靠光纖技術。采用浸沒式液冷的數(shù)據(jù)中心必然與高帶寬的網(wǎng)絡相配套，所以對布線系統(tǒng)的要求主體需要重點關注于高帶寬的光纖布線系統(tǒng)。

注：圖片來源于3M

  三，可維護性與管理的要求：

  浸沒式液冷數(shù)據(jù)中心應用條件高密度是一個重要特征，高密度的條件下數(shù)據(jù)中心網(wǎng)絡路由錯綜復雜。數(shù)據(jù)中心的布線系統(tǒng)不僅僅是要滿足帶寬的要求，同時布線系統(tǒng)也是對整體數(shù)據(jù)中心網(wǎng)絡路由起到管理的作用。數(shù)據(jù)中心布線系統(tǒng)的管理主要涉及到IT設備間的系統(tǒng)路由的標識、設備新增移動時的系統(tǒng)管理，設備維護及測試檢修時的系統(tǒng)管理等多個方面。浸沒式液冷數(shù)據(jù)中心的機柜與傳統(tǒng)數(shù)據(jù)中心機柜不同，浸沒式液冷機柜為了防止冷卻液的揮發(fā)，通常是采用封閉式的箱體。在這樣的條件下需要用更創(chuàng)新的布線系統(tǒng)實現(xiàn)系統(tǒng)的可維護性與管理的要求。

注：圖片來源于3M

  浸沒式液冷對布線系統(tǒng)的挑戰(zhàn)：

  一，布線材料與冷卻液的化學不兼容的挑戰(zhàn)

  不兼容性會導致產(chǎn)生化學反應，使得布線產(chǎn)品的從材料的角度產(chǎn)生變脆、熔脹等問題，或布線產(chǎn)品的材料與冷卻液惡化，或產(chǎn)生燃燒，高壓分解等不可預測的問題，這將是有別是傳統(tǒng)布線系統(tǒng)所沒有的挑戰(zhàn)。

  二，光學性能的挑戰(zhàn)

  光纖布線系統(tǒng)浸沒于冷卻液中，光纖端面可能流入冷卻液，而冷卻液體與石英玻璃材料的光學折射率不同，導致衰減過大或根本無法正常通信，而之前分析中浸沒式液冷的數(shù)據(jù)中心通常應用于高性能計算等帶寬要求高的場景，這種場景對于光學性能要求更高，這將是面臨的另一個挑戰(zhàn)。

  三，系統(tǒng)管理上的挑戰(zhàn)

  所有布線系統(tǒng)安裝于封閉式液冷柜內(nèi)，布線系統(tǒng)又浸沒于冷卻液內(nèi)，如何才能便利地高效地對系統(tǒng)路由進行維護與管理將變成一個大問題，如果處理不當，將可能導致系統(tǒng)宕機并產(chǎn)生重大經(jīng)濟損失。

  浸沒式液冷布線系統(tǒng)解決方案

  數(shù)據(jù)中心布線系統(tǒng)與網(wǎng)絡結(jié)構(gòu)直接相關，數(shù)據(jù)中心的布線系統(tǒng)的管理核心在于核心網(wǎng)絡Core Network位置的MDA主配線區(qū)域的管理，同時對于數(shù)據(jù)中心Spine主干網(wǎng)絡的匯聚層IDA中間配線區(qū)或接邊緣網(wǎng)絡Leaf交換機位置的HDA水平配線區(qū)，當此處采用交叉布線管理時，此處可以仍然采用非浸入式的管理，保持管理的便利與效率。而液冷柜內(nèi)的網(wǎng)絡主要是處于TOR架構(gòu)的EDA區(qū)域，此處需要采用特殊的布線系統(tǒng)進行連接與管理，總體的架構(gòu)的圖示如下：

系統(tǒng)架構(gòu)圖

系統(tǒng)平面圖展示

  在高性能計算的場景下，采用光纖系統(tǒng)顯然是保證帶寬要求的最佳系統(tǒng)，當然在傳輸速率不高以及傳輸距離5米以下的情況下，DAC直連銅纜也可以實現(xiàn)部分目標，但柜內(nèi)的數(shù)據(jù)中心應用不僅僅是TOR的短距離連接，還有部分布線是從TOR交換機上行的線纜，這部分線纜距離比較長，DAC無法滿足要求。而如果采用傳統(tǒng)的光模塊加光纖跳線產(chǎn)品的配合的情況下，如果要達到理想的高帶寬以及高的交換機端口密度，難于保證光模塊端部的光纖連接在冷卻液進入后的正常光通信?；谝陨戏治觯乱淮?A href="http://m.getprofitprime.com/site/CN/Search.aspx?page=1&keywords=%e6%b5%b8%e6%b2%a1%e5%bc%8f&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">浸沒式液冷的AOC產(chǎn)品可以實現(xiàn)帶寬與傳輸距離的要求，在AOC上采用創(chuàng)新的專用防水連接即保證的維護管理的便利性，同時在光收發(fā)器內(nèi)部采用專用的防水設計可以保證AOC在整體光學通道上與冷卻液的隔離，從而不會影響高帶寬狀態(tài)下的通信。

液冷柜專用AOC配線系統(tǒng)

液冷柜專用AOC上的Mini-RMC防水連接

  上圖為創(chuàng)新的防水AOC的解決方案，每個液冷柜可以安裝上AOC的配線系統(tǒng)，每根液冷柜專用AOC上安裝有Mini-RMC防水連接器，此連接器可以達到IP67級的防水，AOC可以支持單模或多模多芯2-16芯光纖的應用，達到100G/200G/400G的應用，未來可以擴展到800G。Mini-RMC配合專用配線槽可以靈活安裝于液冷柜內(nèi)部或機體側(cè)面，應用時不用插拔AOC兩端浸在冷卻液側(cè)的收發(fā)器，有需要時可以快速通過打開每根AOC中間的Mini-RMC連接器進行管理、維護與檢測。

  關于我們文章前面提及的材料與冷卻液的兼容性問題，需要做浸沒液冷的材料兼容性驗證，以3M的冷卻液為例，高沸點單相液體(FC-3283)采用80度下浸泡48小時后的兼容性模擬真實條件下的測試，低沸點兩相液體(FC-72)采用索式提取器萃取48小時后的兼容性模擬極端條件下的測試，所有經(jīng)過實驗室測試驗證后的布線系統(tǒng)，才能應用到浸沒式的液冷數(shù)據(jù)中心內(nèi)。

  趨勢與展望

  浸沒式液冷數(shù)據(jù)中心是數(shù)據(jù)中心基礎設施的重大創(chuàng)新，解決了數(shù)據(jù)中心長期以來單機柜功率無法幾何級提升的難題。當前來看浸沒式液冷的總體成本比傳統(tǒng)數(shù)據(jù)中心要高，但在部分高性能計算以及超低PUE目標的催生下，這將成為數(shù)據(jù)中心技術發(fā)展的路線之一，而且市場年均增長率超過30%，是快速發(fā)展的潛力市場。與之相配套的浸沒式液冷數(shù)據(jù)中心的布線系統(tǒng)需要根據(jù)環(huán)境要求進行配套創(chuàng)新，長期來看，基于AOC技術的布線在解決上述三大挑戰(zhàn)后，將成為浸沒式液冷應用的優(yōu)先選擇的對象，德國羅森伯格以Mini-RMC的連接技術為基礎進行系統(tǒng)化創(chuàng)新并結(jié)合防冷卻液的AOC定制化開發(fā)將為未來浸沒式液冷數(shù)據(jù)中心布線系統(tǒng)的應用鋪平道路。