OCP如何應(yīng)對(duì)下一代數(shù)據(jù)中心的散熱設(shè)計(jì)挑戰(zhàn)？

  隨著高數(shù)據(jù)量需求的應(yīng)用不斷增長(zhǎng)，超大規(guī)模數(shù)據(jù)中心的工作負(fù)載亦十分繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量大幅增加，促使數(shù)據(jù)中心架構(gòu)師開(kāi)始尋找新方法以實(shí)現(xiàn)更高的數(shù)據(jù)速率和輸送量。

  目前，最先進(jìn)的網(wǎng)絡(luò)適配器（NIC）的每個(gè)接口具備200G的運(yùn)行速度。如今，為了滿足數(shù)據(jù)中心日益增長(zhǎng)的需求，業(yè)界正朝向使用400G NIC 的方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同步取得一系列進(jìn)展，而這絕非易事。

  在去年的開(kāi)源計(jì)算項(xiàng)目（OCP）全球峰會(huì)上，我們發(fā)表的演講深入探討了伴隨這項(xiàng)轉(zhuǎn)變而來(lái)的散熱挑戰(zhàn)，以及我們合作的工作小組在解決這些挑戰(zhàn)上所采取的獨(dú)特方法。

  400G運(yùn)作的散熱挑戰(zhàn)

  下一代數(shù)據(jù)中心會(huì)過(guò)渡至400G網(wǎng)絡(luò)適配器，因而面臨各種散熱方面的挑戰(zhàn)。

  我們面臨的第一項(xiàng)挑戰(zhàn)，是更高的數(shù)據(jù)速率會(huì)消耗更多功率。通過(guò)廣泛的研究、實(shí)驗(yàn)和模擬，我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間是線性關(guān)系，其中數(shù)據(jù)速率提高一倍將使系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么？那就是網(wǎng)絡(luò)適配器從200G轉(zhuǎn)變成400G后，將使系統(tǒng)熱量大幅增加 。

  第二項(xiàng)挑戰(zhàn)在于可支持400G NIC的基礎(chǔ)設(shè)施。400G NIC與使用被動(dòng)式直接連接電纜（DAC）的200G  NIC不同，它有時(shí)候可能需要使用到高功率主動(dòng)式光纜 線（AOC）來(lái)支持?jǐn)?shù)據(jù)速率。這些高功率AOC的功耗可高達(dá)8W，會(huì)將自身的熱量導(dǎo)入系統(tǒng)，在以高數(shù)據(jù)速率純粹分析數(shù)據(jù)后，所增加的溫度之上再增溫。

  對(duì)基礎(chǔ)設(shè)施的質(zhì)疑

  這些迫在眉睫的散熱挑戰(zhàn)，使我們對(duì)目前的NIC環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生質(zhì)疑。我們與NIVIDIA和Meta兩家公司合作，開(kāi)始更加深入地探究這項(xiàng)挑戰(zhàn)。

  我們所探究的一個(gè)主要重點(diǎn)在于外型尺寸。具體而言，我們研究了OCP NIC 3.0業(yè)界標(biāo)準(zhǔn)的小尺寸SFF（ small form factor）的可行性，看看它與建議高度較高的TSFF （tall SFF）相比如何。眾所周知，TSFF可以提供更多空間，因此能實(shí)現(xiàn)更優(yōu)異的輸入及輸出（I/O ）散熱解決方案，但在理想情況下，系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問(wèn)題在于，SFF尺寸是否能為400G NIC提供可行的解決方案？或者是我們需要轉(zhuǎn)而將TSFF尺寸視為業(yè)界標(biāo)準(zhǔn)？

  這個(gè)問(wèn)題很難給予直接的答復(fù)，因?yàn)橛袔讉€(gè)變數(shù)可能會(huì)對(duì)結(jié)論有所影響。出于這個(gè)原因，我們的研究考慮了許多可能顯著影響散熱性能的因素，包括：

  · 外型尺寸：TSFF與SFF的比較

  · NIC ASIC的功率限制（僅限用DAC電纜）

  · 模組類型：QSFP-DD Type 1與Type 2A的比較

  · 監(jiān)測(cè)位置點(diǎn)：機(jī)箱后部上方的平均溫度、散熱器底座溫度和前端溫度

  · 測(cè)試設(shè)備類型：有/無(wú)測(cè)試裝置

  冷通道與熱通道的比較模擬試驗(yàn)的設(shè)置與假設(shè)

  每一度攝氏溫度的變化，對(duì)結(jié)論都有影響，因?yàn)樗婕暗娇尚行?，因此有必要確保我們的模擬試驗(yàn)足以代表一個(gè)現(xiàn)實(shí)且合理的情況。

  對(duì)此，我們的模擬試驗(yàn)使用了TSFF和SFF兩種外型尺寸的OCP NIC 3.0網(wǎng)路接口卡來(lái)建立模型。NVIDIA慷慨地為我們的研究提供了可進(jìn)行模擬試驗(yàn)的ASIC原型設(shè)計(jì)散熱模型ConnectX-6 DX。為了對(duì)ASIC原型設(shè)計(jì)進(jìn)行模擬試驗(yàn)，我們假設(shè)功率上限為23W，并根據(jù)配備標(biāo)準(zhǔn)鋁制散熱器的裝置建立了模型。

  對(duì)于QSFP-DD類型模塊，我們使用了常態(tài)功耗為10.2W的多通道散熱模型。就像ASIC原型設(shè)計(jì)一樣，我們選擇為QSFP-DD模型配備了標(biāo)準(zhǔn)的鋁制散熱器，使覆蓋的受熱表面積最大化， 但不采用任何先進(jìn)的冷卻技術(shù)或材料，目的是要了解前面所強(qiáng)調(diào)的變數(shù)之間的相對(duì)影響。

  對(duì)于模擬試驗(yàn)的環(huán)境，我們同時(shí)測(cè)試了熱通道和冷通道兩種環(huán)境。熱通道的環(huán)境溫度為55°C，氣流速度范圍為200至1000 LFM（ 每分鐘線性英尺，氣流方向從后至前。所有這些都符合OCP 3.0的技術(shù)規(guī)范。另外一個(gè)不同的環(huán)境是冷通道，模型環(huán)境溫度為35°C，氣流速度范圍為200到 600 LFM，氣流方向從前至后。

  如圖1所示，我們的模擬使用了符合OCP NIC 3.0規(guī)范的NVIDIA測(cè)試設(shè)備，包括安裝在測(cè)試室內(nèi)的兩張相同的網(wǎng)絡(luò)適配器。

圖1 我們?cè)谀M中所使用的測(cè)試裝置和模型設(shè)置

  研究結(jié)果：外形尺寸的影響

  這個(gè)模擬試驗(yàn)結(jié)果讓我們了解到，數(shù)個(gè)邊界條件和變數(shù)是如何對(duì)散熱性能產(chǎn)生了非零 影響（也就是說(shuō)，不只是攝氏幾度）。

  在我們研究中，第一個(gè)值得注意的結(jié)果是，外型尺寸對(duì)QSFP-DD模型的散熱性能造成的重要影響。如圖2所示，我們發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF， 尤其是在氣流速度較低的時(shí)候。在這種情況下，散熱性能提高了高達(dá)6°C。盡管這個(gè)結(jié)果并不令人驚訝，但6°C的改進(jìn)幅度的確是很顯著。

圖2 在我們的模擬中發(fā)現(xiàn)，TSFF的散熱性能表現(xiàn)比SFF好。

  同樣地，我們的研究結(jié)果顯示，在熱通道應(yīng)用中使用TSFF尺寸時(shí)，ASIC原型設(shè)計(jì)的 散熱性能提高了10°C之多。另外，關(guān)于NIC ASIC原型設(shè)計(jì)的功率限制（采用被動(dòng)式 DAC的應(yīng)用），對(duì)于QSFP-DD Type 1模塊與QSFP-DD Type 2A模塊，我們的研究 結(jié)果顯示，與在熱通道條件下的SFF相比，采用TSFF的模塊功率增加了約 2.5W。

  研究結(jié)果：還須考慮其他變數(shù)

  除了造型，我們的研究還深入了解模塊類型和監(jiān)測(cè)位置點(diǎn)對(duì)散熱結(jié)果的影響。在經(jīng)過(guò)與業(yè)界標(biāo)準(zhǔn)的卓越性能進(jìn)行比較之后，我們發(fā)現(xiàn)Type 2A的熱性能提高了大約4°C。這項(xiàng)改進(jìn)主要是因?yàn)門ype 2A的QSFP-DD在模型本身前端 有一個(gè)外部整合的散熱器，同樣地，這并不令人驚訝，但仍然十分重要。

  最后，我們發(fā)現(xiàn)不同的監(jiān)測(cè)位置點(diǎn)（也就是模組上接受探測(cè)的點(diǎn)）之間存在 溫度偏差。例如，我們的模擬試驗(yàn)顯示，監(jiān)測(cè)散熱器底座的溫度比監(jiān)測(cè)前端的結(jié)果低5 °C。如圖3所示，在量化NIC模組的熱性能時(shí)，監(jiān)測(cè)位置點(diǎn)顯然是一個(gè)不可忽視的考慮因素。

圖3 所使用的監(jiān)測(cè)位置點(diǎn)對(duì)散熱結(jié)果有重大影響

  研究結(jié)論

  我們的研究深入了解了幾個(gè)特定變數(shù)和邊界條件對(duì)散熱性能的影響，但研究結(jié)果并不是主要的結(jié)論。比起關(guān)于哪些設(shè)置能「合理呈現(xiàn)真實(shí)環(huán)境」的發(fā)現(xiàn)來(lái)得更加重要的是，這項(xiàng)研究告訴我們，業(yè)界需要就這些變數(shù)和邊界條件達(dá)成共識(shí)。

  以模塊類型和監(jiān)測(cè)位置點(diǎn)等變數(shù)為例子，我們的結(jié)果顯示，模塊類型對(duì)散熱性能會(huì)造成重大的影響，這個(gè)發(fā)現(xiàn)引起了一個(gè)疑問(wèn)：除了將SFF尺寸排除作為用于 400G NIC可行的外型尺寸之外，是否可以保留SFF尺寸但改用Type 2A Q SFP-DD模塊？到目前為止，業(yè)界尚未達(dá)成共識(shí)，想要對(duì)SFF的可行性得出真正的結(jié)論，最要緊的是我們必須先把共識(shí)定義下來(lái)，并且得到業(yè)界的認(rèn)同。

  同樣地，業(yè)界目前也沒(méi)有針對(duì)監(jiān)測(cè)位置點(diǎn)達(dá)成一致的標(biāo)準(zhǔn)。我們的研究顯示，監(jiān)測(cè)散熱性能的位置點(diǎn)會(huì)對(duì)模擬結(jié)果產(chǎn)生重大影響，差距甚至可高達(dá)5°C。如果我們不能就監(jiān)測(cè)位置點(diǎn)達(dá)成一致的共識(shí)，那么所有的研究之間就缺乏統(tǒng)一性 ，這將使我們無(wú)法真正地去比較結(jié)果。這里要再次強(qiáng)調(diào)，OCP和整個(gè)業(yè)界要邁向400G NIC 發(fā)展，首先必須達(dá)成共識(shí)。

  呼吁采取行動(dòng)

  要如何才能達(dá)成關(guān)鍵的業(yè)界共識(shí)？我們認(rèn)為，需要模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心架構(gòu)師等多個(gè)專業(yè)領(lǐng)域人士的參與。這樣的合作將協(xié)助OCP更適當(dāng)?shù)貐f(xié)調(diào)可實(shí)現(xiàn)的目標(biāo)，并確定最合適的環(huán)境來(lái)進(jìn)行這些可行性研究。而且，由于到目前為止的研究所涵蓋的范圍并不全面，我們還必須另外考慮其他的變數(shù)，包括采用QSFP-DD主動(dòng)電纜（ AEC）的可行性，預(yù)計(jì)其排出的熱量將低于AOC。如果業(yè)界發(fā)現(xiàn)SFF無(wú)法適用AOC，下一步可能是考慮使用主動(dòng)式線纜 (AEC)。再加上，如果我們希望發(fā)展采用TSFF尺寸的網(wǎng)絡(luò)適配卡，就需要將研究 內(nèi)容擴(kuò)大，以涵蓋采用整合散熱器的八個(gè)電氣通道設(shè)計(jì)模塊（OSFP-RHS） 端口的可行性。

  多方合作對(duì)于達(dá)成散熱設(shè)計(jì)共識(shí)極為重要，而OCP組織將發(fā)揮關(guān)鍵作用。Molex莫仕很榮幸能與Meta和NVIDIA合作對(duì)相關(guān)的下一代解決方案進(jìn)行研究。我們合作設(shè)計(jì)測(cè)試方案，并仔細(xì)進(jìn)行模擬以量化每一個(gè)已定義變數(shù)的影響， 然后共同分析結(jié)果，并在數(shù)據(jù)中心要求提高溫度時(shí)，尋求達(dá)到新性能水準(zhǔn)的方法。