OCP如何應(yīng)對下一代數(shù)據(jù)中心的散熱設(shè)計挑戰(zhàn)？

  隨著高數(shù)據(jù)量需求的應(yīng)用不斷增長，超大規(guī)模數(shù)據(jù)中心的工作負(fù)載亦十分繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量大幅增加，促使數(shù)據(jù)中心架構(gòu)師開始尋找新方法以實現(xiàn)更高的數(shù)據(jù)速率和輸送量。

  目前，最先進(jìn)的網(wǎng)絡(luò)適配器（NIC）的每個接口具備200G的運行速度。如今，為了滿足數(shù)據(jù)中心日益增長的需求，業(yè)界正朝向使用400G NIC 的方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同步取得一系列進(jìn)展，而這絕非易事。

  在去年的開源計算項目（OCP）全球峰會上，我們發(fā)表的演講深入探討了伴隨這項轉(zhuǎn)變而來的散熱挑戰(zhàn)，以及我們合作的工作小組在解決這些挑戰(zhàn)上所采取的獨特方法。

  400G運作的散熱挑戰(zhàn)

  下一代數(shù)據(jù)中心會過渡至400G網(wǎng)絡(luò)適配器，因而面臨各種散熱方面的挑戰(zhàn)。

  我們面臨的第一項挑戰(zhàn)，是更高的數(shù)據(jù)速率會消耗更多功率。通過廣泛的研究、實驗和模擬，我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間是線性關(guān)系，其中數(shù)據(jù)速率提高一倍將使系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么？那就是網(wǎng)絡(luò)適配器從200G轉(zhuǎn)變成400G后，將使系統(tǒng)熱量大幅增加 。

  第二項挑戰(zhàn)在于可支持400G NIC的基礎(chǔ)設(shè)施。400G NIC與使用被動式直接連接電纜（DAC）的200G  NIC不同，它有時候可能需要使用到高功率主動式光纜 線（AOC）來支持?jǐn)?shù)據(jù)速率。這些高功率AOC的功耗可高達(dá)8W，會將自身的熱量導(dǎo)入系統(tǒng)，在以高數(shù)據(jù)速率純粹分析數(shù)據(jù)后，所增加的溫度之上再增溫。

  對基礎(chǔ)設(shè)施的質(zhì)疑

  這些迫在眉睫的散熱挑戰(zhàn)，使我們對目前的NIC環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生質(zhì)疑。我們與NIVIDIA和Meta兩家公司合作，開始更加深入地探究這項挑戰(zhàn)。

  我們所探究的一個主要重點在于外型尺寸。具體而言，我們研究了OCP NIC 3.0業(yè)界標(biāo)準(zhǔn)的小尺寸SFF（ small form factor）的可行性，看看它與建議高度較高的TSFF （tall SFF）相比如何。眾所周知，TSFF可以提供更多空間，因此能實現(xiàn)更優(yōu)異的輸入及輸出（I/O ）散熱解決方案，但在理想情況下，系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問題在于，SFF尺寸是否能為400G NIC提供可行的解決方案？或者是我們需要轉(zhuǎn)而將TSFF尺寸視為業(yè)界標(biāo)準(zhǔn)？

  這個問題很難給予直接的答復(fù)，因為有幾個變數(shù)可能會對結(jié)論有所影響。出于這個原因，我們的研究考慮了許多可能顯著影響散熱性能的因素，包括：

  · 外型尺寸：TSFF與SFF的比較

  · NIC ASIC的功率限制（僅限用DAC電纜）

  · 模組類型：QSFP-DD Type 1與Type 2A的比較

  · 監(jiān)測位置點：機(jī)箱后部上方的平均溫度、散熱器底座溫度和前端溫度

  · 測試設(shè)備類型：有/無測試裝置

  冷通道與熱通道的比較模擬試驗的設(shè)置與假設(shè)

  每一度攝氏溫度的變化，對結(jié)論都有影響，因為它涉及到可行性，因此有必要確保我們的模擬試驗足以代表一個現(xiàn)實且合理的情況。

  對此，我們的模擬試驗使用了TSFF和SFF兩種外型尺寸的OCP NIC 3.0網(wǎng)路接口卡來建立模型。NVIDIA慷慨地為我們的研究提供了可進(jìn)行模擬試驗的ASIC原型設(shè)計散熱模型ConnectX-6 DX。為了對ASIC原型設(shè)計進(jìn)行模擬試驗，我們假設(shè)功率上限為23W，并根據(jù)配備標(biāo)準(zhǔn)鋁制散熱器的裝置建立了模型。

  對于QSFP-DD類型模塊，我們使用了常態(tài)功耗為10.2W的多通道散熱模型。就像ASIC原型設(shè)計一樣，我們選擇為QSFP-DD模型配備了標(biāo)準(zhǔn)的鋁制散熱器，使覆蓋的受熱表面積最大化， 但不采用任何先進(jìn)的冷卻技術(shù)或材料，目的是要了解前面所強(qiáng)調(diào)的變數(shù)之間的相對影響。

  對于模擬試驗的環(huán)境，我們同時測試了熱通道和冷通道兩種環(huán)境。熱通道的環(huán)境溫度為55°C，氣流速度范圍為200至1000 LFM（ 每分鐘線性英尺，氣流方向從后至前。所有這些都符合OCP 3.0的技術(shù)規(guī)范。另外一個不同的環(huán)境是冷通道，模型環(huán)境溫度為35°C，氣流速度范圍為200到 600 LFM，氣流方向從前至后。

  如圖1所示，我們的模擬使用了符合OCP NIC 3.0規(guī)范的NVIDIA測試設(shè)備，包括安裝在測試室內(nèi)的兩張相同的網(wǎng)絡(luò)適配器。

圖1 我們在模擬中所使用的測試裝置和模型設(shè)置

  研究結(jié)果：外形尺寸的影響

  這個模擬試驗結(jié)果讓我們了解到，數(shù)個邊界條件和變數(shù)是如何對散熱性能產(chǎn)生了非零 影響（也就是說，不只是攝氏幾度）。

  在我們研究中，第一個值得注意的結(jié)果是，外型尺寸對QSFP-DD模型的散熱性能造成的重要影響。如圖2所示，我們發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF， 尤其是在氣流速度較低的時候。在這種情況下，散熱性能提高了高達(dá)6°C。盡管這個結(jié)果并不令人驚訝，但6°C的改進(jìn)幅度的確是很顯著。

圖2 在我們的模擬中發(fā)現(xiàn)，TSFF的散熱性能表現(xiàn)比SFF好。

  同樣地，我們的研究結(jié)果顯示，在熱通道應(yīng)用中使用TSFF尺寸時，ASIC原型設(shè)計的 散熱性能提高了10°C之多。另外，關(guān)于NIC ASIC原型設(shè)計的功率限制（采用被動式 DAC的應(yīng)用），對于QSFP-DD Type 1模塊與QSFP-DD Type 2A模塊，我們的研究 結(jié)果顯示，與在熱通道條件下的SFF相比，采用TSFF的模塊功率增加了約 2.5W。

  研究結(jié)果：還須考慮其他變數(shù)

  除了造型，我們的研究還深入了解模塊類型和監(jiān)測位置點對散熱結(jié)果的影響。在經(jīng)過與業(yè)界標(biāo)準(zhǔn)的卓越性能進(jìn)行比較之后，我們發(fā)現(xiàn)Type 2A的熱性能提高了大約4°C。這項改進(jìn)主要是因為Type 2A的QSFP-DD在模型本身前端 有一個外部整合的散熱器，同樣地，這并不令人驚訝，但仍然十分重要。

  最后，我們發(fā)現(xiàn)不同的監(jiān)測位置點（也就是模組上接受探測的點）之間存在 溫度偏差。例如，我們的模擬試驗顯示，監(jiān)測散熱器底座的溫度比監(jiān)測前端的結(jié)果低5 °C。如圖3所示，在量化NIC模組的熱性能時，監(jiān)測位置點顯然是一個不可忽視的考慮因素。

圖3 所使用的監(jiān)測位置點對散熱結(jié)果有重大影響

  研究結(jié)論

  我們的研究深入了解了幾個特定變數(shù)和邊界條件對散熱性能的影響，但研究結(jié)果并不是主要的結(jié)論。比起關(guān)于哪些設(shè)置能「合理呈現(xiàn)真實環(huán)境」的發(fā)現(xiàn)來得更加重要的是，這項研究告訴我們，業(yè)界需要就這些變數(shù)和邊界條件達(dá)成共識。

  以模塊類型和監(jiān)測位置點等變數(shù)為例子，我們的結(jié)果顯示，模塊類型對散熱性能會造成重大的影響，這個發(fā)現(xiàn)引起了一個疑問：除了將SFF尺寸排除作為用于 400G NIC可行的外型尺寸之外，是否可以保留SFF尺寸但改用Type 2A Q SFP-DD模塊？到目前為止，業(yè)界尚未達(dá)成共識，想要對SFF的可行性得出真正的結(jié)論，最要緊的是我們必須先把共識定義下來，并且得到業(yè)界的認(rèn)同。

  同樣地，業(yè)界目前也沒有針對監(jiān)測位置點達(dá)成一致的標(biāo)準(zhǔn)。我們的研究顯示，監(jiān)測散熱性能的位置點會對模擬結(jié)果產(chǎn)生重大影響，差距甚至可高達(dá)5°C。如果我們不能就監(jiān)測位置點達(dá)成一致的共識，那么所有的研究之間就缺乏統(tǒng)一性 ，這將使我們無法真正地去比較結(jié)果。這里要再次強(qiáng)調(diào)，OCP和整個業(yè)界要邁向400G NIC 發(fā)展，首先必須達(dá)成共識。

  呼吁采取行動

  要如何才能達(dá)成關(guān)鍵的業(yè)界共識？我們認(rèn)為，需要模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心架構(gòu)師等多個專業(yè)領(lǐng)域人士的參與。這樣的合作將協(xié)助OCP更適當(dāng)?shù)貐f(xié)調(diào)可實現(xiàn)的目標(biāo)，并確定最合適的環(huán)境來進(jìn)行這些可行性研究。而且，由于到目前為止的研究所涵蓋的范圍并不全面，我們還必須另外考慮其他的變數(shù)，包括采用QSFP-DD主動電纜（ AEC）的可行性，預(yù)計其排出的熱量將低于AOC。如果業(yè)界發(fā)現(xiàn)SFF無法適用AOC，下一步可能是考慮使用主動式線纜 (AEC)。再加上，如果我們希望發(fā)展采用TSFF尺寸的網(wǎng)絡(luò)適配卡，就需要將研究 內(nèi)容擴(kuò)大，以涵蓋采用整合散熱器的八個電氣通道設(shè)計模塊（OSFP-RHS） 端口的可行性。

  多方合作對于達(dá)成散熱設(shè)計共識極為重要，而OCP組織將發(fā)揮關(guān)鍵作用。Molex莫仕很榮幸能與Meta和NVIDIA合作對相關(guān)的下一代解決方案進(jìn)行研究。我們合作設(shè)計測試方案，并仔細(xì)進(jìn)行模擬以量化每一個已定義變數(shù)的影響， 然后共同分析結(jié)果，并在數(shù)據(jù)中心要求提高溫度時，尋求達(dá)到新性能水準(zhǔn)的方法。