康寧光通信：脊葉網(wǎng)絡(luò)架構(gòu)下的布線系統(tǒng)

  網(wǎng)格結(jié)構(gòu)化的布線模塊可以讓數(shù)據(jù)中心管理員最大限度地利用網(wǎng)絡(luò)投資。在過(guò)去十年中，隨著網(wǎng)絡(luò)規(guī)模的增長(zhǎng)，我們可以看到網(wǎng)絡(luò)從傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)向更平坦、更寬的脊葉架構(gòu)的轉(zhuǎn)變。憑借其完全網(wǎng)狀的連接方式，脊葉架構(gòu)為我們提供了我們所渴望的可預(yù)測(cè)的高速網(wǎng)絡(luò)性能，以及網(wǎng)絡(luò)交換結(jié)構(gòu)中的可靠性。

  但是在有諸多優(yōu)點(diǎn)的同時(shí)，脊葉結(jié)構(gòu)在結(jié)構(gòu)化布線方面也提出了挑戰(zhàn)。在本文中，我們將研究如何構(gòu)建和擴(kuò)展一個(gè)4路脊柱，并逐步發(fā)展到更多的脊柱網(wǎng)絡(luò)(如16路脊柱)，并在網(wǎng)絡(luò)發(fā)展過(guò)程中保持線速度切換能力和冗余。我們也將在結(jié)構(gòu)化布線的主要區(qū)域內(nèi)，探討兩種方法的優(yōu)點(diǎn)和缺點(diǎn)：一種方法使用傳統(tǒng)的光纖跳線，另一種使用光學(xué)網(wǎng)格模塊。

  發(fā)展簡(jiǎn)史

  自20世紀(jì)80年代作為局域網(wǎng)(LAN)協(xié)議問(wèn)世以來(lái)，以太網(wǎng)以其簡(jiǎn)單的算法和低廉的制造成本，一直是數(shù)據(jù)中心和互聯(lián)網(wǎng)發(fā)展的推動(dòng)力。以太網(wǎng)交換機(jī)在切換之前會(huì)查看它接收到的每一個(gè)包。它只打開(kāi)外層信封來(lái)讀取第2層的地址，而不用讀取IP地址。這允許以太網(wǎng)交換機(jī)非?？焖俚匾苿?dòng)數(shù)據(jù)包。

  盡管以太網(wǎng)效率很高，但隨著網(wǎng)絡(luò)規(guī)模的增大，它也存在一些缺點(diǎn)。在一個(gè)由多個(gè)以太網(wǎng)交換機(jī)組成的網(wǎng)絡(luò)中，為了阻止地址解析協(xié)議(ARP)請(qǐng)求等廣播包在網(wǎng)絡(luò)中泛濫和循環(huán)，使用了一種稱(chēng)為生成樹(shù)協(xié)議(STP)的技術(shù)。STP阻塞冗余鏈接以防止網(wǎng)絡(luò)中發(fā)生循環(huán)。在STP技術(shù)上運(yùn)行的網(wǎng)絡(luò)在主鏈路失敗時(shí)使用冗余鏈路作為故障轉(zhuǎn)移。這為基礎(chǔ)結(jié)構(gòu)提供了彈性，代價(jià)是可用帶寬的利用率僅為一半。

  過(guò)去很長(zhǎng)的一段時(shí)間，我們都在使用生成樹(shù)的邏輯來(lái)構(gòu)建網(wǎng)絡(luò)，直到我們遇到了一系列新的問(wèn)題。第一個(gè)問(wèn)題是我們的雙核網(wǎng)絡(luò)有限，沒(méi)有增長(zhǎng)空間(為了服務(wù)越來(lái)越多的客戶(hù)，我們的網(wǎng)絡(luò)需要相應(yīng)地增長(zhǎng))。第二個(gè)問(wèn)題是延遲。如果我們有一個(gè)大的網(wǎng)絡(luò)，我們通常把它們分成更小的網(wǎng)絡(luò)，我們稱(chēng)之為虛擬局域網(wǎng)(VLAN)。這將導(dǎo)致不同類(lèi)型的數(shù)據(jù)流量具有不同的延遲。與通過(guò)第3層核心的不同VLAN之間的流量相比，在單個(gè)VLAN中通過(guò)第2層網(wǎng)絡(luò)的流量具有不同的延遲。

支持生成樹(shù)協(xié)議的典型三層網(wǎng)絡(luò)。冗余鏈接被阻止，以防止網(wǎng)絡(luò)循環(huán)。

  脊葉架構(gòu)簡(jiǎn)介

  現(xiàn)代電子商務(wù)、社交媒體和云應(yīng)用程序大多使用分布式計(jì)算為客戶(hù)服務(wù)。分布式計(jì)算是指服務(wù)器與服務(wù)器進(jìn)行對(duì)話并并行工作，以創(chuàng)建動(dòng)態(tài)web頁(yè)面并回答客戶(hù)問(wèn)題;它需要相同的延遲。等待結(jié)果會(huì)讓客戶(hù)不滿意。我們需要一個(gè)網(wǎng)絡(luò)架構(gòu)，它可以均勻地增長(zhǎng)，并為現(xiàn)代應(yīng)用程序提供統(tǒng)一的延遲。

  這些問(wèn)題的解決方案來(lái)自于一種網(wǎng)絡(luò)架構(gòu)，即今天所說(shuō)的“脊葉架構(gòu)”。自1952年Charles Clos首次引入多級(jí)電路交換網(wǎng)絡(luò)(也稱(chēng)為Clos網(wǎng)絡(luò))以來(lái)，這個(gè)想法就一直存在。這種網(wǎng)絡(luò)架構(gòu)的主干稱(chēng)為脊(Spin)，每個(gè)葉(Leaf)都通過(guò)脊連接到進(jìn)一步擴(kuò)展的網(wǎng)絡(luò)資源。只需添加更多的脊或葉交換機(jī)，網(wǎng)絡(luò)就可以均勻地增長(zhǎng)，而不會(huì)改變網(wǎng)絡(luò)性能。

  與傳統(tǒng)的3層架構(gòu)相比，網(wǎng)絡(luò)的脊部分水平增長(zhǎng)，約束了網(wǎng)絡(luò)的層數(shù)。例如，通過(guò)雙向脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)，支持多達(dá)6000臺(tái)主機(jī)，通過(guò)4路脊網(wǎng)絡(luò)，我們可以建立網(wǎng)絡(luò)多達(dá)12000臺(tái)主機(jī)，通過(guò)16路脊網(wǎng)絡(luò)，我們可以超過(guò)100,000臺(tái)10-GbE主機(jī)。

  其次，所有的葉交換機(jī)都連接到架構(gòu)中每個(gè)可用的脊交換機(jī)。這種完全網(wǎng)格化的架構(gòu)允許任何連接到葉的主機(jī)只使用兩個(gè)躍點(diǎn)連接其他主機(jī)，即交換機(jī)到交換機(jī)連接。例如，從葉交換機(jī)1到脊交換機(jī)1，然后從脊交換機(jī)1到葉交換機(jī)10。因?yàn)檎麄€(gè)脊層是用冗余方式構(gòu)建的(在脊或葉交換機(jī)宕機(jī)的情況下)，所以可以自動(dòng)使用替代路徑和資源。

  建立脊葉結(jié)構(gòu)網(wǎng)絡(luò)的基本規(guī)則如下：

  · 主要構(gòu)建模塊是網(wǎng)絡(luò)葉交換機(jī)和網(wǎng)絡(luò)脊交換機(jī)。

  · 所有主機(jī)只能連接到葉交換機(jī)。

  · 葉交換機(jī)控制服務(wù)器之間的流量。

  · 脊交換機(jī)在第2層或第3層的葉子交換機(jī)之間沿著最佳路徑向前切換流量。

  · 葉交換機(jī)上的上行端口數(shù)量決定了脊交換機(jī)的最大數(shù)量。

  · 脊交換機(jī)端口數(shù)量決定葉交換機(jī)的最大數(shù)量

  這些原則影響交換機(jī)制造商設(shè)計(jì)其設(shè)備的方式。

  仔細(xì)觀察一下脊交換機(jī)。如果我們觀察一個(gè)典型的脊交換機(jī)，第一眼我們注意到多個(gè)擴(kuò)展槽，例如4或8個(gè)來(lái)接受不同的線卡，用于連接葉交換機(jī)上行鏈路。

  在一個(gè)脊葉網(wǎng)絡(luò)結(jié)構(gòu)中，葉交換機(jī)控制服務(wù)器之間的流量，而脊交換機(jī)沿著葉交換機(jī)之間的最佳路徑轉(zhuǎn)發(fā)流量。一個(gè)被稱(chēng)為16路脊的架構(gòu)可以擴(kuò)展到支持超過(guò)100,000個(gè)10千兆位以太網(wǎng)主機(jī)。

  板卡可以有不同的類(lèi)型，例如36x40G QSFP(用于40-Gig)端口或32x100G QSFP28(用于100-Gig)端口。QSFP (Quad small form pluggable)和QSFP28端口是空的，因此必須分別購(gòu)買(mǎi)單?；蚨嗄Ｊ瞻l(fā)機(jī)或有源光纜(AOC)，或雙絞電纜。一般規(guī)則是，脊交換機(jī)上可用端口的數(shù)量決定可以連接到脊的葉交換機(jī)的數(shù)量，從而決定可以連接到網(wǎng)絡(luò)的最大服務(wù)器數(shù)量。

  接下來(lái)，我們將看到監(jiān)控模塊監(jiān)控和管理整個(gè)交換機(jī)的操作。電源支持層提供充裕的電力，在脊交換機(jī)的背面，我們通常有網(wǎng)絡(luò)模塊，來(lái)協(xié)調(diào)不同線卡之間的流量。在脊交換機(jī)的板卡上，均勻分布葉交換機(jī)的上行鏈路連接，減少了通過(guò)結(jié)構(gòu)模塊的數(shù)據(jù)量，從而顯著提高交換機(jī)性能。

  這增加了端到端包裹交付時(shí)間，也就意味著延遲，并需要采購(gòu)額外的交叉板卡，而這意味著額外的成本。在接下來(lái)的章節(jié)中，我們將討論如何使用布線解決這些問(wèn)題。

  仔細(xì)觀察葉交換機(jī)。當(dāng)討論葉交換機(jī)時(shí)，主要考慮的是上行端口的數(shù)量，它決定了可以連接到多少個(gè)脊交換機(jī)，以及下行端口的數(shù)量，它決定了可以連接到葉交換機(jī)的主機(jī)數(shù)量。上行鏈路端口可以支持40/100G速度，下行鏈路端口可以根據(jù)您計(jì)劃使用的模塊在10G/25G/40G/50G之間進(jìn)行選擇。

  擴(kuò)展具有冗余和線速交換的脊葉網(wǎng)絡(luò)。讓我們考慮一下這種情況。我們有兩個(gè)脊交換機(jī)，每個(gè)脊交換機(jī)上有四張板卡，但是每個(gè)葉交換機(jī)上只有四個(gè)上行端口。是否可以將這4個(gè)上行鏈路分布在8個(gè)板卡中，以保持冗余和線速交換?

  如果我們使用40G SR4收發(fā)器，我們知道它們實(shí)際上是由4x10G SR收發(fā)機(jī)組成的，一個(gè)40G- SR4端口可以被視為四個(gè)獨(dú)立的10G端口。這稱(chēng)為端口分開(kāi)應(yīng)用(portbreak-outapplication)。端口分開(kāi)允許我們擴(kuò)展和冗余，因?yàn)槲覀償U(kuò)展網(wǎng)絡(luò)的方式，傳統(tǒng)技術(shù)上做不到。例如，可以將2x40G SR4收發(fā)器拆分為8 x10G端口，并輕松地將它們分布在8個(gè)板卡上。

  使用傳統(tǒng)端口分開(kāi)的方法進(jìn)行交叉連接——為了表示這一點(diǎn)，讓我們使用康寧EDGE® 解決方案端口分開(kāi)模塊創(chuàng)建一個(gè)10G的交叉連接。我們可以使用EDGE解決方案端口分開(kāi)模塊在脊層端接所有40G QSFP端口。我們可以對(duì)葉交換機(jī)做同樣的處理。現(xiàn)在，我們可以簡(jiǎn)單地在各自的葉交換機(jī)和脊交換機(jī)之間做一個(gè)LC 跳線連接。通過(guò)這樣做，我們可以分開(kāi)所有40G端口，并將它們分布在4個(gè)不同的板卡上。

  冗余得到保持，這意味著如果你丟失了一個(gè)板卡，你只損失了25%的帶寬。我們通過(guò)確保所有的板卡上都連接了所有的葉交換機(jī)來(lái)維護(hù)線速交換，因此不需要通過(guò)垂直架構(gòu)模塊進(jìn)行通信。每個(gè)黃色突出顯示的端口代表一個(gè)40G QSFP端口。

  這是最優(yōu)的做事方式嗎? 不。這被稱(chēng)為使用舊工具構(gòu)建新網(wǎng)絡(luò)。

  用網(wǎng)格模塊交叉連接——有更好的方法嗎?

  讓我們考慮一下網(wǎng)格模塊。這個(gè)網(wǎng)格模塊連接到一側(cè)的脊交換機(jī)和另一側(cè)的葉交換機(jī)。脊交換機(jī)側(cè)端口連接到脊交換機(jī)上的單板卡。每次我們?cè)谌~交換機(jī)側(cè)連接一個(gè)葉交換機(jī)，它就會(huì)自動(dòng)斷開(kāi)那個(gè)端口并將它們?cè)诰W(wǎng)格模塊上的脊交換機(jī)端口上重新連接，這些端口已經(jīng)連接到單獨(dú)的板卡上了。

  我們不需要做任何LC跳線的修補(bǔ)。我們?nèi)匀粚?shí)現(xiàn)了我們?cè)谏弦粋€(gè)場(chǎng)景中嘗試的重新連接，我們有完全的冗余，我們可以從交換機(jī)獲得完全的性能。

  在這個(gè)設(shè)置中，一個(gè)網(wǎng)格模塊連接到一側(cè)的脊交換機(jī)和另一側(cè)的葉交換機(jī)。脊交換機(jī)側(cè)端口連接到脊交換機(jī)上的單板卡。每當(dāng)用戶(hù)連接葉交換機(jī)一側(cè)的葉端子交換機(jī)時(shí)，該端口就會(huì)自動(dòng)斷開(kāi)，并在網(wǎng)格模塊上的脊交換機(jī)端口之間來(lái)回移動(dòng)——這些端口已經(jīng)連接到單獨(dú)的板卡上。不需要LC—LC跳線修補(bǔ)。

  通過(guò)網(wǎng)格模塊擴(kuò)展網(wǎng)絡(luò)——從雙路脊交換機(jī)到4路脊交換機(jī)是容易的。我們只需要在每個(gè)脊交換機(jī)上使用一個(gè)網(wǎng)絡(luò)模塊，并將每個(gè)從葉交換機(jī)而來(lái)的40G上行鏈路分配到每個(gè)脊交換機(jī)的4個(gè)板卡上。

  使用網(wǎng)格模塊，擴(kuò)展4路脊交換機(jī)是很容易的。我們將網(wǎng)格模塊的脊交換機(jī)，連接到其他脊交換機(jī)。我們正在失去板卡級(jí)的冗余和交換效率，但我們通過(guò)將風(fēng)險(xiǎn)分布在16路脊交換機(jī)上而獲得了更多的冗余。因此，我們還應(yīng)該投資矩陣模塊，因?yàn)樵谕粋€(gè)機(jī)箱中，不同的板卡上有不同的葉交換機(jī)。通過(guò)此項(xiàng)最后的擴(kuò)展，我們可以得到一個(gè)比4路脊交換機(jī)大四倍的網(wǎng)絡(luò)。

  使用網(wǎng)格模塊有幾個(gè)優(yōu)點(diǎn)。我們可以降低45%的連接成本。通過(guò)用MTP接線代替LC接線，我們可以減少75%的擁塞。因?yàn)槲覀儾恍枰渚€架來(lái)進(jìn)行LC斷接和跳接，我們可以在設(shè)備主分布區(qū) (MDA) 實(shí)現(xiàn)75%的空間節(jié)省。

  歷史告訴我們，隨著每一個(gè)新的技術(shù)發(fā)展，我們必須發(fā)明新的做事方法。今天，這個(gè)行業(yè)正在向脊葉結(jié)構(gòu)轉(zhuǎn)變，交換機(jī)制造商已經(jīng)為新一代的數(shù)據(jù)中心交換機(jī)架構(gòu)設(shè)計(jì)了先進(jìn)的交換機(jī)系統(tǒng)。這種架構(gòu)的基本要求是構(gòu)建網(wǎng)格結(jié)構(gòu)的布線模型，使您能夠從矩陣架構(gòu)投資中獲得最大的收益。

  使用網(wǎng)格模塊場(chǎng)景，我們可以超越雙路脊柱，甚至超越4路脊柱，達(dá)到如圖所示的16路脊柱。實(shí)現(xiàn)這種方法后，用戶(hù)確實(shí)會(huì)丟失板卡級(jí)冗余和交換效率; 然而，通過(guò)將風(fēng)險(xiǎn)分散到16路脊柱，用戶(hù)也獲得了更多的冗余。對(duì)于這種類(lèi)型的網(wǎng)絡(luò)部署，值得在矩陣模塊上進(jìn)行投資，因?yàn)樵谶@種情況下，同一機(jī)箱的不同板卡上連接著不同的葉交換機(jī)。

  脊葉結(jié)構(gòu)的網(wǎng)格連接可以使用標(biāo)準(zhǔn)MDA風(fēng)格的結(jié)構(gòu)化布線系統(tǒng)實(shí)現(xiàn)，我們可以將其與“使用舊工具構(gòu)建新事物“的方法進(jìn)行比較。使用網(wǎng)格模塊作為構(gòu)建下一代網(wǎng)絡(luò)的新工具可以顯著降低數(shù)據(jù)中心結(jié)構(gòu)的復(fù)雜性和連接成本。

       來(lái)源：康寧光通信市場(chǎng)部