利用芯片到芯片的光學(xué)互連來釋放人工智能的全部潛力

  共封裝光學(xué)器件(CPO)由于其在數(shù)據(jù)中心的電源效率，最近獲得了關(guān)注。雖然大多數(shù)針對(duì)網(wǎng)絡(luò)應(yīng)用的CPO的主要支持者，由于宏觀經(jīng)濟(jì)的阻力而停止了CPO計(jì)劃，但用于人工智能(AI)和機(jī)器學(xué)習(xí)(ML)系統(tǒng)的CPO的情況卻有所不同。人工智能模型對(duì)計(jì)算能力、存儲(chǔ)和數(shù)據(jù)移動(dòng)有著永不滿足的需求，而傳統(tǒng)架構(gòu)正在成為擴(kuò)展ML的主要瓶頸。因此，為HPC和新的分布式系統(tǒng)架構(gòu)，出現(xiàn)了新的光學(xué)互連。Yole集團(tuán)旗下的Yole Intelligence在其新報(bào)告《數(shù)據(jù)中心的共封裝光學(xué)技術(shù)》中對(duì)此進(jìn)行了回顧。用于xPU、內(nèi)存和存儲(chǔ)的封裝內(nèi)光學(xué)I/O技術(shù)可以幫助實(shí)現(xiàn)必要的帶寬。此外，未來數(shù)十億個(gè)光互連的潛力正在推動(dòng)大型代工廠為設(shè)計(jì)公司的任何PIC架構(gòu)的大規(guī)模生產(chǎn)(包括硅光子學(xué)工藝流程)做準(zhǔn)備。2022年CPO收入約為3800萬美元，預(yù)計(jì)2033年將達(dá)到26億美元，2022-2033年年均復(fù)合增長(zhǎng)率為46%，受AI/ML裝備中數(shù)據(jù)加速傳輸?shù)耐苿?dòng)。

  AyarLabs的TeraPHY?光學(xué)I/O芯片和SuperNova?光源的結(jié)合，以更低的延遲、更遠(yuǎn)的距離和現(xiàn)有電氣I/O解決方案的一小部分功率，大幅提高帶寬。其封裝內(nèi)部的光學(xué)I/O解決方案正在顛覆半導(dǎo)體和計(jì)算行業(yè)的傳統(tǒng)性能、成本和效率曲線。Yole Intelligence的高級(jí)分析師Martin Vallo有幸采訪了Ayar實(shí)驗(yàn)室商業(yè)運(yùn)營(yíng)副總裁Terry Thorn，討論了數(shù)據(jù)中心應(yīng)用的光互連的當(dāng)前趨勢(shì)。

  Martin Vallo： 我們的最后一次采訪是在2021年，當(dāng)時(shí)你介紹了你的突破性光學(xué)I/O解決方案，實(shí)現(xiàn)了計(jì)算芯片之間的光通信。現(xiàn)在你們有什么新情況?

  Terry Thorn： 在過去的18個(gè)月里，我們啟動(dòng)了幾個(gè)備受矚目的戰(zhàn)略伙伴關(guān)系，同時(shí)也與大批量的代工廠、激光器和供應(yīng)鏈合作伙伴建立了關(guān)鍵關(guān)系。2022年開始，我們慶祝了與惠普企業(yè)的戰(zhàn)略合作。此后不久，Global Foundries宣布了其新的Fotonix制造工藝，我們?cè)?021年6月的OFC2022上用它來展示了我們的第一個(gè)工作硅。

  其他重要的里程碑包括我們1.3億美元的C輪融資，以及與GPU和人工智能強(qiáng)手英偉達(dá)和領(lǐng)先的航空航天和國防承包商洛克希德-馬丁公司合作開發(fā)光互連。在2022年結(jié)束時(shí)，我們與美國國防部簽訂了1500萬美元的多年期項(xiàng)目KANAGAWA，該項(xiàng)目將促進(jìn)Ayar Labs光學(xué)互連的下一步發(fā)展，引領(lǐng)其過渡到國防部的先進(jìn)封裝生態(tài)系統(tǒng)。

  最近，我們舉行了一次光學(xué)I/O解決方案的現(xiàn)場(chǎng)演示，成功展示了每秒4兆比特(雙向)的數(shù)據(jù)傳輸。我們還在生態(tài)系統(tǒng)合作伙伴的展位上展示了我們的技術(shù)，包括Global Foundries、Quantifi Photonics和Sivers Photonics。在今年的OFC上，我們?cè)诜庋b邊緣與英特爾的可拆卸光學(xué)連接器的解決方案原型的揭幕，也引起了很多人的興趣。在傳統(tǒng)的邊緣耦合方法中，光纖帶是用環(huán)氧樹脂永久地連接到V型槽中的?？刹鹦妒焦膺B接器提供了一種更換光纖帶的方法。仍在開發(fā)中的可拆卸式光連接器有希望獲得更高的封裝產(chǎn)量和易于現(xiàn)場(chǎng)更換。

  我們還看到，使用芯片粒(chiplets)的趨勢(shì)越來越強(qiáng)，并有強(qiáng)大的標(biāo)準(zhǔn)化努力來實(shí)現(xiàn)一個(gè)開放的芯片生態(tài)系統(tǒng)。這是一個(gè)重要的發(fā)展，與我們以芯片粒形式提供光學(xué)I/O解決方案的愿景是一致的。

  Ayar Labs的TeraPHY?光學(xué)I/O芯片具有4 Tbps的雙向帶寬，低于5pJ/b，每個(gè)芯片粒+TOF的延遲為5ns，覆蓋范圍從毫米到公里。由Ayar Labs提供，2023年。

  Martin Vallo：我們觀察到人們對(duì)CPO的興趣減少了，特別是對(duì)交換機(jī)的應(yīng)用。然而，高性能計(jì)算對(duì)光I/O的需求仍在繼續(xù)。這其中的根本原因是什么?

  Terry Thorn：光I/O更適合于高性能計(jì)算(HPC)和人工智能(AI)/機(jī)器學(xué)習(xí)(ML)應(yīng)用，在這些應(yīng)用中，你需要分布式計(jì)算和共享內(nèi)存容量，以滿足對(duì)性能、功率和帶寬的要求，同時(shí)不增加延遲。采用波分復(fù)用(WDM)和簡(jiǎn)單調(diào)制的光I/O所需的功率要小得多，并允許更大的密度：低至幾pJ/bit，帶寬密度高達(dá)1 Tbps/mm，導(dǎo)致僅有幾納秒的延遲，而CPO往往使用復(fù)雜的調(diào)制方案，則需要數(shù)百納秒。

  此外，作為一個(gè)電光收發(fā)器，光I/O使用一個(gè)微鏡調(diào)制器結(jié)構(gòu)，需要更小的芯片面積，從而降低了成本。例如，我們的微鏡調(diào)制器的尺寸大約是Mach-Zehnder調(diào)制器的百分之一。最后，光輸入/輸出采用波分復(fù)用技術(shù)，允許將多個(gè)數(shù)據(jù)流裝入一根光纖，以實(shí)現(xiàn)非常高的吞吐量。

  Martin Vallo：光學(xué)I/O的第一個(gè)實(shí)際應(yīng)用將是什么，我們什么時(shí)候可以期待一個(gè)公告?在我們看到AI/ML系統(tǒng)中的第一個(gè)光I/O之前，有哪些挑戰(zhàn)需要克服?

  Terry Thorn：我們看到許多不同的應(yīng)用都遇到了同樣的功率、性能和延遲挑戰(zhàn)，而每一種應(yīng)用都對(duì)光I/O有強(qiáng)烈的需求：

  人工智能和HPC：AI/ML和HPC應(yīng)用需要一個(gè)分布式的加速器網(wǎng)絡(luò)來分散計(jì)算和共享內(nèi)存容量。在內(nèi)存容量方面，一個(gè)擁有數(shù)千億個(gè)參數(shù)的AI/ML模型可能需要高達(dá)2TB的內(nèi)存容量來存儲(chǔ)中間計(jì)算結(jié)果。當(dāng)你在一個(gè)集群中連接數(shù)百個(gè)GPU，使每個(gè)GPU都能與其他GPU對(duì)話時(shí)，每個(gè)GPU所需的數(shù)據(jù)吞吐量會(huì)迅速增加。這給帶寬密度帶來了巨大的壓力，這是衡量每個(gè)封裝邊緣或區(qū)域所能實(shí)現(xiàn)的數(shù)據(jù)吞吐量。光學(xué)I/O對(duì)于實(shí)現(xiàn)所需的帶寬密度、功率和延遲性能指標(biāo)以實(shí)現(xiàn)更大的集群是至關(guān)重要的。

  高帶寬內(nèi)存(HBM)擴(kuò)展器：一個(gè)GPU通常被兩到四個(gè)本地內(nèi)存HBM堆棧所包圍，每個(gè)都有大約64GBytes的內(nèi)存容量。對(duì)于HPC和AI/ML應(yīng)用，這個(gè)容量是不夠的。HBM內(nèi)存擴(kuò)展器可用于增加內(nèi)存容量至數(shù)百GB字節(jié)或更多。由于內(nèi)存應(yīng)用對(duì)延遲非常敏感，使用光學(xué)I/O鏈路來連接GPU和擴(kuò)展器內(nèi)存模塊是必要的。僅僅由于延遲問題，可插拔光學(xué)器件或CPO光學(xué)器件是不適合的。

  內(nèi)存池和可組合的基礎(chǔ)設(shè)施：隨著云計(jì)算基礎(chǔ)設(shè)施處理動(dòng)態(tài)變化的工作負(fù)載，靈活的匯集和共享內(nèi)存的功能正變得至關(guān)重要。愿景是將基于工作負(fù)載的集群與所需的CPU、GPU、內(nèi)存和存儲(chǔ)資源組合在一起，實(shí)現(xiàn)高性能和低延遲。隨著CXL?標(biāo)準(zhǔn)的采用，光學(xué)I/O互連正在成為關(guān)注點(diǎn)。

  用于航空航天和國防的傳感系統(tǒng)：在這個(gè)方面，反映了我們最近宣布與洛克希德-馬丁公司的戰(zhàn)略合作，光學(xué)I/O被用來捕獲、數(shù)字化、傳輸和處理光譜信息。將高密度、高效率的光學(xué)I/O芯片粒，與射頻處理設(shè)備置于同一封裝中的多芯片封裝解決方案將被用于相控陣孔徑，以連接系統(tǒng)，做出更智能、更快速的決策。

  目前，光學(xué)I/O的主要挑戰(zhàn)是生態(tài)系統(tǒng)的發(fā)展，這需要許多公司的協(xié)調(diào)。我們正在與廣泛的合作伙伴合作，促進(jìn)該生態(tài)系統(tǒng)的發(fā)展。至于這些應(yīng)用的首次公布，考慮到現(xiàn)有的市場(chǎng)需求，我們預(yù)計(jì)這些應(yīng)用會(huì)來得更早而不是更晚，也許在未來一年左右。

Ayar Labs的TeraPHY?光學(xué)I/O晶圓來自Global Foundries Fotonix?單片RF-CMOS平臺(tái)。由Ayar實(shí)驗(yàn)室提供，2023年。

  Martin Vallo：光學(xué)I/O性能使xPU能夠在從毫米到兩公里的廣泛距離內(nèi)相互通信。因此，預(yù)計(jì)AOC(以太網(wǎng))和光學(xué)I/O(CXL、UCIe)之間會(huì)有激烈的競(jìng)爭(zhēng)。這兩種技術(shù)之間的斗爭(zhēng)將如何進(jìn)行?

  Terry Thorn：以太網(wǎng)應(yīng)用和以計(jì)算或內(nèi)存為中心的應(yīng)用之間有明顯的區(qū)別，所以我們不認(rèn)為AOC是一個(gè)直接的競(jìng)爭(zhēng)對(duì)手。在以計(jì)算或內(nèi)存為中心的互連協(xié)議中，Compute Express Link?(CXL)和Universal Chiplet Interconnect Express?(UCle?)是互補(bǔ)的。CXL是一個(gè)較高層次的協(xié)議，傳統(tǒng)上在PCIe物理層上運(yùn)行。最近，CXL已被擴(kuò)展到也可與UCIe物理層一起工作。對(duì)于機(jī)架內(nèi)或跨機(jī)架的片外連接，使用光I/O技術(shù)構(gòu)建的UCIe光復(fù)接器可以提供AOC無法滿足的低功耗、低延遲和高帶寬密度指標(biāo)。

  通過光互連，我們可以用更低的功耗和延遲實(shí)現(xiàn)更大的范圍。仍然會(huì)有一些對(duì)延遲不敏感的應(yīng)用可以滿足更高的功率要求，而以太網(wǎng)將是首選，包括系統(tǒng)與系統(tǒng)之間的通信。在這些情況下，可以使用AOC。但是一旦你開始考慮深度學(xué)習(xí)和HPC應(yīng)用, 同樣，你要把許多計(jì)算節(jié)點(diǎn)連接在一起的話，AOC可能無法滿足所有的性能指標(biāo)。

  Martin Vallo：你如何看待光學(xué)I/O在技術(shù)方面的發(fā)展?

  Terry Thorn：首先，光學(xué)I/O具有高度的可擴(kuò)展性，該技術(shù)將有幾種發(fā)展方式。一個(gè)是每根光纖的lambdas數(shù)量。我們目前使用的是每根光纖8個(gè)lambdas，但CW-WDM MSA(連續(xù)波分復(fù)用多源協(xié)議)路線圖已經(jīng)有每根光纖16和32個(gè)lambdas的規(guī)范。每當(dāng)你把每根光纖的lambdas數(shù)量增加一倍(保持其他方面不變)就會(huì)自動(dòng)把帶寬增加一倍。我們還可以擴(kuò)大光端口的數(shù)量(我們目前使用的是8個(gè))并提高調(diào)制率(我們目前使用的是32Gbps的調(diào)制率)。

  在光I/O內(nèi)部，我們預(yù)計(jì)將看到在使用內(nèi)部或外部激光器方面的不同意見。考慮到緊湊的外形尺寸、靈活性和現(xiàn)場(chǎng)可更換性，我們?nèi)匀粌A向于外部激光器的方法。我們還認(rèn)為UCIe是最適合于芯片到芯片連接的標(biāo)準(zhǔn)，它促進(jìn)了實(shí)施光學(xué)I/O的芯片方法。

一個(gè)包含四個(gè)Ayar Labs TeraPHY?光學(xué)I/O芯片和一個(gè)客戶ASIC的多芯片封裝。由Ayar實(shí)驗(yàn)室提供，2023年。

  Martin Vallo：圍繞激光源的關(guān)鍵規(guī)格是什么?我們是否會(huì)在未來看到光學(xué)芯片中廣泛集成激光器?

  Terry Thorn：目前業(yè)界的趨勢(shì)是使用外部激光源，我們相信這種趨勢(shì)會(huì)持續(xù)下去。在光學(xué)I/O中，激光器是最敏感的部件，需要在較低的溫度環(huán)境下工作。把它放在外部，與計(jì)算硅分離，可以更好更有效地控制溫度。如果你把激光器模塊放在計(jì)算硅旁邊，來自計(jì)算節(jié)點(diǎn)內(nèi)的GPU和CPU的熱量會(huì)影響激光器的性能。

  我們確實(shí)希望看到梳狀激光器的使用，但它們?nèi)蕴幱谠缙谘芯堪l(fā)展階段。當(dāng)該技術(shù)成為商業(yè)化的時(shí)候，我們可以看看這個(gè)東西。但是，最終，我們相信保持 "外部激光不可控 "在制造和部署方面是最合理的。

  Martin Vallo：有很多關(guān)于分布式機(jī)架架構(gòu)的討論，目前是光學(xué)I/O技術(shù)的主要驅(qū)動(dòng)力。你能分享一下這會(huì)如何發(fā)展嗎?

  Terry Thorn: 分散的基礎(chǔ)設(shè)施需要光I/O來擴(kuò)展到機(jī)架級(jí)別甚至更高的級(jí)別。將內(nèi)存與處理器和加速器解耦的分布式機(jī)架可以實(shí)現(xiàn)更靈活、更經(jīng)濟(jì)的節(jié)點(diǎn)設(shè)計(jì)，滿足下一代HPC和AI工作負(fù)載的需求。為了使分布式機(jī)架成為可能，一個(gè)能夠在幾米到幾百米的距離內(nèi)以低功率和低延遲提供高吞吐量的互連是至關(guān)重要的。CXL是一種新興的用于分布式機(jī)架的統(tǒng)一協(xié)議，使用PCIe電信號(hào)進(jìn)行I/O互連，其覆蓋范圍有限。為了擴(kuò)大覆蓋范圍和扇形范圍，人們對(duì) "CXL over optical "I/O互連有強(qiáng)烈的興趣。

  例如，很容易設(shè)想一種可組合性方案，其中幾個(gè)CPU包含在一個(gè)機(jī)箱中，而GPU在一個(gè)單獨(dú)的機(jī)箱中，而內(nèi)存則占據(jù)另一個(gè)機(jī)箱。隨著工作負(fù)載的擴(kuò)大，你可以將兩個(gè)CPU、一個(gè)GPU、幾個(gè)SSD和匯集一定量的內(nèi)存組成一個(gè)節(jié)點(diǎn)。CXL為內(nèi)存分解帶來了緩存一致性互連，這就是為什么這么多公司正在努力實(shí)現(xiàn)利用CXL的解決方案，我們相信光I/O是實(shí)現(xiàn)這一愿景的關(guān)鍵成分。

  這里的另一個(gè)重要角度是分布式計(jì)算，這又回到了一個(gè)事實(shí)，即人工智能/ML和深度學(xué)習(xí)都需要大量的訓(xùn)練參數(shù)，現(xiàn)在是以萬億計(jì)。在各種計(jì)算節(jié)點(diǎn)之間共享計(jì)算和內(nèi)存將越來越有必要。連接這些節(jié)點(diǎn)并有效擴(kuò)展的唯一可靠方式是通過光學(xué)I/O。

四個(gè)Ayar Labs TeraPHY?光學(xué)I/O芯片和一個(gè)客戶的ASIC在一個(gè)多芯片封裝中。由Ayar實(shí)驗(yàn)室提供，2023年。

  Martin Vallo：把電/光接口帶到芯片旁邊，將大大影響這個(gè)行業(yè)。您能否解釋一下供應(yīng)鏈將受到怎樣的影響?

  Terry Thorn：該行業(yè)目前正面臨著顯著的連接瓶頸，這迫使各參與者探索新的方法。我們看到的一個(gè)趨勢(shì)是將SoC的單芯片分解成芯片粒。將電光芯片納入封裝內(nèi)，緊挨著SoC核心芯片是這種趨勢(shì)的延續(xù)。這種共封裝的方法將會(huì)改變供應(yīng)鏈的復(fù)雜性。

  除了用芯片粒封裝外，光纖連接和測(cè)試方法也需要發(fā)展。我們還看到代工廠(即Global Foundries、英特爾和最近的臺(tái)積電)，在支持集成電子/光學(xué)元件方面取得的巨大進(jìn)展和承諾。最后，選擇將激光器放在外部是我們能夠減輕這些供應(yīng)鏈復(fù)雜性的一種方式。

  標(biāo)準(zhǔn)化也將在解決供應(yīng)鏈挑戰(zhàn)和擴(kuò)大這項(xiàng)技術(shù)的規(guī)模方面發(fā)揮關(guān)鍵作用。UCIe和CXL都在尋求解決光纖互連的問題，并正在探索制定光學(xué)I/O規(guī)范。此外，CW-WDM MSA是一個(gè)重要的行業(yè)倡議，它正在定義和促進(jìn)光學(xué)激光源的新標(biāo)準(zhǔn)和規(guī)范。由于光I/O是一項(xiàng)革命性的技術(shù)，對(duì)行業(yè)的許多領(lǐng)域都有影響，因此發(fā)展和培育這個(gè)完整的生態(tài)系統(tǒng)有巨大的需求。

  Martin Vallo：光學(xué)I/O技術(shù)將如何影響其他應(yīng)用?

  Terry Thorn：這是個(gè)好問題。我們已經(jīng)談了很多關(guān)于HPC和AI/ML的問題，但我們也希望看到它在其他需要快速傳輸數(shù)據(jù)的領(lǐng)域的應(yīng)用增長(zhǎng)，例如在云和數(shù)據(jù)中心、電信、航空航天和國防、自動(dòng)駕駛、AR/VR等。隨著光學(xué)I/O的成熟和變得更具成本效益，我們看到它有可能滿足廣泛的應(yīng)用中不斷增長(zhǎng)的帶寬、功率和延遲要求。