光芯片上的全光脈沖神經(jīng)網(wǎng)絡(luò)

  Nature昨天刊登了德國(guó)明斯特大學(xué)的一篇最新進(jìn)展，研究人員在光芯片上實(shí)現(xiàn)了脈沖神經(jīng)網(wǎng)絡(luò)(spike neural network)。先睹為快，這篇筆記主要介紹下這篇進(jìn)展。研究人員將氮化硅波導(dǎo)與相變材料結(jié)合，實(shí)現(xiàn)了監(jiān)督式和非監(jiān)督式的機(jī)器學(xué)習(xí)，并演示了對(duì)15個(gè)像素圖片的模式識(shí)別。

  關(guān)于相變材料(phase changing material, 以下簡(jiǎn)稱PCM), 小豆芽之前的一篇筆記 基于光芯片的內(nèi)存內(nèi)計(jì)算(memory-in computing)提到過(guò)。研究人員采用相同的材料GST(全稱為Germanium Antimony Tellurium), 它可以在晶體和非晶態(tài)之間切換。GST通過(guò)濺射的方法沉積在SiN波導(dǎo)上方。GST的折射率隨波長(zhǎng)變化曲線如下圖所示, 當(dāng)PCM處于非晶態(tài)時(shí)，它的吸收率較小，而當(dāng)它處于晶體態(tài)時(shí)，吸收率較大?；谶@一性質(zhì)，它可以作為神經(jīng)網(wǎng)絡(luò)的權(quán)重單元(weights)，用來(lái)調(diào)控SiN波導(dǎo)中的光強(qiáng)，

(圖片來(lái)自文獻(xiàn)1)

  光脈沖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示，

(圖片來(lái)自文獻(xiàn)1)

  而典型的神經(jīng)元結(jié)構(gòu)如下圖所示，

(圖片來(lái)自https://www.cnblogs.com/by-dream/p/10497816.html)

  比較上面兩幅圖片，可以看出光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與生物神經(jīng)元結(jié)構(gòu)非常類似，兩者之前存在一種對(duì)應(yīng)關(guān)系。對(duì)于光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)，不同波長(zhǎng)的光脈沖序列輸入進(jìn)PCM構(gòu)成的突觸單元(synapse), 經(jīng)過(guò)PCM的作用，脈沖強(qiáng)度發(fā)生變化，對(duì)應(yīng)于乘法器。進(jìn)而借助于微環(huán)結(jié)構(gòu)，將不同波長(zhǎng)的脈沖導(dǎo)入進(jìn)同一波導(dǎo)中，該功能類似加法器。相加后的脈沖光強(qiáng)較小時(shí)，probe光與微環(huán)發(fā)生共振，在輸出端口沒(méi)有光強(qiáng)輸出。當(dāng)光強(qiáng)達(dá)到一定的閾值后，probe信號(hào)不再和微環(huán)發(fā)生共振，而是傳播到輸出端口。這一過(guò)程類似神經(jīng)元脈沖信號(hào)的激發(fā)，扮演了非線性激活函數(shù)的功能?；镜墓鈱W(xué)結(jié)構(gòu)單元如下：

  1. 含PCM的波導(dǎo)

  下圖中的結(jié)構(gòu)I, 作為突觸單元，調(diào)控光脈沖信號(hào)的強(qiáng)度，相當(dāng)于乘法器

  2. WDM波分復(fù)用器

  下圖中的結(jié)構(gòu)II, 采用微環(huán)結(jié)構(gòu)，將不同波長(zhǎng)的光脈沖導(dǎo)入到同一根波導(dǎo)中，相當(dāng)于加法器

  3. 含PCM的微環(huán)結(jié)構(gòu)

  下圖中的結(jié)構(gòu)VI, 作為非線性激活函數(shù)。當(dāng)脈沖能量超過(guò)430pJ時(shí)，“激發(fā)”一個(gè)光脈沖。

  (圖片來(lái)自文獻(xiàn)1)

  整個(gè)信號(hào)處理過(guò)程分為四步: 1)Weighting, 2)Mux, 3)Sum, 4) Output。典型的光路結(jié)構(gòu)如下圖所示，下圖對(duì)應(yīng)三個(gè)神經(jīng)元結(jié)構(gòu)。

(圖片來(lái)自文獻(xiàn)1)

  利用上圖的單個(gè)神經(jīng)元結(jié)構(gòu)，研究人員驗(yàn)證了監(jiān)督式機(jī)器學(xué)習(xí)和非監(jiān)督式機(jī)器學(xué)習(xí)。對(duì)于監(jiān)督式機(jī)器學(xué)習(xí)，權(quán)重的數(shù)值通過(guò)外部的supervisor設(shè)置。

(圖片來(lái)自文獻(xiàn)1)

  左圖對(duì)應(yīng)1010的識(shí)別，右圖對(duì)應(yīng)1100的識(shí)別。

  對(duì)于非監(jiān)督式機(jī)器學(xué)習(xí)，不再需要外部的supervisor來(lái)設(shè)置權(quán)重值，而是通過(guò)輸出光脈沖進(jìn)行反饋控制，調(diào)整權(quán)重值，如下圖所示。當(dāng)光脈沖信號(hào)產(chǎn)生時(shí)，增加對(duì)應(yīng)的權(quán)重值，而沒(méi)有光脈沖信號(hào)產(chǎn)生時(shí)，減小對(duì)應(yīng)的權(quán)重值。下圖展示了對(duì)0110的識(shí)別過(guò)程。

（圖片來(lái)自文獻(xiàn)1）

  上述的演示都是針對(duì)單個(gè)神經(jīng)元的，對(duì)應(yīng)2x2矩陣的操作。進(jìn)一步，他們提出了更復(fù)雜的光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，證明該結(jié)構(gòu)的可擴(kuò)展性。神經(jīng)網(wǎng)絡(luò)中的每一層結(jié)構(gòu)，如下圖所示。每一層包括三個(gè)功能單元，即收集器collector、分發(fā)器distributor和神經(jīng)突觸結(jié)構(gòu)neurosynapse。收集器將上一層不同波長(zhǎng)的光脈沖信號(hào)收集到同一根波導(dǎo)中，分發(fā)器將光脈沖分發(fā)給N個(gè)神經(jīng)元，神經(jīng)突觸結(jié)構(gòu)則產(chǎn)生光脈沖信號(hào)，輸入給下一層結(jié)構(gòu)。

(圖片來(lái)自文獻(xiàn)1)

  基于上述的架構(gòu)，他們進(jìn)一步演示了對(duì)字母ABCD的識(shí)別。光路中包含4個(gè)神經(jīng)元，每個(gè)神經(jīng)元包含15個(gè)突觸，對(duì)應(yīng)識(shí)別含15個(gè)像素的圖片。整個(gè)芯片包含140多個(gè)光器件，如下圖所示。由于涉及到15個(gè)波長(zhǎng)，收集器不是在片內(nèi)實(shí)現(xiàn)的，而是通過(guò)外部的WDM實(shí)現(xiàn)。

(圖片來(lái)自文獻(xiàn)1)

  可以看出，該結(jié)構(gòu)能夠較好地識(shí)別ABCD這四個(gè)字母。

  小豆芽的幾點(diǎn)comment：

  1) 神經(jīng)網(wǎng)絡(luò)所需的功能單元全部都可以在光芯片內(nèi)實(shí)現(xiàn)，而MIT研究組的方案中激活函數(shù)是通過(guò)片外電學(xué)方法實(shí)現(xiàn)。這是該方案的一個(gè)優(yōu)勢(shì)和新穎之處。

  2) 采用微環(huán)結(jié)構(gòu)，微環(huán)是對(duì)工藝、溫度、波長(zhǎng)非常敏感的。如果該方案想進(jìn)行大批量生產(chǎn)，這會(huì)是一個(gè)非常大的挑戰(zhàn)。當(dāng)然，可以通過(guò)熱調(diào)的方法進(jìn)行補(bǔ)償，但是這會(huì)帶來(lái)額外的功耗。

  3) 由于采用了特殊的PCM材料，目前還沒(méi)有硅光foundry支持這一工藝。

  4) 采用波長(zhǎng)編碼，目前演示的是含15像素的圖片識(shí)別，涉及到15個(gè)波長(zhǎng)。如果矩陣的規(guī)模進(jìn)一步變大，例如10x10, 就會(huì)涉及到100個(gè)波長(zhǎng)。這就需要可處理100個(gè)波長(zhǎng)的波分復(fù)用器件，無(wú)論是在片內(nèi)還是片外，實(shí)現(xiàn)起來(lái)都是非常有難度的?；蛟S，較大的矩陣能拆分成小矩陣進(jìn)行處理，可以規(guī)避這一問(wèn)題。

  文章中如果有任何錯(cuò)誤和不嚴(yán)謹(jǐn)之處，還望大家不吝指出，歡迎大家留言討論。

  參考文獻(xiàn)：

  1. J. Feldmann, et.al., "All-optical spiking neurosynaptic networks with self-learning capabilities"， Nature 569, 208(2019)