硅基光電子芯片可以減輕人工智能訓練所需的碳排放

電路訓練：硅基光電子處理器為更有效的神經(jīng)網(wǎng)絡(luò)片上訓練鋪平道路。圖片來源：喬治華盛頓大學/昆士蘭大學。

  使用深度學習算法，訓練大量的數(shù)據(jù)可以產(chǎn)生迷人的結(jié)果。這方面的例子包括Generative Pre-trained Transformer 3（簡稱GPT-3）-- 這是目前世界上最強大的自動回歸語言模型。但是，這些巨大的人工智能（AI）處理所需的算力開銷和能源開銷，已經(jīng)引發(fā)了人們對人工智能的碳排放的關(guān)注。

  坦白講，人工智能的好處是巨大的。GPT-3可以看作為文本自動完成的類固醇。在輸入普通語言后，深度學習模型可以將這些人類可讀的指令變成計算機代碼。微軟從開發(fā)商OpenAI那里獲得了GPT-3的授權(quán)，正在其所謂的 "Power Apps "中使用這一提高生產(chǎn)力的功能。通過利用人工智能，該軟件允許用戶在沒有或很少有編碼經(jīng)驗的情況下實現(xiàn)計算機編程結(jié)果。

  時間和金錢

  今年早些時候，OpenAI宣布了新的GPT-3功能，不僅能夠完成一個未完成的句子，而且使得重寫一個現(xiàn)有段落或重構(gòu)幾行代碼成為現(xiàn)實。但是要達到這一點，需要大量的計算處理能力。據(jù)報道，GPT-3的1750億個參數(shù)模型，需要3.14E23 FLOPS的計算來進行訓練。

  蘭姆達實驗室（Lambda Labs，一家云服務(wù)提供商）的Chuan Li寫道，采用理論上28 TFLOPS的算力運行NVIDIA Tesla V100云實例， 即便他的團隊能找到最低三年保留的云價格，一次訓練運行將需要355個GPU-年，花費約460萬美元。這凸顯了最先進的深度學習模型所需的大致數(shù)字，并使我們回到了對人工智能的碳排放的關(guān)注，因為巨大的GPU的功率需求。

  人們對COP27氣候會議記憶猶新，能源密集型業(yè)務(wù)再次受到關(guān)注。用清潔能源為云計算供電是一個答案，但這需要協(xié)調(diào)，以確保處理過程與可再生電力的可用性相吻合。但即使這樣也不能解決所有的問題。

  硅基光電子集成電路

  還有一個問題是，高昂的成本限制了這些大規(guī)模人工智能模型的開發(fā)，只有少數(shù)幾個財大氣粗的公司能夠做到。幸運的是，一種新興的計算架構(gòu)可以在多個方面改變現(xiàn)狀-- 它不僅利用電子，還利用光子。

  在過去的十年里，芯片設(shè)計者在硅基光電子學領(lǐng)域取得了巨大的進展，它利用硅基光電子集成電路的制造優(yōu)勢，設(shè)計了一系列基于光的操作。硅基光電子集成電路（PIC）提供低延遲、高帶寬和固有的并行處理（使用光復(fù)用）。

  此前，PIC芯片已被證明能夠進行推理（使用現(xiàn)有算法從新數(shù)據(jù)中推斷出特征）。但人工智能模型本身仍然必須以傳統(tǒng)的、能源密集型的方式進行離線訓練?，F(xiàn)在，美國和加拿大的研究人員提出了一個PIC概念，可以同時做到這兩點 -- 在最新一期的《Optica》雜志上報告了他們的結(jié)果。

  該團隊認為，其新穎的硬件將加快機器學習系統(tǒng)的訓練，并利用光子學和電子芯片所能提供的最好的東西。該小組一直在努力構(gòu)建光子版本的張量核心（在完成標準人工智能相關(guān)操作方面優(yōu)于GPU的處理器）。而這一最新突破是這一更大努力的一部分。

  從紙面上看，具有高帶寬信息處理特性的低功耗光子技術(shù)很適合減少人工智能的碳排放。但當涉及到訓練深度學習模型時，"回傳步驟" -- 即調(diào)整模型權(quán)重以便更準確地概括數(shù)據(jù)所表現(xiàn)出的特征 -- 使事情變得緩慢，因為網(wǎng)絡(luò)層必須按順序更新。

  多通道改進

  為了解決這個問題，研究人員采取了另一種被稱為直接反饋對準（DFA）的方法，允許網(wǎng)絡(luò)并行更新。"在回傳過程中，來自網(wǎng)絡(luò)推理步驟的誤差被編碼在多通道光學輸入上"，作者在論文中解釋道，"然后光電電路計算每個隱藏層的梯度矢量，使用一個外部數(shù)字控制系統(tǒng)，來更新存儲在內(nèi)存中的網(wǎng)絡(luò)參數(shù)。"

  當使用PIC芯片而不是純數(shù)字電子器件時，另一個潛在的障礙是模擬電路所固有的噪音。然而，神經(jīng)網(wǎng)絡(luò)在推理和訓練過程中對噪聲具有魯棒性（這也是其廣泛成功的原因之一）。此外，由于DFA，噪音不會在網(wǎng)絡(luò)層之間積累，否則就會出現(xiàn)這種情況。在回傳過程中，作為訓練過程的一部分，誤差從輸出端通過每個隱藏層（人工智能算法的內(nèi)部運作）步入。

  "人工智能系統(tǒng)的訓練要花費大量的能源和碳排放。參與研究的機構(gòu)之一、喬治華盛頓大學的沃爾克-索爾格強調(diào)說："例如，一個人工智能變壓器所耗費的電力中的二氧化碳約為一輛汽油車在其一生中花費的五倍"。而這個團隊包括來自皇后大學、英屬哥倫比亞大學和普林斯頓大學的研究人員，他們希望采用硅基光電子芯片的培訓將有助于減少這種開銷。

  為了探索硅基光電子技術(shù)在商業(yè)環(huán)境中的機會，Sorger與Hamed Dalir一起成立了一家名為Optelligence的新公司。該公司的總部設(shè)在德克薩斯州奧斯汀市，并在弗吉尼亞州的阿什本設(shè)有制造廠。

  逍遙科技| 編譯自 T_HQ technology and business