從一句話生成一張圖,到幾秒鐘生成一段視頻,生成式人工智能正在走向更復(fù)雜的真實(shí)世界應(yīng)用。模型越大、分辨率越高、生成內(nèi)容越豐富,對(duì)算力與能耗的需求就越驚人,后摩爾定律時(shí)代,面向未來(lái)的研究焦點(diǎn)轉(zhuǎn)向光電計(jì)算等“下一代算力芯片”。如何讓下一代算力光芯片能運(yùn)行復(fù)雜生成模型,成為全球智能計(jì)算領(lǐng)域公認(rèn)的難題。

上海交通大學(xué)集成電路學(xué)院陳一彤課題組在新一代算力光芯片方向取得重大突破,首次實(shí)現(xiàn)了支持大規(guī)模語(yǔ)義視覺(jué)生成模型的全光計(jì)算芯片LightGen。相關(guān)研究成果發(fā)表于最新一期國(guó)際學(xué)術(shù)期刊《科學(xué)》。
專家解釋,所謂“光計(jì)算”,可以通俗理解為不是讓電子在晶體管中運(yùn)行,而是讓光在芯片中傳播,用光場(chǎng)的變化完成計(jì)算。光天然具備高速和并行的優(yōu)勢(shì),因此長(zhǎng)期被視為突破算力與能耗瓶頸的重要方向。然而,要把光計(jì)算真正用到生成式AI上,并非這么簡(jiǎn)單:生成模型往往規(guī)模更大,還需要在不同維度之間不斷變換;如果芯片規(guī)模較小,則不得不頻繁在光與電之間級(jí)聯(lián)或復(fù)用,速度優(yōu)勢(shì)會(huì)被延遲和能耗迅速抵消。因此,全光計(jì)算,就顯得更為重要和困難。

LightGen之所以能夠?qū)崿F(xiàn)驚人的性能飛躍,在于它在單枚芯片上同時(shí)突破了三項(xiàng)領(lǐng)域公認(rèn)的關(guān)鍵瓶頸:?jiǎn)纹习偃f(wàn)級(jí)光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換,不依賴真值的光學(xué)生成模型訓(xùn)練算法。這三項(xiàng)中的任意一項(xiàng)單獨(dú)突破都足以構(gòu)成重要進(jìn)展,而LightGen將它們同時(shí)實(shí)現(xiàn),使得面向大規(guī)模生成任務(wù)的全光端到端實(shí)現(xiàn)成為可能。
更重要的是,LightGen展示的并不是電輔助光做生成,而是讓全光芯片完整實(shí)現(xiàn)“輸入—理解—語(yǔ)義操控—生成”的閉環(huán):輸入圖像進(jìn)入芯片后,系統(tǒng)能夠提取與表征語(yǔ)義信息,并在語(yǔ)義操控下生成全新的媒體數(shù)據(jù),實(shí)現(xiàn)讓光“理解”和“認(rèn)知”語(yǔ)義。論文實(shí)驗(yàn)驗(yàn)證,LightGen可完成高分辨率(≥512×512)圖像語(yǔ)義生成、3D生成(NeRF)、高清視頻生成及語(yǔ)義調(diào)控,同時(shí)支持去噪、局部與全局特征遷移等多項(xiàng)大規(guī)模生成式任務(wù)。
在性能評(píng)估上,LightGen采用了極嚴(yán)格的算力評(píng)價(jià)標(biāo)準(zhǔn):在實(shí)現(xiàn)與電芯片上運(yùn)行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿電子神經(jīng)網(wǎng)絡(luò)相仿生成質(zhì)量的前提下,直接對(duì)端到端耗時(shí)與耗能進(jìn)行測(cè)量。實(shí)測(cè)表明,即便采用較滯后性能的輸入設(shè)備,LightGen仍可取得相比頂尖數(shù)字芯片2個(gè)和2個(gè)數(shù)量級(jí)的算力和能效提升。而如果采用前沿設(shè)備使得信號(hào)輸入頻率不是瓶頸的情況下,LightGen理論可實(shí)現(xiàn)算力提升7個(gè)數(shù)量級(jí)、能效提升8個(gè)數(shù)量級(jí)的性能躍升。這不僅體現(xiàn)了在不犧牲生成效果的情況下,用全光方案替換現(xiàn)有方案可能帶來(lái)的巨大增益,也從側(cè)面印證了大規(guī)模集成、全光維度變換與無(wú)真值訓(xùn)練等難點(diǎn)被系統(tǒng)性解決后,全光片上承載大規(guī)模生成網(wǎng)絡(luò)的現(xiàn)實(shí)意義。
該文也同步被《科學(xué)》官方選為高光論文重點(diǎn)報(bào)道。文中提到,生成式AI正加速融入生產(chǎn)生活,要讓“下一代算力芯片”在現(xiàn)代人工智能社會(huì)中真正實(shí)用,勢(shì)在必行的是研發(fā)能夠直接執(zhí)行真實(shí)世界所需前沿任務(wù)的芯片——尤其是大規(guī)模生成模型這類對(duì)端到端時(shí)延與能耗極高的任務(wù)。面向這一目標(biāo),LightGen為新一代算力芯片真正助力前沿人工智能開(kāi)辟了新路徑,也為探索更高速、更高能效的生成式智能計(jì)算提供了新的研究方向。
(受訪對(duì)象供圖)
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國(guó)高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號(hào)-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證060344號(hào)主辦單位:《中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào)》社有限責(zé)任公司