上海交大提出全光大規(guī)模智能生成芯片

  ICC訊 上海交通大學19日發(fā)布消息稱，該校集成電路學院(信息與電子工程學院)圖像通信與網絡工程研究所陳一彤課題組在新一代算力光芯片方向取得重大突破，首次實現了支持大規(guī)模語義視覺生成模型的全光計算芯片LightGen。

  北京時間12月19日，相關研究以《大規(guī)模智能語義視覺生成全光芯片》發(fā)表于國際頂級學術期刊《科學》(Science)上。

  生成式人工智能正在走向更復雜的現實世界應用。模型越大、分辨率越高、生成內容越豐富，對算力與能耗的需求就越驚人，后摩爾定律時代，面向未來的研究焦點轉向光電計算等“下一代算力芯片”。然而，當前光電芯片仍主要擅長加速判別類任務，距離支撐前沿大規(guī)模生成模型還有不小距離。“如何讓下一代算力光芯片能運行復雜生成模型”，成為全球智能計算領域公認的難題。

  所謂“光計算”，可以通俗理解為：不是讓電子在晶體管中運行，而是讓光在芯片中傳播，用光場的變化完成計算。光天然具備高速和并行的優(yōu)勢，因此長期被視為突破算力與能耗瓶頸的重要方向。但要把光計算真正用到生成式AI上，并不容易。

大規(guī)模全光生成計算芯片LightGen。上海交通大學供圖

  LightGen在單枚芯片上同時突破了三項領域公認的關鍵瓶頸：單片上百萬級光學神經元集成、全光維度轉換，不依賴真值的光學生成模型訓練算法。不僅如此，LightGen展示的并不是電輔助光去做生成，而是讓全光芯片完整實現“輸入—理解—語義操控—生成”的閉環(huán)：輸入圖像進入芯片后，系統(tǒng)能夠提取與表征語義信息，并在語義操控下生成全新的媒體數據，實現讓光“理解”和“認知”語義。

LightGen生成的采樣圖像示例。上海交通大學供圖

  在性能評估上，LightGen采用了極嚴格的算力評價標準。實測表明，相比頂尖數字芯片，即便采用較滯后性能的輸入設備，LightGen仍實現了 2 個數量級的算力提升和 2 個數量級的能效提升。而如果采用前沿設備使得信號輸入頻率不是瓶頸的情況下，LightGen理論上可實現算力提升7個數量級、能效提升8個數量級的性能躍升。這不僅體現了在不犧牲生成效果的情況下，用全光方案替換現有方案可能帶來的巨大增益，也從側面印證了大規(guī)模集成、全光維度變換與無真值訓練等難點被系統(tǒng)性解決后，全光片上承載大規(guī)模生成網絡的現實意義。

  本文同步被Science官方選為高光論文重點報道。文中提到，生成式AI正加速融入生產生活，要讓“下一代算力芯片”在現代人工智能社會中真正實用，勢在必行的是研發(fā)能夠直接執(zhí)行真實世界所需前沿任務的芯片——尤其是大規(guī)模生成模型這類對端到端時延與能耗極高的任務。面向這一目標，LightGen為新一代算力芯片真正助力前沿人工智能開辟了新路徑，也為探索更高速、更高能效的生成式智能計算提供了新的研究方向。