从一句话生成一张图，到几秒钟生成一段视频，生成式东说念主工智能正在走向更复杂的的确寰宇诈欺。模子越大、诀别率越高、生成执行越丰富，对算力与能耗的需求就越惊东说念主，后摩尔定律时期，面向已往的策划焦点转向光电诡计等“下一代算力芯片”。然则，刻下光电芯片仍主要擅长加快判别类任务，距离支执前沿大限度生成模子还有不小距离。因此，“若何让下一代算力光芯片能出手复杂生成模子”，成为巨匠智能诡计界限公认的难题。
论文在《科学》杂志发表
新民晚报记者近日从上海交通大学获悉，上海交大集成电路学院陈一彤课题组在新一代算力光芯片标的得回紧要冲破，初度已毕了支执大限度语义视觉生成模子的全光诡计芯片LightGen。关系策划以《大限度智能语义视觉生周密光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）发表于外洋顶级学术期刊《科学》（Science）上。
所谓“光诡计”，不错世俗地交融为：不是让电子在晶体管中出手，而是让光在芯片中传播，用光场的变化完成诡计。光自然具备高速和并行的上风，因此长期被视为冲破算力与能耗瓶颈的迫切标的。然则，要把光诡计真确用到生成式AI上，并非这样松弛：生成模子往往限度更大，还需要在不同维度之间握住变换；要是芯片限度较小，则不得连续常在光与电之间级联或复用，速率上风会被延伸与能耗马上对消。因此，全光诡计，就显得更为迫切和清苦。
大限度全光生成诡计芯片LightGen
LightGen之是以大概已毕惊东说念主的性能飞跃，在于它在单枚芯片上同期冲破了三项界限公认的裂缝瓶颈：单片上百万级光学神经元集成、全光维度疗养，不依赖真值的光学生成模子锤真金不怕火算法。这三项中的大肆一项单独冲破王人足以组成迫切发达，而LightGen将它们同期已毕，使得面向大限度生成任务的全光端到端已毕成为可能。
更迫切的是，LightGen展示的并不是电支持光去作念生成，而是让全光芯片齐全已毕“输入—交融—语义操控—生成”的闭环：输入图像参加芯片后，系统大概索求与表征语义信息，并在语义操控下生周密新的媒体数据，已毕让光“交融”和“领略”语义。论文实验考据，LightGen可完成高诀别率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控，同期支执去噪、局部与全局特征移动等多项大限度生成式任务。
LightGen生成的采样图像示例
在性能评估上，LightGen收受了极严格的算力评价尺度：在已毕与电芯片上出手的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经网罗相仿生成质地的前提下，凯旋对端到端耗时与耗能进行测量。实测标明，即便收受较滞后性能的输入开荒，LightGen仍可得回比拟顶尖数字芯片2个数目级的算力和能效提高。而要是收受前沿开荒使得信号输入频率不是瓶颈的情况下，LightGen表面可已毕算力提高7个数目级、能效提高8个数目级的性能跃升。这不仅体现了在不捐躯生成后果的情况下，用全光有缱绻替换现存有缱绻可能带来的深广增益，也从侧面印证了大限度集成、全光维度变换与无真值锤真金不怕火等难点被系统性处理后，全光片上承载大限度生成网罗的现实意旨。
论文同步被《科学》杂志选为高光论文要点报说念。文中提到，生成式AI正加快融入坐褥生涯，要让“下一代算力芯片”在当代东说念主工智能社会中真着实用，大势所趋的是研发大概凯旋实施的确寰宇所需前沿任务的芯片——尤其是大限度生成模子这类对端到端时延与能耗极高的任务。面向这一看法，LightGen为新一代算力芯片真确助力前沿东说念主工智能开辟了新旅途，也为探索更高速、更高能效的生成式智能诡计提供了新的策划标的。