永利官网颜露新团队在神经形态视觉的三维高速重建领域取得新成果

6月26日，永利官网多谱信息智能处理技术全国重点实验室颜露新教授团队在神经形态视觉三维高速重建领域的最新研究成果“STD-GS: Exploring Frame-Event Interaction for SpatioTemporal-Disentangled Gaussian Splatting to Reconstruct High-Dynamic Scene”，于人工智能顶级会议IEEE/CVF International Conference on Computer Vision (ICCV)接收。该研究创新地引入神经形态动态视觉传感器来弥补帧成像体制在高速场景的局限性，并提出一种新型的时空解耦式4D高斯溅射模型来重建和渲染高速动态场景。

高斯溅射在三维重建技术中因其实时性和高效性而闻名。然而，对于高速动态场景，高斯溅射三维重建面临成像体制缺陷、动态模式干扰等挑战，这极大限制了三维重建技术的发展与应用。

图1 面向高速动态场景的三维重建方案。左：像素对齐的帧-事件共光轴装置。

右：时空解耦式的4D高斯溅射模型。

颜露新团队研制了像素对齐的帧-事件共光轴装置，提出了时空解耦式的4D高斯溅射模型。该装置通过微处理器同步多传感器的时间频率，再利用分光镜将平行光束分解到帧相机和事件相机以物理对齐空间位置，为三维高速场景重建提供数据保障。该模型整合帧-事件的时空互补知识，解耦场景组分和目标属性，分层式地建模场景的4D高斯属性，实现了高效的高速场景重建和渲染。研究成果验证了神经形态视觉成像体制在高速动态场景的潜力，推动了三维重建技术新框架的发展。

永利官网颜露新教授为论文的通讯作者，304永利官网登录入口博士毕业生周寒宇（现于新加坡国立大学从事博士后研究）、博士生王浩楠为论文共同第一作者，博士生刘昊岳、段宇兴和新加坡国立大学副教授Gim Hee Lee等人参与了本工作。