面向机器人手术模拟器的神经辐射场软组织动态三维重建

构建了一种基于自监督的框架，该框架从单目立体内窥镜视频中提取多视图图像，利用图像中的底层三维（3D）信息构建对象的几何约束，实现软组织结构的准确重建。基于分割任意场景模型对内窥镜下的动态手术器械、静态腹腔场景及可形变软组织结构进行分割解耦。该框架利用简单的神经网络多层感知机来表示动态神经辐射场（NeRF）中运动手术器械和形变软组织结构，基于偏斜熵损失对手术场景中的手术器械、腔体场景和软组织结构进行正确分离。在通过使用单目立体内窥镜捕获机器人手术模拟器场景的数据集上，将所提方法的结果与其他方法进行定量定性比较。结果表明本文方法在处理腹腔体场景、软组织结构重建、手术器械的分割解耦，以及来自多视点的3D信息和运动对象的图像分割等方面显著优于当前的方法。