云从科技3D人体重建技术获突破

　　3月19日，记者从云从科技获悉，这家中国科学院旗下人工智能(AI)创企的3D人体重建技术同时在该领域三大权威数据集上取得新突破：将原有最低“误差”大幅降低30%，刷新了世界纪录。

　　3D重建领域通常以“误差”作为衡量算法能力的主要指标，这里的误差特指生成模型与实际图像的差别。显然，误差越低，精度越高，意味着技术性能越好。

　　据介绍，在该领域三大权威数据集Human3.6M、Surreal和UP-3D上，云从科技3D人体重建技术“全身精度误差”在Surreal上从75.4毫米降低到52.7毫米、“关节精度误差”从55.8毫米降低到40.1毫米，在Human3.6M上的关节精度误差从59.9毫米降低到46.7毫米。此外，技术的执行速度从之前的上百毫秒降低到只需5毫秒。

　　上述突破是如何实现的?云从科技技术团队成员、资深算法研究员吴凡介绍说，针对人体具有丰富多样的姿态和穿着的特点，他们提出了一套全新的基于人体3D纵深预测的3D信息表征方式。这种表征方式通过对三原色图像(RGB，不含深度信息)的分析来预测人体的3D形态和姿势，并用6万多个点完整描绘人体，从而在人体重建技术上取得速度与精度的双突破。

　　“(新算法下的)结果呈现出来的模型更精细，帧率更是高达200帧每秒，原本受实时显示限制而无法实现的应用可以一一实现。”吴凡说，这将极大地推动相关智能图像应用的落地。

　　记者了解到，传统的3D重建技术大多需要连续的或是多视角的图像，在硬件上一般需采用双目摄像机或结构光摄像机等设备，因此在手机等便携设备上尚难以实现;另一方面，专用设备还会增加部署成本，增加大规模普及3D重建技术的难度。

　　云从科技这一3D人体重建技术是基于单帧图像实现的。由于对输入图像的要求低，3D重建技术可以利用普通光学摄像头作为感知设备，进而将推动更多智能应用成为可能。比如，该技术将使美颜类App无需结构光摄像头也能具备高精准度的瘦身与动画合成功能等。

　　不过，吴凡也提出，基于单帧图像的3D重建技术对原始图像要求降低的同时，却对背后的技术提出了更高挑战，比如技术需要从单帧图像中推理出人体或人脸的3D形态，并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向，才能得到人体的姿态或表情信息。