首页 > 行业资讯 > 查看内容

将2D图像人物实时映射3D模型,Facebook开源DensePose技术

2018-06-19 09:40:00|来源: 映维网

  Facebook AI Reaserch(FAIR)今天正式开源了DensePose,一项将2D RGB图像的所有人类像素实时映射至3D模型的技术。

  最近在人类认识方面的研究主要是定位一组零散分布的关节,如手腕或肘部。这对手势或动作识别等应用程序而言可能已经足够,但这减少了图像解释。Facebook则希望更进一步,比如说通过一张照片来进行试装,或者替换图片中朋友的衣服。对于这些任务,我们需要更完整的基于表面的图像解释。

 

  DensePose项目旨在解决这个问题,通过基于表面的模型来理解图像中的人类。Facebook的研究表明,我们可以高效地计算2D RGB图像和人体三维表面模型之间的密集对应关系。与人体姿势估计中利用10个或20个人体关节的常见项目不同,DensePose涉及整个人体,需要超过5000个节点。Facebook系统的最终速度和准确性加速了与增强现实和虚拟现实的联系。

  早期对这个问题的研究在速度上相对缓慢,而DensePose则可以在单个GPU上以每秒多帧的速度运行,并且能够同时处理数十,甚至数百人。

 

  为了实现这一点,Facebook推出了DensePose-COCO。这个大型标注数据集,在50000张COCO的图像上手工标注了图像-人体表面(image-to-surface)的对应点。在第一阶段,标注者将划定与可见的、语义上定义的身体部位相对应的区域。在第二阶段,Facebook用一组大致等距的点对每个部位的区域进行采样,并要求标注者将这些点与表面相对应。
 

  Facebook同时开发了一种新颖的深层网络架构。Facebook以Detectron系统为基准,并且纳入了密集姿态估计的功能。和Detectron的Mask-RCNN系统一样,Facebook采用了Region-of-Interest Pooling,并且引入了一个全卷积网络。Facebook用三个输出通道来增强网络,训练它把像素分配给各个部分,以及U-V坐标。得益于Caffe2,所产生的架构实际上与Mask-RCNN一样快。
 

  Facebook表示,之所以开源是因为他们希望DensePose可以为计算机视觉,增强现实和计算机图形的研究人员和开发者可以更紧密地合作,并且助力新体验的发展。据映维网了解,DensePose目前已经托管至GitHub。Facebook同时为DensePose-COCO准备多个预先训练模型的性能基准,以及人工标注信息。
联盟会员
合作伙伴
公众平台