首页 > 行业资讯 > 查看内容

只需一个2D摄像头,RADiCAL利用AI实现低成本动捕

2018-05-09 13:45:26|来源: 映维网

  如果动画角色要感动我们,它们需要首先动起来。然而,赋予虚拟角色生命从来不是一件易事。动捕技术能够记录和数字化复制人体运动以创建3D动画。我们不妨联想一下安迪·瑟金斯在《指环王》系列中所扮演的咕噜。

  传统动捕技术的问题是,其需要依靠大量昂贵和笨重的硬件。这同时需要经验丰富的专业人员操作多摄像机设置,演播室环境,以及演员身穿特制的传感器套装。

 

  “所有这些费用,技能和时间都令人对动捕技术望而却步。”RADiCAL的联合创始人兼CEO Gavan Gravesen如是说道。初创公司RADiCAL是一家位于纽约的NVIDIA Inception项目成员。Gravesen表示:“我们致力于提供全民易用性,无缝集成和快速完成,而所有这一切都是以低成本实现。”

  他们基于AI的解决方案只需要游戏开发商,3D图形艺术家,电影制作人员和AR/VR爱好者提供一件物理硬件:一台2D相机,甚至是一台手机。不需要其他硬件,工作室环境或精密的传感器设备,这大大降低了所涉及的成本和工作量。

  1. 更简单的动捕

  世界任何用户都可以通过智能手机或网络直接将视频上传到RADiCAL的云端中。该公司则利用人工智能和运动科学处理视频,检测其中的内容,在3D空间中重现人类运动,甚至是重建相机所无法看到的内容。

  RADiCAL的算法可以自动适应不同的人体比例和人体运动,然后创建一个可以在3D映射视频主体运动的模型。尽管模型的流畅运动使得该过程看起来十分简单,但底层却非常复杂。

  RADiCAL的联合创始人兼CTO Anna-Chiara Bellini指出:”我们集成了深度学习,机器人技术,计算机视觉和生物力学,这需要强大的人工智能开发环境。”

 

  2. 利用TensorFlow处理

  Bellini表示,RADiCAL面临的第一个挑战就是需要处理的大量数据。对于他们的算法,单张静止图像可能需要分析多达6GB的数据。但对于每一秒的动作,期间包含120帧内容,从而带来了惊人的720GB数据。

  Bellini及其团队选择了TensorFlow,将GPU编程集成到他们的研究过程中,从而为整个管道提供一个“单一执行模型”。她解释说:“通过使用CUDA编写的ad-hoc内核来补充TensorFlow,一个只需数小时编写的简单内核可以为我们节约数天的模拟时间。”

  为了支持其运动模型,RADiCAL在多GPU系统上以交错方式处理多个帧。Bellini指出:“支持多个Tesla V100 GPU的最新一代NVIDIA NVLink等技术使这一切成为了可能。”

  Bellini和她的团队使用了基于云端的多GPU设备,她们将从构思到部署再到生产的开发周期时间减少了10倍。

  她说道:“英伟达的显卡提高了我们的工作速度,允许我们探索更多的选项,以及更有效地利用我们机器学习工程师的时间。这是一个惊人的发现。”

  3. 动画文件的应用

  在处理完视频后,RADiCAL将通过网站及其MOTiON应用程序提供与实际视频片段并排呈现的实时3D预览。用户还可以下载适用于3D动画,增强现实,虚拟现实,游戏引擎和其他3D图形程序,以及内容频道格式的动画文件。

 

  RADiCAL现在已经向创意产业的早期采用者提供了一个公开测试计划(点击前往),而他们目标是在数周内完成全面的商业发行。
联盟会员
合作伙伴
公众平台