机器人综合训练学习虚拟环境

创建近真实交互环境,实用、易用,达到国际领先水平

智能机器人需要与真实环境进行交互,但是在机器人学习交互能力的时候,如果在真实环境中进行,一方面很难提供充足的不同真实场景,另一方面也容易使场景被破坏(例如机器人在家庭的真实环境中进行学习时会损坏家庭财产)。一个较好的方法是建立机器人综合训练学习虚拟环境,这不仅需要高逼真的视觉效果,还需要支持智能机器人与环境进行符合物理规律的交互。然而,现有的数据系统,基本无法同时满足上述要求(图片数据集视觉效果真实但不可交互,游戏环境可交互但不真实)。因此,以实现智能机器人的自主学习为目标,我们基于虚幻引擎(Unreal Engine)构建了大规模近真实的虚拟环境。这种虚拟环境具有高逼真的视觉效果和物理仿真,丰富的场景内容,多样且精确的标注信息,灵活的用户接口等特点。基于上述特点,我们的虚拟环境不仅可以用于生成用于深度估计、视觉测量、目标检测和语义分割等传统计算机视觉任务的数据,还可以用于需要与环境交互的智能机器人的训练(强化学习)和测试,如室内导航、自动驾驶、主动目标跟踪和机械臂控制等。在综合训练学习虚拟环境学习之后,机器人可以将学习到的能力直接应用到真实环境中。我们的机器人综合训练学习虚拟环境在实用性和易用性上均达到了国际领先水平。

工作成果发表在ACM MM 2017上。