注意焦点分析

  在注意力分析方面,ACIR提出注意力(眼动)动力学模型并识别视线关注方向。注意力(眼动)动力学模型包括眼神方向的分析和眼神方向动态特征的分析。目前ACIR眼神方向识别已能够使机器人通过自带摄像头(无需用户佩戴眼动仪),在三维自由场景中准确识别用户目光指向。并且能够依据眼神方向,识别出在此方向的目标物,同时进行目标检测,辅以眼神方向动态特征的分析(判断用户视线处于凝视或扫视状态),从而获得用户的注意力状态。

  此外,ACIR还为机器人的注意力分析设计了多个人机交互的场景和应用。在“你瞅我干啥”的应用中,机器人主要判断用户的眼神是否看向它,如果检测到了用户的视线,那么就会主动对用户说出“你瞅我干啥”。我们将这个工作的内容部署在了人型机器人平台上,也取得了较为准确实时的实验结果。图3-3展示了在AISR机器人上进行实验的真实场景。这个人机交互应用从日常场景入手,使机器人能够自动捕获用户的眼神方向,并且当用户看向机器人时,主动产生互动行为,体现了人机交互的主动性。

  

  机器人识别用户眼神方向并询问“你瞅我干啥”

  在“你瞅我干啥”的基础上,我们还将目标扩展为空间中的其他物体,实现了在三维空间中的注视目标识别的“你瞅那干啥”应用。我们以机器人导览为场景进行应用,将注意力分析框架部署到了ACIR的AISR机器人上。如图3-5,用户看墙上一块展板,机器人系统检测到用户的注意力后,机器人开始对该展板进行介绍,随后用户注意力转向周围环境中,机器人系统检测到用户注意力的转移,机器人暂停讲解,待用户注意力转回该展板后再继续介绍。之后用户看向另一块展板,机器人便介绍另一块展板。

  

  你瞅那干啥(导览场景)应用测试

  实验结果表明,与之前导览应用中需要用户首先通过点击屏幕或者语音方式触发交互不同,基于视觉注意力的导览场景应用可以对于人感兴趣的展品主动地、有针对性地进行讲解,并且可以识别出用户不同的注意力转移行为,从而进行特定的反馈。在智能导览过程中加入视觉注意力的分析,可以使交互过程更加自然,而用户不需要发出指令,机器人就可以捕捉到用户的意图,从而进行恰当的交互。

  这方面的相关工作获得了国际会议ICAA2019最佳论文奖。