在情绪识别方面，ACIR基于心理学理论-面部动作单元编码系统(Facial Action Coding System, FACS)，使得机器人能够对人类面部表情动作单元 (Facial Action Unit, AU) 进行识别，并初步提出基于面部解剖学特点的微表情动作时序分析理论。

　　考虑到AU描述面部肌肉运动的动态过程，我们设计了光流监督模块FSM，以稠密光流算法生成的光流场作为监督信号，优化骨干网络提取的AU特征。在多种骨干网络上均取得了显著提升，插入FSM的FSNet在主流数据集上 均取得了国际领先的检测结果，且网络参数量显著低于相关工作。

　　

　　FSNet示意图

　　为充分利用AU内在特征，我们提出了CaFGraph，一种新颖的上下文感知的面部区域图，对面部区域之间的内在关系和面部区域层级的时间演化进行建模。在CaFGraph的基础上，我们提出CaFNet用于多标签AU检测。该方法在AU基准数据集上取得了国际领先的检测结果。

　　

　　CaFNet示意图

　　AU强度估计在现实场景中有应用价值，我们通过面部特征点定位、特征点跟踪、SVM、Faster RCNN等计算视觉、机器学习的方法，结合FACS对面部动作单元进行建模，得到的模型能够准确获取多AU事件时间及强度，并可实时绘制出多AU叠加的强度曲线图（面部动作单元时序图）。此外，ACIR还结合深度学习中卷积神经网络等技术，充分挖掘并利用面部动作单元的解剖学原理、语义联系和时间演化等特征，实现实时准确的多AU检测、强度估计、时序图后处理。实际应用举例，如识别真笑假笑。

　　

　　识别真笑假笑

　　对于面部行为分析相关的应用，离线序列分析至关重要，为此我们提出了面部动作单元时序图任务，其目标是在给定一段视频序列内定位多种面部动作单元出现的时间段，并准确地进行动作单元的分类，不同的是。我们设计了一个稀疏多标签面部动作单元实例生成模型，该模型能够较为准确地给出多标签AU实例预测结果。

　　与国际领先水平相比，ACIR可实现多个AU同时检测及实时计算。现阶段正在根据具体需求，结合心理学知识，建立AU的强度信息与时序信息到复杂情绪的映射关系，力图能够较为准确地识别基础情绪及疼痛、紧张、焦虑、疲劳、失能等复杂情绪和状态。

　　这方面工作已在多个会议及期刊发表，其中包括国际顶级会议ACM MULTIMEDIA、IROS等。