面向智能车的自然诱发驾驶员情绪面部表情数据集

滑铁卢大学Cogdrive实验室和重庆大学先进制造与信息技术实验室联合建立了一个驾驶员情绪面部表情（DEFE）数据集，用于驾驶员自发情绪分析。该数据集包括驾驶过程中60位参与者（43位男性）的面部表情记录。该数据集可用于评估驾驶员面部表情识别的算法，DEFE数据集也为同时从不同的情绪模型研究情绪识别提供了可能。

背景

驾驶员情绪在驾驶中起着重要作用，因为它会影响驾驶安全性和舒适性。在全球每年发生的20－50百万例非致命伤害和124万例致命道路交通事故中，驾驶员无力控制情绪已被视为安全的关键因素之一。智能汽车的快速发展也要求在驾驶员与自动化交互与协作的集成方面出现新的需求，从而进一步提升驾驶舒适性，其中驾驶员情绪是关键状态之一。因此识别驾驶员情绪对于提升来智能汽车的安全性和舒适性至关重要。

面部表情对驾驶员来说是表达情感的有力渠道。基于面部表情的情绪识别的最新进展促使人们创建了多个面部表情数据集。公开可用的数据集是加速面部表情研究的基础，如表1所示，我们总结了到目前为止所有包含面部表情的数据集，这些数据集已被用于面部表情来情绪识别，并获得了不同程度的成功。这些数据集的共同特征之一是在静态等场景下采集参加者的面部表情数据。

尽管静态场景下采集到的面部表情数据可以研究通过面部表情识别情绪状态，但是它将所提出的算法的应用局限到了静态生活场景下。结果，如果将此类算法应用到动态的驾驶场景下，可能无法得到可靠的识别效果。相对地，驾驶汽车是是一个复杂的认知过程，需要驾驶员动态地对视觉提示，危害评估，决策，战略规划等同时做出反应，从而占用驾驶员大量的认知资源，而认知过程对引起情绪反应来说是必须的，显然，驾驶会影响驾驶员的情绪表达，这种情绪表达和生活场景中相比是有差异的。

表1． 基于面部表情的情绪识别公开数据集小结

DEFE数据集

为了解决现有驾驶员情绪分析数据集的局限性，我们建立了一个驾驶员情绪面部表情数据集（DEFE），以研究基于面部视觉数据的驾驶员情绪识别。在表2中，我们描述了收集驾驶员真实面部表达的实验细节，以及数据集中的情感标签。DEFE数据集共有60位参加者（43位男性），每位参加者在观看完经选择的刺激材料后，在相同的驾驶场景下完成驾驶任务，并分别从维度情绪和离散情绪两方面评价了他们在这一驾驶过程中的情绪反应，这些度量包括唤醒，效价和掌控力以及情感类别和强度，实验数据采集及驾驶场景如图1所示。

表2． DEFE数据集小结

图1． DEFE实验数据集实验采集及驾驶场景

我们还比较了使用DEFE数据集进行驾驶员情绪识别的结果。DEFE数据集可以分别从维度情绪（唤醒，效价和掌控力）和离散情绪（情感类别和强度）两方面对驾驶员情绪进行识别，以准确度和F1分数建立了数据集的基线结果。除了DEFE数据集的情绪识别外，我们还选择了DEAP和CK＋数据集作为静态生活场景下的比较数据集，比较结果如表3所示（DEAP数据集因为采集过程中面部存在随机电极片遮挡，可能是造成识别结果较低的主要原因）。

表3．DEFE数据集情绪识别结果

图2显示了DEFE数据集的样例图片。我们观察到面部表达随情感的种类而变化，但是在驾驶中这种变化是特别微弱的。例如，消极情绪（愤怒）和中性状态的差异非常小。在大多数视频剪辑中我们很难观察到峰值表情，这种现象很可能是因为情绪的面部表达受到了驾驶任务的影响。

图2． DEFE数据集中3种情绪类别的样例图像：第一行愤怒，第二行快乐和第三行中性。

动态驾驶场景和静态生活场景下面部表情的差异

进一步的，我们基于DEFE和JAFFE数据集对动态驾驶和静态生活条件之间的面部表情进行了差异分析。图3显示了在面部动作编码系统（FACS）中愤怒和开心的动作单元（AU）编码以及描述。通过比较两个数据集中不同情绪的动作单元出现（AU presence），如表4所示，我们发现两种场景下AU presence存在显著差异。

图3． FACS可用于描述成人的面部表情。（a）和（b）分别显示常见的FACS愤怒和快乐编码，（c）呈现AU的愤怒和快乐的内容描述

表4．动态驾驶和静态生活场景下的AU presence差异分析

对于逻辑回归结果，动态驾驶和静态生活场景下也有显著性差异。对于愤怒情绪，动态驾驶场景下的逻辑回归结果显示只有AU4和愤怒情绪相关且显著，而在静态生活场景下AU4，AU5和AU23都和愤怒情绪相显著相关。对于开心情绪，动态驾驶场景下的回归结果显示没有任何AU和开心显著相关，但是在静态生活场景下的结果显示AU12和开心情绪显著相关。

表5．动态驾驶和静态生活场景下的AU presence回归分析

以上结果表明驾驶场景中的人类面部情感表达与其他生活场景不同。这可能是由于驾驶员需要在驾驶过程中保持专注，这降低了面部肌肉运动的频率和幅度。关于这些结果的解释性研究可能需要进一步探索。