首页 > 智能网

DeepTalk深言堂 | 清华刘永进:多模态情感计算

来源:智能网
时间:2020-03-10 12:02:55
热度:128

DeepTalk深言堂 | 清华刘永进:多模态情感计算深兰科学院打造的学习平台“DeepTalk深言堂”,于2020年1月9日首次开讲。我们有幸邀请到清华大学计算机科学与技术系的孙

深兰科学院打造的学习平台“DeepTalk深言堂”,于2020年1月9日首次开讲。我们有幸邀请到清华大学计算机科学与技术系的孙富春、邓志东、刘永进三位学术界知名的专家教授,特别带来三场基于最新科研动态的精彩报告。

前期已分享了孙富春教授《面向灵巧操作的机器人主动感知与认知学习》,今天将特别呈现刘永进教授的精彩报告。

DeepTalk深言堂

《多模态情感计算》

清华大学 刘永进教授

报告摘要

情绪是指认知和意识过程中产生的心理和生理状态,对人类的行为和心理健康有重要的影响。情绪在机器人智能交互领域有许多应用场景,例如陪伴机器人、看护机器人、送餐机器人中的虚拟客服对话与个性化图形内容生成等。多模态情感包括行为信号和生理信号的情绪识别。与行为信号相比,生理信号具有普适、自发性强、难于伪装的优点,更能反映大多数人群的真实情绪。在识别问题中,需要使用高效的机器学习算法进行情绪分类。传统方法将各电极通道的EEG信号独立处理。此次报告介绍了清华在这方面最近在考虑通道之间关联的、基于多通道脑电信号的情绪识别研究,包括稀疏图卷积神经网络和基于注意力机制+域判别器的LSTM网络。

AI中的情感计算

AI中的情感计算我们把它定位成人工智能中比较重要的体现,现在很多人说不清人工智能是什么,只能说有算法可以做到人能做的事情,能节省一些人力,这是早期算法能模拟人做的事情。但人工智能再往后发展,它的一些高层的功能跟情感就有关系了。

这里我们就要讲到情绪。情绪有一个定义,它是认知和意识过程中对心理和生理状态的测量,它是一个模糊、不精确的概念。为什么说研究高级人工智能,它很重要呢?因为情绪对于人类的行为和心理健康,包括一些产品的用户体验有非常重要的影响。

我们这里研究的情绪是指,由情感引发或能够影响情感的计算。这里我想特别强调下有关机器智能和仿人智能的区别,人工智能有时候不太区分这两种智能,但这两种智能的差别还是非常大。

机器智能完全是机器之间在进行交流,完全是逻辑运算,是机器内部的自己的运算或高性能存储,是不需要人参与的,自己有一套非常好的机制。它的存储可以做的很大,运算速度很快,可以比人突出的传递的精神信号要快很多倍,它的容错和纠错能力也非常强。

而仿人智能一定强调“人在回路”,我们强调这种智能形态里是有人的,是要为人来服务的。我们有很多学科,比如机器人、人机交互,比如我们的迎宾机器人,它不是来迎接机器人的,它是来迎接人的,有人在回路上。我们还有虚拟/增强现实、计算机图形学与可视化、图像、视频、多媒体,所有这些都是给人看的。如果是机器和机器交流,它只需要带宽,完全有一套自己的体系,可以完全突破人的生物的限制。为什么说仿人智能?因为人是一种生物的智能,它与机器智能有完全不同的形态,所以当人在回路的时候,要考虑人的感受的时候,这方面就非常重要。

人在回路有一个非常重要的因素是情感或者情绪状态,这是一个高级的、意识形态的问题。这类研究在人工智能中也比较多了,比如文本,我们的聊天机器人Siri,有聊天对话的用户界面,这些通过分析情感词、包括图形测试来回答。我们的智能客服回答的时候如果有情感词、有语气,你高兴的时候它能一起高兴,你悲伤的时候它能给你一些开导,你会觉得对面更像是一个人。

我们再举一个图形学中的例子,在人和机器人之间的交互我们有个落地的应用。一个用户的照片,我们可以给出任意一个情绪的标签,然后就可以把脸部变成对应的喜怒哀乐。进一步比如说一个冷冰冰的聊天对话的文本框,可以回答一些问题,好比看护机器人、家庭中的陪伴机器人等都有一些语气词,这都是文本层面,但在图形交互界面上还是非常少。

之前一些研究工作,写成文还是比较容易,比如说这些世界名画,我们搜集到一些人的个性化表情照片,把名画改成他们的表情。但如何落地应用呢?这是一个很大的体系,人通过很多传感器,比如脑机接口、腕表来测量身体信号,对应到一些显示,如虚拟现实、增强现实、对话聊天等,都通过这个界面来显示。

情绪识别

我们跟许多国内做情感计算的人沟通,发现基础理论并不清晰,所以我们在2017-2018年花了很多时间,跟中科院心理所、清华大学心理系一起,把基础理论先搞搞扎实。

首先我们来看如何刻画人的情绪或情感模型。很多时候计算机视觉说不清,所以我们花了很长时间去理清这个情绪模型,这不是我们提的,这个概念太大,我们主要搜集了很多国际上的已有模型。

主要分为两大类,一类是离散模型,一类是维度模型。

离散模型是通过人的临床或心理学家提炼出来的,有点像聚类算法聚类出来的通过100多年大量的样本提炼出来的,包括喜悦、愤怒、惊奇、悲伤、厌恶、恐惧,它的优点在于每一类的分界线非常清晰,具有很高的辨识度,神经反应的模式非常清晰。

维度模型,它是是计算机领域比较喜欢的,是一个连续的维度,比如唤醒度、效价加上控制度,它是一个连续的坐标系,坐标中的任何一个点都可以刻画一种情绪,在描述上非常方便。但它有一个问题,在这个坐标空间中并不是线性,比如温馨和浪漫,他们的坐标点可能差得不远,但它们的神经响应模式差别特别大。有时候坐标差得比较远,其实又离得比较近,所以这个空间用起来很方便,但在神经辨识度上可能有些问题。


这个离散模型,大家仔细看的话其实会发现它的负性情绪居多,在六类经典的离散情绪中正性只有喜悦一种,其他都是负性,因为临床大部分是病人,心理有问题才会去看医生。因此清华大学心理学专家提出一种“积极心理学”,就是要把正性情绪进行细分类,传统的情绪里是没有的。我们现在讲到的情绪并不是都给病人用,更多时候比如我们到商场里遇到的客服机器人,跟它交互的时候,要区分哪些情绪状态是好的,要区分出是快乐、放松、自豪、感恩,还是其他情绪细分类。

积极情绪有独特的认知功能,能促近身心健康,提高社交能力和学习能力。我们正在理论上尝试刻画积极情绪这种模式。还有一个不一样的地方,以前的负性情绪界限非常清晰,分辨率非常高,但积极情绪是一个混合的情绪状态,是几种情绪混杂在一起诱发出来的。所以分类上不是排他式的,而是混合式的。

另外在基础理论方面,有一个Ground truth,它是一个非常模糊的概念,就像高兴和喜悦没有界限。于是,我们就花很长功夫去界定了一个Ground truth,我们就收集到传统在心理学上做的实验。

情绪诱发有几大类基础的方法:


通过实验,假定能通过一套素材诱发情绪,那我们要搜集什么样的信号去识别呢?这里基本分为两类,一类是基于行为的数据,一类是基于生理信号的数据。

基于行为的包括图像、面部表情、语音语调,或者身体的姿势。作为一个基础的Ground truth,这些比较容易收到外部因素的影响。好比人可以去控制表情和身体的姿势,隐藏真实的情绪状态。所以我们在做基础库的时候,会考虑基于生理信号,用脑电、外周生理信号,即便是受过训练的人也很难控制这些。

脑电信号

2019年我们进行了一项关于脑电的研究,分析用户在交互过程中的脑神经信息,创新性地实时在线解码在复杂多样真实环境下的情绪状态,构建情绪识别脑机接口系统,综合研究积极情绪和交互自然性的关系,为图形界面、媒体生成、自然人机交互提供理论基础和验证平台。

脑电信号的采集还不是很普及,我们知道传统医学上使用的脑电设备都是湿电极设备,要打脑电膏、涂生理盐水,实验非常麻烦,用户也不愿意去戴。我们要收集到这些Ground truth非常麻烦,但是使用开始考虑干电极设备。所以我们可以用湿电极设备来收集Ground truth,用干电极设备来应用。

视频的建立有一套非常严格的,经得起考验的标准,收集的Ground truth一定能诱发情绪。因为情绪与文化背景有关,所以我们面向中国北方地区汉族建立了库,利用电影的素材库,因其包括语音通道和视觉通道,更接近真实场景来诱发情绪。专家经过一系列帅选评定,来判断到底是通过画面颜色还是视频内容来诱发的情绪,要把单一因素排除掉。

我们还在做的就是刻画积极情绪,比如通过腕表或其他脑电设备,可以总结出一天的情绪变化状态,就像有的腕表可以测算走路消耗的卡路里,我们也可以记录脉搏、一天情绪的分布,来建议改善健康或者学习效率等。

这是一个情绪素材的评定,过程非常艰辛,我们还是建立起来了。我们找了志愿者在中文视频网站上收集材料进行初评,然后找了专家在长度、理解性、区分度上进行评判和划分,最后开始正式实验、填写量表、观看影片,有一套标准程序。

对于积极情绪,它并不是排他性的,我们收集了20多种进行聚类,形成了几个大的区分度比较高的类别。

这套工作的基础我们做的比较扎实,建立好了这套情绪的理论数据库后,就可以在图形生成、语音画面上做很多事情。

而脑电特征与图像信号没什么区别,只是不规则图像视频比较规则可以用负电卷积做CNN,脑电并不是规则的,可以用图卷积网络来处理。

基于多通道脑电信号的情绪识别技术

以前是基于单一某个通道的脑电信号,特征是手工设计出来的,出于医生的经验,最多能做到左半脑和右半脑有一个差,最多做到一阶特征。现在我们用自动学习来学一个非线性特征,我们的效果比较好的话,还能给神经学家建议。

我们现在通过图卷积网络,用LSTM网络把非线性特征可视化出来,给到神经学家建议和启发。

小结

情绪影响行为和心理健康,广泛应用于机器人交互、图形媒体生成领域;

在各类指标中,脑电信号因自发性强、携带信息丰富、时间分辨率高,能获得较好的情绪识别效果;

由于不同脑区的功能差异,基于多通道脑电信号的情绪识别技术逐渐产生,这些技术考虑通道间的关联关系,更符合脑电信号的特性,推动情绪研究的进一步发展。

Baidu
map