微表情识别在商务谈判中的应用

马银忠;孙君;陶红;沈玉婷;史辛柱

【摘 要】微表情是一闪而逝的真实表情,在谈判过程中,双方对谈判条件的真实接受程度和内心底线往往不会表现出来,但这种刻意的压制和隐藏却会被微表情所暴露.本文首先一段谈判视频中截取一系列图像,结合改进的SSD算法和比率检验法,对经HSV色彩空间转换后,剔除了环境背景的微表情图片进行识别.通过模拟谈判情境设计与实践,利用计算机能准确快速地识别微表情,经过微表情训练的实验对象能达成更有利的谈判结果.

【期刊名称】《价值工程》 【年(卷),期】2016(035)033 【总页数】3页(P186-188)

【关键词】微表情;识别;SSD算法;色彩空间 【作 者】马银忠;孙君;陶红;沈玉婷;史辛柱

【作者单位】南京工程学院,南京211167;南京工程学院,南京211167;南京工程学院,南京211167;南京工程学院,南京211167;南京工程学院,南京211167 【正文语种】中 文 【中图分类】H026.3

微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。在谈判过程中通过微表情来了解谈判对方对谈判结果的真实预期与心理底线，无疑能给己方带来更好的谈判结果。微表情持续时间一般不超过200ms，即使是

有意注意，一般也难以尽窥其貌。

本文先借用OpenCV读取视频中的每一帧，然后用计算机编程来获取对手微表情泄露的信息，最后给实验参与对象进行培训。 1.1 谈判视频的逐帧图像截取

开源计算机视觉库（Open Source Computer Vision Library，OpenCV）是一个基于（开源）发行的跨平台计算机视觉库，它由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

本文所用的实验视频是从罗伯特·斯文克导演的《Telling Lies》中摘取一段谈判视频，视频部分截图见图1、图2，该剧的灵感来源于美国行为学专家Paul Ekman博士的真实研究，卡尔·莱特曼（主演）通过对人的面部表情和身体动作的观察，来探测人们是否在撒谎来还原事件。

本文所用的实验视频OpenCV可以直接读取，无需安装特殊解码器。用OpenCV打开实验视频，取得其帧速率，根据帧速率计算帧之间的等待时间，取得视频文件的总帧数，每帧分别输出为一个单独的图像文件，按照截取的每帧的时间顺序编号。 视频的帧速率是30帧/秒，运用OpenCV逐帧截取之后共得到图片1662张，分析这些图片，发现其中很多图片没有太大价值，为提高分析效率，并按照微表情的定义，微表情持续时间约为40ms到200ms。故延长所截取的每帧的间隔时间后再次截取，实验以200ms为单位，共截得277张图片。 1.2 表情与背景的分离——跟踪实验视频中的特征点

在视频跟踪过程中，首先要对起始帧检测特征点，然后依次对后面的帧进行跟踪。本研究处理的实验视频中人脸在录像屏幕的部位大致相同，故只需先用形状描述子定位起始帧中人脸所在区域，再在其后的帧中以该区域为圆心开始搜索即可。 本文采用均值平移算法来查找目标。在已知目标大概位置的情况下，就可用概率分

布图找到物体的准确位置。而某个指定目标出现在特定位置的概率可由反向投影直方图反映，概率最大的位置即为该目标最可能出现的位置。均值平移算法就是在目标出现概率最大的位置周围反复移动，它通过迭代来定位概率函数局部峰值，从而找到该目标的实现方法。定位则是通过寻找预定义窗口内部数据点的重心或加权平均值。OpenCV在迭代次数达到最大值或窗口中心的偏移值小于一定阈值时判定该位置收敛到了一个稳定点。这种方法的结果很大程度上取决于初始帧中目标位置概率分布图。

由于人的肤色与周围环境颜色差距较大，故为了突出人脸的特征，采用HSV色彩空间的色调分量。HSV是表述颜色的直观特性的一种色彩空间。其颜色参数有:色调（Hue）用角度度量，取值范围为0°～360°;饱和度（Saturation）取值范围为0.0～1.0；亮度（Value）取值范围为0（黑色）～255（白色）。

首先将起始帧的图像转换成HSV色彩空间，用CV_BRG2HSV即可得到色调通道分量。该分量是取值在0°～180°的8位分量。再用cv：：split函数将原先为三通道的HSV图像分割为三个单通道图像，从而得到色调图像。色调图像是矩向量的第一位入口，作为矩向量的第二个入口，饱和度的影响应要考虑。由于低饱和度颜色的B、G和R分量几乎相等，所以低饱和度颜色的色调信息不稳定不可靠。故实际处理中要忽视饱和度低于一定阈值的像素。

从转换后的HSV图像可以看出面部肤色与周边环境色调和饱和度大为不同，且面部色调完全相同，因此可以将HSV图像划分为皮肤和非皮肤部分，从而去除背景，得到右侧图像。对于起始帧，可用形状描述子圈定面部区域位置。由于视频录制过程中人物处于屏幕位置变动范围有限，故没有选取实际上相邻的两张图，而是跳过两张，以期结果更为显著。图3a）中红色边界框为脸部图像形状描述子，图3b）中红色边界框为图3a）位置框，蓝色边界框是图3b）中脸部图像形状描述子。 这种高度依赖前一帧图像的算法可以提高表情识别的准确率，因为短时间内表情的

变化基本是连续的，过多的微表情不符合实际。然而若起始帧中人脸定位有问题，后面的帧正确率将大受影响。同时，这种依赖前帧的算法必将随着帧数的不断增加而流失越来越多的像素点，从而能影响准确性。如果完全不依赖前帧，每张图片分别运算，无疑会大为增加算法复杂度和程序运算时间，效率得不到保证。故在尽可能保证程序运行效率和准确率的情况下，建议结合视频长度、视频各部分重要程度等因素，选取重点部分适当精析，其余部分选择合适的帧间隔，分段检测。 1.3 表情的识别——检测和匹配兴趣点

在将人脸和周边环境分离之后，用改进的SSD算法对面部表情进行识别。将面部图像按网格分割，检测每个网格内部关键点，通过比较块内的强度值，来比较各个图像块之间的相似度。先将面部图像分割成3*3的图像，在每个3*3的图像内部再进行3*3分割，共得到81个最小单位网格，每个最小单位网格仅与相对大一些的网格进行匹配，从而简化算法复杂度，如图4。假设每个最小单位网格的尺寸是W×H，那么结果矩阵的尺寸是（W-N+1）×（HN+1）。

SSD算法通过逐像素得计算差值的平方和，用式（1）来衡量相似度：

不论使用何种算法，对于面部表情这样细微的匹配来说，其结果都会有一些错误匹配项。本文使用比率检验法排除一些错误项。为每个关键点找两个最佳匹配项，然后排除与第二个匹配项最接近的全部最佳匹配项。而针对图像中的人脸通常有一定角度旋转和尺寸大小不确定的问题，通过计算候选人脸图像块的偏转角度和面积，并以此调整单位网格，提高匹配的准确性。利用实验人脸图像区域和质心作为配准的原点，可以抑制目标图像噪声的干扰。

最终构建了基于肤色分割和网格匹配的微表情识别系统，并用该系统测试从实验视频提取的表情图像，试验用的参照标准数据库选用的是日本女性表情数据库JAFFE，该数据库中包含了213幅（每幅图像的分辨率：256像素×256像素）日本女性的脸相，每幅图像都有原始的表情定义。表情库有10个人，每个人有7种表

情（中性脸、高兴、悲伤、惊奇、愤怒、厌恶、恐惧）。实验结果表明，本文采用的算法运行高效、运算简单、失误率较低，有实用价值。

实验视频截取的图片序列共277张，其中能明显检测出人脸图片的有234张，这其中识别结果：中性脸153张，高兴37张，悲伤7张，惊奇8张，愤怒14张，厌恶9张，恐惧7张。经过后期人工排查，由于实验视频开头几秒展示的是谈判环境，故不存在含有人脸的图片，此外，录制过程中存在镜头切换的现象，导致过程中有一些图片也不包含或人脸一闪而逝，极度模糊，能明显识别出含有表情的图片与检测结果几乎完全吻合。排查的结果为：中性脸约1张，所谓高兴的表情主要出现在视频最后双方成交时，包括过程中甲方识别乙方微表情时的高兴的表情，共约43张，悲伤出现5张，惊奇7张，愤怒出现6张，厌恶出现7张，恐惧3张主要是在甲方识别乙方表情是甲乙双方不自觉流露出的。总的失误率在可以接受的范围内，说明实验采用的算法简洁有效。统计结果如表1所示。 2.1 实验组与对照组的设计

我们通过设计一谈判情景，由班级32同学组成竞争对手，实验共有16个谈判小组，每组2人，设为01，02，…，16组。

第一轮谈判采取随机抽签形式，两两模拟谈判过程，共8队谈判小组。不妨设首轮01组对阵02组，03组对阵04组……首轮中各组均不进行微表情识别培训。 第二轮任选两对仍然不培训，作为对照组，剩下六队任选两对，对两组谈判小组都进行微表情识别的培训，作为实验组A，最后四对每对任选一个谈判小组进行微表情识别陪训，其中两队抽取甲方，两队抽取乙方，分别作为作为实验组B1，实验组B2。第二轮微表情培训的内容为对手队上一轮中的视频，从而保证实用性和真实性。

2.2 能够达成协议的谈判条件范围

本实验模拟商务谈判为供销类别，即甲方出售货物，乙方买入货物。

2.2.1 甲方能接受的条件范围 ①货物数量与售价如表2所示。

②拖欠货款不能超过成交额的一半且不能超过四个季度。 2.2.2 乙方能接受的条件范围 ①需求量与成交价。

至少需要30000件，单价不超过4.8元，价格适宜的情况下可以适当多采购一些，但不能超过50000件。 ②到货期不能超过一季度。 2.3 实验结果分析 2.3.1 第一轮谈判模拟结果

因为第一轮尚未进行微表情培训，故而各对的谈判结果都在一定范围内浮动，差别不大，也体现了实际情况的合理性。具体结果如表3所示。 2.3.2 第二轮实验谈判结果

实验结果表明未经过微表情培训的组对谈判结果差别不大，而单方面接受微表情培训的团队都取得了比较明显的优势，对于双方都接受了微表情培训的团队而言，谈判结果并无明显的优劣，与都未接受微表情培训相比更接近双方的心理底线。结果如表4所示。

谈判学是一门典型的边缘学科。如何在白热化竞争的商战中捕捉对手的细微心理变化，从而掌握商战中的的主动权，一直是研究的热点和重点，有很强的实际意义和可操作性。基于此，项目从一个方兴未艾的学术理论——微表情分析法入手，意在给企业在复杂激烈的商战中保驾护航，帮助企业在激烈的市场竞争中取更有理想的结果。项目研究方法及验证方式比较简易，但项目的成果有较大的实用价值。 本文采用的算法比较简单，高效的同时不能避免表情识别有所误判；设置的谈判模拟实验相对现实而言有些精简，很多如厂商信誉、产品质量、合格率等因素未加考

虑，实验参与对象也不是专业谈判人员，这些方面有待改进。

【相关文献】

[1]梁静，颜文靖，吴奇，申寻兵，甦王菁，傅小兰.微表情研究的进展与展望[J].中国科学基金，2013（02）：75-78，82.

[2]吴奇，申寻兵，傅小兰.微表情研究及其应用[J].心理科学进展，2010（09）：1359-1368. [3]吴冉，任衍具.微表情的启动效应研究[J].应用心理学，2011（03）：241-248. [4]贺丽丽.视频序列中运动目标提取方法研究[D].西安电子科技大学，2014.

[5]Robert Laganiere著，相银初译.OpenCV计算机视觉编程攻略[M].北京：人民邮电出版社，2015.

[6]马如宏.人因工程学[M].北京：北京大学出版社，2011.