情感信息处理研究综述

知识组织与知识管理

　　总第157期

情感信息处理研究综述

黄　崑

(北京师范大学管理学院　北京100875)

　　【摘要】　介绍情感信息处理的研究背景,阐述其两大研究分支及其研究现状,并从处理过程角度归纳情感信息处理的主要技术,最后指出在图书情报领域应用情感信息处理的重要意义。

　　【关键词】　情感信息处理　感性工学　情感计算　以人为本　　　　【分类号】　TP391　G353AnOverviewonAffectiveInformationProcessingHuangKun(SchoolofManagement,BeijingNormalUniversity,Beijing100875,China)

　　【Abstract】　Thepaperintroducesthebackgroundofaffectiveinformationprocessinganddiscussesitstwomain

researchbranchesandresearchstatus.Then,fromtheviewofprocessingprocedure,itsummarizesthreemajortechnol2ogiesinaffectiveinformationprocessing.Finally,theauthorpointsouttheimportantsignificanceofapplyingaffectiveinformationprocessinginthefieldoflibraryandinformationscience.

　　【Keywords】　Affectiveinformationprocessing　Kanseiengineering　Affectivecomputing　Human-oriented

　　情感信息处理是20世纪80年代中后期出现的一个崭新的研究领域,它专门探讨如何利用现代化的技术处理与人们的感觉、印象、情绪、情感等主观体验有关的情感信息。在充分关注用户体验的今天,情感信息处理研究无疑为实现“以人为本”提供了新的思路和实现手段。尤其作为以信息加工、处理、服务为核心业务活动的图书情报机构,信息系统建设与服务的人性化水平提升均可以借鉴情感信息处理的思路和方法,以构建满足用户情感需求的、更完善的服务体系。

觉、味觉、嗅觉和触觉情感信息

[1]

。从研究文献看,有关

情感信息的提法目前国际上主要有Kansei和Affective两种。Kansei是一个日语词汇,相当于英文中的Sensibility、

Feeling、Emotion、Sense

[2]

,国内及港台研究者常将其翻译

为“感性”。欧美研究者多使用Affective表达情感信息,以“AffectiveComputing”为代表。国内学者多将其翻译为“情感计算”,部分地区学者则译为“情意运算

(计算)”fective

[5]

[3,4]

。尽管Kansei、Affective提法不同,但都属于

对人类主观体验的描述,欧美学者就将Kansei等同于Af2

。本文将“情感信息”的提法统称Kansei、Affec2

tive,并为与日本学者提出的感性信息处理相区别,以“情

1　关于情感信息处理

　　人类行为和活动不仅受到理性思维和逻辑推理能力的影响,还在很大程度上受情绪、情感的作用。认知心理学、神经生理学方面的研究进展都进一步发现了情感在决策、感知、创造等方面的作用,这些研究与发现使得人们开始重新审视情感能力,并肯定了让计算机模拟人的这一特殊能力的重要性和必要性。情感信息处理研究应运而生。

　　情感信息处理以情感信息为处理对象,包括人类头脑中非理性、非逻辑的感觉、印象、情绪、情感等各种主观体验。由感官刺激源的不同,情感信息可分为视觉、听

　　收稿日期:2007-09-14　　收修改稿日期:2007-10-08

感信息处理”(AffectiveInformationProcessing,AIP)的提法涵盖感性工学、情感计算这类以情感信息为处理对象的研究与应用。

　　对情感信息的处理主要包括侦测、识别、合成与表达等操作,目的是让计算机及其辅助系统可感受和辨识人类情感行为,通过营造符合人们情感需求的交互形式或提供符合人们情感需求的特定内容,满足人们在精神层面对客观事物的认识和享受。AIP不仅被看作是继物理信号处理、逻辑符号处理之后的更高级的信息处理形式

[2]

,也被视为新一代的人工智能技术

[3]

。经过20来年

的发展,AIP已具有了较好的理论根基,并发展出一系列较成熟的技术,具备了一定的实用系统、产品开发的实

・67・

《现代图书情报技术》　2007年　第11期

知识组织与知识管理

　　总第157期

力。下面以感性工学和情感计算两大研究分支对AIP的研究进展进行介绍。

从内容上看,AC研究包括情感机理、情感信息的获取、情感模式识别、情感的建模与理解、情感的合成与表达、传递与交流、情感计算接口等,其研究成果可应用于人机界面设计、人性化信息系统设计、可穿戴计算机、情感机器人、情感玩具等众多领域。

　　近年来,越来越多的研究者投身到AC的理论研究与实践工作中。在基础理论与情感建模方面,包括情绪智力理论及内涵研究研究语音系统

[16][18][20]

[14]

2　情感信息处理的两大研究分支2.1　感性工学及其研究现状

　　感性工学(KanseiEngineering,KE)缘起于生产制造业。1986年,日本马自达汽车公司的山本健一首次提出以感性工学的方法设计汽车产品。之后,长町三生教授对KE进行了更系统化的探索,将其定义为“一种以客户为导向的产品开发技术,是一种将顾客的感受和意向转化为设计要素的翻译技术”。KE在日本颇受关注,组建有数十个研究小组,并成立了“感性工学学会”主持相关研究。

　　KE在日本本土获得长足发展的同时,也逐渐受到国际关注。英国FaradayPackagingPartnership(2002)对KE进行了考察和技术引进[5]

[6]

、情感测量研究

[19]

[15]

、人工心理模型

[17]

等。在技术与应用方面,包括面部表情的识别、情感机器人

、情感

、基于AC的E-learning

等。同时,为增进AC研究间的交流,国内外还以

“人机交互”、“情感计算与智能交互”等为主题举办了各类学术研讨会。

3　情感信息处理的主要技术3.1　情感信息处理的基本过程

　　从AIP的基本过程看,KE、AC基本都遵循如图1所示的3个环节。输入是指获取人们的表情、声音等各种由情感引起的行为信号作为系统处理的输入内容,然后经过识别、理解、模拟、合成等一系列加工处理,最终实现情感应答输出。其中主要涉及情感信息的获取与测量、情感模型构建、情感信息的识别与表达技术。

。美国亚利桑那州州立大学的J.A.Black(2004)以实验对比的方式探讨了基于情感特征的图像聚类与基于主题特征的图像聚类的一致性问题,从而验证了图像情感特征标引的可行性

[7]

。随着研

究的深入与应用的普及,KE在各种与感性信息有关的产品制造、艺术、娱乐等方面得以应用,包括舞蹈动作、音乐演奏中的情感分析

[8,9]

,多媒体信息的情感特征分析

[11,12]

[10]

,

和谐色彩、建筑设计的自动生成等。

　　经过多年发展,KE研究从有形的产品设计扩展到人机交互界面、机器人工学等更广泛的范围,突破了以往工学应用的层面,向人的脑机能、知觉认知等更深入的生理原理进行探索。由此,Kansei的内涵与KE研究的深度均得到进一步深化。Kansei覆盖了从生理反应、情绪反应、情感反应以及个人喜好等各种状态,同时KE也发展为涵盖范围更广泛的感性科学研究,包括了从传感器、感性生理学,到感性商业、感性文化、感性社会、感性哲学等更丰富的内容

[13]

图1　情感信息处理的基本过程

。

3.2　情感信息的获取与测量

　　情感一般具有3个层面:主观体验(个体对不同情感状态的自我感受)、外部表现(在情感状态发生时身体各部分的动作量化形式)和生理唤醒(情感产生的生理反应,是一种生理的激活水平),一般可通过生理学和心理学手段获取和测量。

　　(1)生理测量法:借助传感器等测量仪器,通过测量人们的脑电波、心跳、皮肤汗液、电位、呼吸、表情等生理指标的变化,了解人们情感状态,获取情感信息。AboutFace就是一套可学习面部表情模式的系统,它利用电压感测眉毛的运动来区分人们困惑及感兴趣的状态,并通过照相录影的方式侦测脸部表情变化,以确定个人表情模式[21]。

　　(2)心理测量法:以问卷形式调查人们当前的情绪状态、

2.2　情感计算及其研究现状

　　情感计算(AffectiveComputing,AC)是AIP研究的另一个重要分支,由美国MIT媒体实验室的Picard教授于

1995年首次提出。Picard教授认为,要让计算机真正具

有智能服务于人类并与人类自然地交流,就应该让计算机具有识别和表达情感的能力。1997年她出版了《情感计算》专著,指出“情感计算是关于情感、情感产生以及影响情感方面的计算”。之后,AC研究受到了学术界和企业界的关注。IBM公司推出“BlueEyes(蓝眼计划)”以设计了解人们想法的计算机。美国MIT、英国伯明翰大学、荷兰爱因霍芬科技大学等都成立了专门的研究小组。

・68・

《现代图书情报技术》　2007年　第11期

知识组织与知识管理

　　总第157期

心理感受。语义差分量表是常用手段之一,它由若干表达情感体验的词汇和量尺构成,量尺由两个意义相反的形容词作为两极,根据程度差异均等地划分为5-7级,由用户依据情感认识程度选取相应的等级做出判断。综合用户的判断结果即可了解该用户对某个客观对象的情感体验认识。王上飞等

[23](2001)[22]、KurodaK.等(2002)均采用这一方法测量用户

的情感信息。

3.3　情感模型的构建

　　模型是科学认识中认识主体基于抽象和想象对现实世界中客观对象进行的一种简化。情感模型是对抽象情感信息形象化、具体化的重要手段,可从概念、数学量化与信息组织3方面构建。

　　(1)情感信息的概念建模:概念模型是对客观事物及其联系的抽象。情感信息的概念建模主要是指对人类情感、情绪类型的相关研究,多由心理学界提出。一类从情感的基本类型角度进行探讨,如林传鼎的18类型说、C.E.Izard的9类型说;另一类从情感的维度角度进行探讨,如Plutchik以情感强度、相似性和两极性构建了情绪三维模型。Wundt从愉快/不愉快、激动/平静、紧张/松驰3个维度刻画情绪。Schlosberg则认为情绪包括愉快/不愉快、注意/拒绝和激活水平3个维度。

　　心理学中的情绪模型多属定性研究,重在揭示情绪、情感的本质规律,也有研究者就计算机实现的方便性而提出了情感信息的理论模型。例如,OCC模型就给出了一个情绪分类方案以及基于规则的情绪推导机制。又如基于人工心理的情感模型构建,它认为情感变化具有统计规律性,根据该规律可计算情感概率转移矩阵以构造情感模型的骨架加以实现。

　　(2)情感信息的数学建模:概念模型要应用于具体领域需借助数学手段,建立操作性的量化模型。情感信息的数学建模旨在建立情感信息与客观对象之间的数量化关系,实现由人类情感到客观对象物理特征之间的双向转换,一般表现为描述、识别、合成情感的一系列参数和函数。如图2所示,数学建模的基本原理是借助各种生理学、心理学手段获取由人类情感所引起的生理及行为特征信号,然后建立这些特征与客观对象的物理特征之间的映射关系以得到整体的情感模型,辅助计算机系统进行情感的模拟和应对。目前建模手段主要有线性回归[24]、神经网络[25]、数据挖掘[26]、支持向量机[27]等。

　　在建模过程中,研究人员一方面基于概念建模的理论框架加以实现,如AffectiveReasoner系统[28]、WE-3RV情感机器人[29];另一方面重点选取与实际应用密切相关的某几种情感建立数学模型,如面部表情识别中主要分析高兴、哀伤、惊讶、恐惧、愤怒和恶心6种表情[30]。语音识别研究中通常分

[16]

图2　情感信息建模的三个方面

析欢快、愤怒、惊奇、悲伤4种类型[31]。

　　(3)情感信息的组织建模:前两类建模建立了情感信息的概念框架和量化关系,还有一类建模是从信息组织角度对描述和表达情感信息的概念进行有序化组织。从用户角度而言,人们一般以形容词的方式表达主观感受,如“愉快的”、“浪漫的”。每种情感信息都可通过若干形容词汇表达,从组织形式上看,多表现为词表或词典。例如,YoshidaK.等

(1998)采用“温暖的”、“轻柔的”、“自然的”等形容词描绘情

。在实践应用中,

感信息[32]。徐伟峰等(2003)在描述浴缸设计的舒适感时综合使用了“顺畅的”、“按摩的”、无锐物感等词汇[33]。Koba2

yashiH.等(2000)则从生理、心理、文化、物理4个方面,确立

上述分类和建模研究均可作为搭建数学模型、信息组织模型

了28个描述属性,以词典方式对情感信息加以组织[34]。　　总体看来,立足信息分析与组织的情感建模研究相对薄弱,现有研究人员更侧重于某一种或几种情感信息的识别技术。当然,鉴于情感的复杂性,至今人们能够较为精确识别和理解的情感信息相对有限,故组织建模研究的进展也受到影响。然而,情感信息的组织建模对于情感信息的系统化组织意义重大。例如,可以借助情感词典,依靠词汇间的语义关联服务于情感的识别应用,以作为数学建模手段的检验与补充。

3.4　情感信息的识别与表达

　　情感信息的识别与表达是应用情感模型,识别、理解情感信息,并根据应用需求生成特定情感信息加以表达的过程。情感识别一般基于情感的数学建模基础上实现,包括两种:一种是由探测到的生理学、心理学信号,借助情感模型的映射关系,判断人们当前的情感体验状态,如语音

[18]

、面部表情

[17]

的识别;另一种是由客观对象的

物理特征分析,同样也是借助情感特征模型的映射关系,

・69・

《现代图书情报技术》　2007年　第11期

知识组织与知识管理

　　总第157期

预测该对象可能引起的人类情感体验,如和谐色彩、建设方案的自动生成

[11,12]

感认知的关注,改良现有的服务环境,提高用户的舒适度。尽管目前通过网络获取资源极为便捷,但有时人们需前往实体图书馆和相关情报资料服务部门进行实地的资料借阅。在阅览室布局、环境设计、设备摆设等方面,不仅要满足本能层、行为层设计的需求,还应当尽可能实现反思层设计需求,以激发用户更深刻的情感意识[38]。正面积极情绪的唤起,对于提升用户的满意度无疑具有显著的促进作用。

。

　　情感信息的表达是在识别、理解的基础上,就给定的情感状态进行应答的过程。与识别过程相对应地也包括两种情况:一种是根据给定情感状态,研究如何通过一种或若干种生理或行为特征的组合体现这一情感状态;另一种是根据给定的情感需求,研究如何通过客观对象物理特征的有机组合,使得该对象能够带给人们预期的情感体验。

5　结　语

　　信息的描述、组织、利用与服务是图书情报领域研究4　情感信息处理的意义

　　自20世纪90年代开始,图书情报领域研究者也逐渐关注用户信息行为中的情感问题,如基于情感的OPAC用户满意度研究究

[36]

[35]

的重要内容。对情感信息的研究可以促进各种与人相关的设计和开发工作。加快对情感信息处理的研究,研究信息组织与利用过程中人们主观心理状态以及情感需求,有助于“以用户为中心”的理念在信息服务过程中的实施,为营造更和谐的用户信息利用环境提供有力的支持。

参考文献:

[1]毛峡.情感信息处理[J].遥控测绘,2000,21(6):58-62.[2]HashimotoS.HumanoidRobotforKanseiCommunication-Comput2

erMustHaveBody[C].HURO99,Tokyo,Japan,8-9October,1999:156-160.

[3]杨锦潭,李季锦.情意计算在社会情境脉络之发展与挑战探讨

[J/OL].资讯与教育杂志,2001.[2004-10-23].http://ia.nknu.edu.tw/11.pdf.

[4]张华悯,邓怡莘.情绪在人机互动之发展与挑战[C/OL].2004

、检索行为与用户情感反应的关系研[37]、图像情绪内容的检索模式研究等。2006年8

月,JASIST举办了“信息查找与利用过程中的情感和情绪研究”的小型年度研讨会,探讨检索用户在信息查找和共享中的情感问题。2007年,夏威夷大学图书情报学系的

NahlD.教授和田纳西大学传播与信息学院的BilalD.教

授共同出版了《信息与情感:信息行为研究与理论中的情感模型》,基于信息科学、认知科学、心理学等众多领域最新研究,分析信息查询利用中的情感问题,并提出了基于情感因素的信息行为模型。

　　图书情报机构是为广大社会群体提供信息服务的重要部门,在21世纪知识经济浪潮的冲击下,也逐渐向更高端的知识型服务转型,呈现知识化、人性化、个性化发展趋势。将AIP的理论与技术引入到图书情报领域的相关研究和应用中,对于加快人性化服务推进的速度、提升用户满意度,无疑具有积极的意义,具体而言:

　　(1)从信息加工角度,增加对情感信息的标识,增强对信息内容揭示的深度,以满足用户在情感检索方面的需求。对于一些情感化特点较为典型的信息类型,如情感类书籍报刊,以及相关的视听资料、图片、画刊等,这种情感检索的需求更为迫切。尤其对于非专业用户而言,可降低他们使用专业检索功能的难度,特别是在检索多媒体资源的场合中。　　(2)从系统建设角度,增加对用户情感信息的捕捉和运用,增强系统情感应对能力,提升人机交互的人性化程度。现代化信息服务常以网站、信息系统的方式实现自助服务。在设计这些网站、应用系统时,不仅要考虑信息呈现的清晰、科学、易用,还应兼顾到用户的情感需求,如从色彩搭配、内容版式、按钮布局与组合等方面,针对不同用户提供个性化设计。也可结合传感器技术,令信息系统具备洞察用户情绪状态的能力,通过有针对性的情感应答营造良好的交互形式。　　(3)从实体场馆的建设角度,增加对实体环境下用户情

年铭传大学设计国际学术研讨会.[2007-07-23].http://

www.nctu.edu.tw/～ydest/www/c_data/pub/2004/2004-11.pdf.

[5]FaradayPacking.AffectiveDesign(KanseiEngineering)inJapan

[R].[2005-01-02].http://faradaypackaging.com/.

[6]NagamachiM.KanseiEngineering:ANewErgonomicConsumer-o2

rientedTechnologyforProductDevelopment[J].InternationalJour2nalofIndustrialErgonomics,1995(15):3-11.

[7]JohnA.Black,Jr3,KanavKaholetal.IndexingNaturalImagesfor

RetrievalBasedonKanseiFactors[C/OL].HVEIC,SanJose,2004.[2006-08-01].http://citeseer.ist.psu.edu/652549.ht2ml.

[8]CamuriA,HashimotoS,etal.KanseiAnalysisofDancePerform2

ance[C].InProc.IEEESMC’99.1999,4:327-332.

[9]CamurriA,HashimotoS,etal.EyesWeb-TowardGestureandAf2

fectRecognitioninDance/MusicInteractiveSystems[J].ComputerMusicJournal,2000,24(1):57-69.

[10]YoshidaK.AProposalofKanseiDescriptionforMultimediaCon2

tents[J].KES2003:461-465.

[11]CooperEW,KameiK.KanseiModelingoftheColorDesignDeci2

sionProcessinWebDesigns[C].Networking,SensingandControlProceedings.19-22March2005:615-620.

・70・

《现代图书情报技术》　2007年　第11期

知识组织与知识管理

　　总第157期

[12]ShibataT,MotofumiT.Suzuki,etal.,KanseiRetrievalSystemfor3D

BuildingDatabase[C].SICE2002,Osaka,Japan,2002.8:7-12.[13]ShimizuY,SadoyamaT,etal.On-demandProductionSystemof

ApparelontheBasisofKanseiEngineering[J].InternationalJournalofClothingScienceandTechnology.2004,16(1-2):32-42.[14]许远理,郭德俊.浅谈情绪智力与人工智能中的感情计算[J].心

[26]Bianchi-BerthouzeN.Kansei-mining:IdentifyingVisualImpres2

sionsasPatternsinImages[C].Proceedings-Joint9thIFSAWorldCongressand20thNAFIPSInternationalConference,IEEE,Piscat2away,NJ.2001(4):2183-2188.

[27]王上飞.情感信息处理及其在图像检索中的应用研究[D].中国

科学技术大学,2002.5.

[28]AffectiveReasoner项目主页[EB/OL].[2007-03-06].http://

condor.depaul.edu/～elliott/ar.html.

[29]MiwaH,TakanobuH,etal.HumanlikeHeadRobotwe-3rvforE2

motionalHuman-robotInteraction[C].14thCISM-IFToMMSym2posium.2002:519-526.

[30]MoniqueNahas,MoniquedeBonis.ImageTechnologyandFacialEx2

pressionofEmotion[J].IEEE.2001:524-527.[31]CowieR,Douglas-CowieE,etal.EmotionRecognitioninHuman

-computerInteraction[J].2001,18(1):32-80.

[32]YoshidaK,KatoT,etal.ImageRetrievalSystemUsingImpression

Words[C].IEEESMC’98,1998:2780-2784.

[33]徐伟峰,付永民.利用感性工学原理设计产品造型[J].焦作工学

IEEESignalProcessingMagazine,

理科学进展,2004,12(2):209-214.

[15]BoehnerK,DePaulaR,etal.HowEmotionisMadeandMeasured

[J].InternationalJournalofHuman-ComputerStudies.2007,65(4):275-291.

[6]王志良.人工心理学[J].北京科技大学学报,2000,22(5):478

-481.

[17]YuliXue,XiaMao,etal.BeihangUniversityFacialExpressionDa2

tabaseandMultipleFacialExpressionRecognition[C].InternationalConferenceonMLC,Aug.2006:3282-3287.[18]ZengZ,TuJ,etal.Audio-VisualAffectRecognition[J].IEEETransactionsonMultimedia,2007,9(2):424-428.[19]ChangchunLiu,PramilaRani,etal.Human-RobotInteractionU2

singAffectiveCues[C].15thIEEEInternationalSymposiumonRHIC,Roman.Sept.2006:285-290.

[20]JingjingChen,QiLuo.ResearchonE-learningSystemModel

BasedonAffectiveComputing[C].7thInternationalConferenceonCAIDCC,17-19Nov.2006:1-4.

[21]MITAboutFace项目主页[EB/OL].[2007-05-05].http://af2

fect.media.mit.edu/projects.php?id=102.

[22]王上飞,陈恩红,李金龙,等.基于内容的交互式感性图像检索

[J].中国图像图形学报,2001,6(10):969-973.

[23]KurodaK,HagiwaraM.AnImageRetrievalSystembyImpression

WordsandSpecificObjectnames-IRIS[J].Neurocomputing,2002(43):259-276.

[24]KuritaT,KatoT.LearningofPersonalVisualImpressionforImage

DatabaseSystems[C].

2ndInternationalConferenceonDAR.

院学报(自然科学版),2003,22(9):406-409.

[34]KobayashiH,OtaS.TheSemanticNetworkofKANSEIWords[C].

IEEESMC,2000:690-694.

[35]DlrymplePW,ZweizigDL.Users’ExperienceofInformationRe2

trievalSystems:AnExplorationoftheRelationshipbetweenSearchExperienceandAffectiveMeasures[J].LibraryandInformationSci2enceResearch,1992,14(2):167-181.

[36]DimitroffA,VolzA.etal.AffectiveResponseandRetrievalPer2

formance:AnAnalysisofContributingFactors[J].LibraryandIn2formationScienceResearch,Spring1996,18(2):121-132.[37]JeeYeonLee.AnInvestigationofModesofAccessfortheRetrieval

ofEmotionalContentofPictures[D].SyracuseUniversity,2001.[38]DonaldA.Norman,情感化设计[M].付秋芳,程进三译.北京:电

TsukubaScienceCity,October20-221993:547-552.

[25]HayashiT,HagiwaraM.AnImageRetrievalSystemtoEstimateIm2

pressionWordsfromImagesUsingaNeuralNetwork[C].IEEESMC’97,1997(1):150-155.

子工业出版社.2006:44-70.

(作者E-mail:rain_hk@263.net)

《现代图书情报技术》2007年下半年(年刊)征订通知

　　《现代图书情报技术》2007年下半年(年刊)即将出版。每册定价29元(含邮费)。内容涉及数字图书馆、知识组织与知识管理、情报分析与研究、应用实践等方面。如欲订购,请直接将款汇到:北京中关村北四环西路33号《现代图书情报技术》编辑部　邮编:100080,本刊编辑部收,款到后即将随刊一并寄出。印数有限,欲购从速!　　编辑部联系电话:(010)82624938。

(编辑部)

・71・