《科技创新与品牌》杂志社创新成果 Achievements

“大白”追寻之路——访合肥工业大学先进智能机器研究院院长任福继

任福继教授.jpg


e3def62a875a414ab2eeb223c47899e5.jpg


任福继,日本工程院院士,欧盟科学院院士,日本工程会院士,IEICE Fellow。教育部“长江学者奖励计划”讲座教授,中科院“海外杰出青年学者基金”获得者,国际特聘入选者。日本大川信息通信基金评审专家,中国科协海智专家,中国国务院侨办科技专家委员。

主要研究领域包括:自然语言处理、多语机器翻译和信息检索;大规模知识获取和人机会话;情感计算与智能机器人。


看完电影《超能陆战队》,每人都想拥有一个暖心“大白”。现在看来,拥有这样一个善良、体贴、有情有义的智能机器人,已经不再遥远。人机共生,这个曾经只出现在科幻小说和电影中的场景,正在走进我们的生活。

合肥工业大学先进智能机器研究院院长、情感计算与智能机器人安徽省重点实验室主任任福继,就是一位潜心情感机器人研究的专家。他倾心追寻“大白”近20年,已在人工智能,特别是情感机器人领域取得了颇为显著的成绩。自受聘为合肥工业大学先进智能研究院院长后,他与国内有了更多的交集与碰撞。

因为他的影响力,引领和带动了他培养的不少优秀博士生的回归,使得我国在情感机器人研究领域短期内达到了世界先进水平,并在文本情感计算、情感陪护机器人领域成为世界领头羊。

 

“大白”应如何

把机器人从一个工具变成一个“伙伴”,是任福继开始从事情感计算与情感机器人研究的初衷。

那是2001年前后,任福继在日本德岛大学任职教授。此前,他曾求学于北京邮电大学、中科院计算机所、日本国立北海道大学等高校院所,并在一些公司从事计算机相关研究,在自然语言处理和人工智能研究领域积累了丰富经验。

比如他曾在1999年提出“多语言、多功能、多媒体智能化”的概念,引起自然语言处理和人工智能领域专家的广泛关注,并获IEEE best paper奖。这些都为他之后关于情感机器人的研究打下了基础。

“那时,我除了在大学外,也兼任一些公司的技术顾问,开始对情感计算与情感机器人有了兴趣。”任福继介绍,情感计算这一概念,在1997年由麻省理工学院(MIT)一位教授提出。情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境,并使计算机具有更高、更全面的智能。

但情感是多么主观的存在,喜怒哀愁、七情六欲,人与人的交流有时都会不畅,更何况机器。情感要怎样计算?要如何量化成机器可以理解并表达的数据?真正的情感机器人又应该是怎样的呢?

在任福继看来,除了硬件结构的不断发展,真正的情感机器人还应该拥有以下关键技术能力——基于大数据库自主学习的多源视听信号融合感知能力;多模态情感的融合分析与推理能力;多模态情感的表达与交互能力;具备个性化情感建模能力。

简单来讲,就是让机器人能够感觉到人的情绪、了解人的情绪,并能够根据这些情绪做出正确的反馈。

情感机器人发展的最终目标,是实现“自然”的人机交互,而其首要任务就是让机器人具备情感交互能力,即让机器人像人一样具备情感表达和理解能力。这并不是一件容易的事。

“给机器人装大脑,给机器人制造心,这个大脑和心怎么进行?我们用先进智能理论,用人工智能、自然智能+情感计算,以此来制造出智商。同时提出数据、信息、知识、智能大转换,转换过程,这样就可以制造它的情商,反馈给我们的大数据,包括面部表情、声音、语言、生理信息大数据,最终形成一个反馈,成就静态的进化过程。”多年来,任福继就是沿着这样的研究思路,明知难为仍为之。

 情感陪护机器人”思思“.JPG

情感陪护机器人“思思”


任福继版机器人.JPG

任福继版机器人


里奥儿童陪伴机器人.jpg

里奥儿童陪伴机器人


里奥商务机器人.jpg

里奥商务机器人


让“大白”有情有义

为了研制出有情有义的“大白”,任福继确立了大数据驱动的情感协同感知、推理与交互的总体研究思路,并定下了自己的“三步走”战略——

第一步,把情感形式化、量化,让机器人能够识别,具备感知能力,会“看”。

第二步,构建一个足够大的情感语料库,让机器人不断学习,进而具备分析、推理能力,能“懂”。

第三步,机器人在不断学习之后,能对不同场景、不同语境中话语做出正确反馈,及至可自然“交流”。

三步之后,一个有情有义的“大白”便初具形制。初步完成这三步,任福继建立了情感计算领域三大机制(面向多源大数据的类人智能感知机制、面向情感交互的多模态协同分析与推理机制以及大数据驱动的情感创生与交互机制),前后用了20年,而近5年在多源感知、深度推理、情感创生等领域发表的200余篇高质量论文记录了团队前进的每一步。

“看到”包括识别,感知。要让机器人“看到”情感,首先要把情感量化、形式化。为此,任福继在世界上首次提出了“心状态转移网络”理论,使情感计算在工程上得以实现。

在心状态转移网络中,人的情感分为N个状态,各状态都可以在外界刺激(即情感能量)下互相转移,状态转移的概率与前一状态及情感能量的强度有关。

基于此,他们根据文本、语音、面部表情、生理信息和行为5种信息,计算出每一个时间点的情感能量。当心理调查规模足够大、数据足够多,他们就可以计算出不同状态在不同情感能量刺激下做出转移的概率,得出不同情感的状态转移规律,从而建立并完善心状态转移网络参数模型,进而推断情感。

以这一理论为出发点,他们进一步研究了情感语义分析与表达,构建了情感语义计算的理论和技术体系,使得情感语义计算建立在坚实的理论基础上。

“看到”之后是“懂得”。人类的语言丰富多彩,为了让机器人“见多识广”,具备自主深度学习能力,任福继带领团队构建了世界规模最大、层次最多、粒度最细的情感语料库Ren-CECps,在中文的语义基础资源建设、知识表示、知识获取、语义分析技术以及文本理解等方面取得了创新性成果。

Ren-CECps,是一个富含多层次语义信息的大规模汉语基础资源库和知识库,以文本情感表达的空间模型为框架,从多粒度(篇章、段落、句子、词语)、多角度(各粒度的多维情感类别、篇章主题、句子情感、情感对象等),采用自动标注与人工校验相结合的方法构建。

它的标注体系分为文本层、段落层、句子层三个层次,每一个层次都包括不同的情感标注信息,层层架构,形成了体现中文信息处理特色的语义信息处理体系。

在现有数据库基础上,综合机器学习和人工检校技术构建的大规模情感语义库词规模超过3千万。截至目前,已授权东京大学、哈佛大学、香港理工大学等国内外近300所高校及研究机构用于情感识别的研究。

最难的一点,人类的情感表达不止靠语言,还凭借语音,还有个性。语音不同传递的情感不同,还会根据不同人的个性化表达衍生出不同的意义,而且人的情感状态会伴随交流的推进发生变化,极其复杂。任福继介绍,这其中涉及到了多模态情感语义协同计算机理、多维度情感状态应激转移机制、多场景情感行为生成表达模型等科学问题。

心状态转移网络.jpg

心状态转移网络


围绕这些问题,团队进行了深入研究,在无数次的尝试与实验之后,才最终攻克了情感感知由单模态到多模态协同、情感状态由静态到动态转移、情感表达由仿真到系统实装等技术难点。

同时,他在国际上率先提出了融合人工智能、自然智能及情感计算的“先进智能”概念,从更高层面引领相关研究的推进,并得到了国内外学术前辈的支持和积极响应。

最终,基于心状态转移网络理论、多模态情感计算理论与先进智能理论,任福继带领团队搭建出了具有自主知识产权的中文情感语义计算系统,使情感机器人有了与人一样的“心脑”,能够进行情感交互。

这一步,真正将情感机器人推向了产业化进程。“从系统层面,情感机器人的实现需要四大条件,一是大规模、多模态、高质量的数据,为情感机器人技术发展奠定知识基础;二是基于先进智能理论的情感计算理论模型,为情感机器人技术发展装备‘心脑’模型;三是先进且较完备的深度学习算法,推动情感机器人技术实现;四是用于支撑上述三个方面的硬件支撑,如强大的计算能力。”任福继介绍,上述四个条件已基本具备,情感机器人的实现已真实可期。

 

身边的“大白”

其实机器人技术最早是工业领域的,他们在实现业务流程自动化、提高生产力方面,发挥了非常积极的作用,如今应用也非常广泛。

伴随相关技术的不断发展,机器人的应用边界得以拓展,机器人技术已经从传统的工业制造领域,逐步向生物医疗、教育娱乐、救灾救援等领域扩展。难得的是,任福继所带领的团队在工业机器人与服务机器人两方面都已取得了不错的产业化成果。

•基于先进智能的工业视觉检测技术体系

南京汇川工业视觉技术开发有限公司总经理李勃.jpg

南京汇川工业视觉技术开发有限公司总经理李勃


李勃,南京汇川工业视觉技术开发有限公司(以下简称“汇川视觉”)总经理,他还有一个身份——任福继的学生+助手。他们合作多年,从学校到企业,从老师和学生转变为首席科学家和总经理,目的就是推动基于先进智能的工业检测技术落地应用。

如今看来,他们做得还不错。

2016年,汇川视觉成功自主研发“基于深度学习的全流程灌装缺陷视觉检测系统”,填补了深度学习在灌装缺陷检测领域的空白。该产品创新的采用深度卷积神经网络等技术,具有多类目标定位、目标识别和缺陷检测功能,覆盖灌装生产线瓶口、瓶盖、标贴、喷码和装箱等全部关键质检环节,能够解决灌装缺陷检测面临的品种多、瓶型多、干扰多、形变大、参数多、调试复杂等棘手问题,在兼容性、易用性、高效性、准确性等指标方面相比于行业水平和传统方法都有大幅提升,基本实现“0”漏检,误检率<0.1%。具有显著的经济效益和社会效益。

2017年,他们又成功研发了“基于深度学习的屏幕缺陷检测系统”,创新性运用深度学习技术,采用良品学习模式,让机器仿真人类认知,大大提高了系统的检测性,所有缺陷的漏检率<0.5%,误检率<8%,新型号实现1h内换型。

2018年,国内首创的“机器视觉+人工智能深度学习”融合的视觉控制器麒麟IV700发布,采用“传统图像处理+人工智能”深耦合技术,让机器不但能看清而且能看懂,让机器像人一样思考。基于平台中的工具,可轻松构建解决实际问题的作业工程,获得软件加硬件的一体化解决方案,大大降低了视觉应用的门槛,使普通工程师、技术员也能轻松完成视觉现场应用,让深度学习技术更方便地覆盖到更多应用场景,推动了人工智能技术在工业自动化领域的广泛应用,也为国内工业视觉企业在视觉技术上弯道超车开辟了新的方向。

走到今天,他们已经以基于先进智能的工业检测技术为核心,开发了一系列工业视觉检测产品,形成了一整套基于先进智能应用的工业视觉检测技术体系,为我国先进智能应用,工业视觉检测的理论研究、技术应用、系统实现及产业化发展提供了技术保障。同时,相关技术和产品的应用为客户节约了人工成本,为产品全生命周期的质量追溯提供了支撑,减少了高强度灯检给人眼带来的视觉疲劳和损伤,经济效益与社会效益显著。截至2017年底,项目成果联合汇川技术的其它产品,共创造经济效益47.8亿元,直接利润10.6亿元。

2018年10月,被誉为“中国智能科学技术最高奖”的吴文俊人工智能科学技术奖最新一届拟授奖名单公布,南京汇川图像视觉技术有限公司荣获“企业技术创新工程项目”奖项。这一奖项的取得,无疑是对任福继、李勃以及汇川视觉的最大肯定与鼓励。

•基于先进智能的机器人们

这个有点呆头呆脑的机器人叫“里奥”,身高40cm,是任福继与青岛里奥机器人技术有限公司合作推出的产业化产品之一。

这个“里奥”不简单,它能够实现精准语音识别与智能对话、情感感知等功能,是针对4~12岁儿童智力启蒙、性格塑造的关键阶段研发的儿童成长陪伴机器人,还曾首次出口到机器人先进国日本。

人们都说,陪伴是最长情的告白。对于成长期的儿童来说,陪伴的重要性不言而喻,而有情感的陪伴更会对孩子的一生产生影响。

先进的加工检测设备.jpg

先进的加工检测设备


里奥就是为了有情感的陪伴而出现。任福继团队前期的研究成果,使它具备了情感交互能力和自主学习能力,为它赋予了感情,能够满足孩子的心理需求。

目前里奥已拥有成熟的机器人本体、机器人智能操作系统、云端服务平台。并已经获得关于直线运动型伺服电机、三线制直流电机、座椅式充电装置、识图识物系统、基于安卓的机器人控制系统等9项专利权。

除了儿童陪伴,任福继还将自己的成果在心理康复领域进行了验证,并研发出了高级交互式代步机器人。

该机器人不但具有高可靠性和安全性,同时还具有一定程度的智能化和自动化,可实现室内外自主定位导航、语音控制、人机自然语言情感会话、自主充电、头姿/手势控制等功能,可以在家庭和医疗场所对老年人进行陪护,并对特定病情(孤僻症和抑郁症)有辅助康复作用。

基于先进智能的高级交互式代步机器人,荣获2014年吴文俊人工智能科学技术奖进步奖三等奖。

 南京汇川麒麟产品发布会现场,麒麟研发团队主要成员合照.jpg

南京汇川麒麟产品发布会现场,麒麟研发团队主要成员合照


未来之路

无论意愿如何、欢迎与否,机器人已经实实在在走进我们的生活,扫地、擦窗、早教、养老,是最常见的几个应用场景。但是,能对话有回应的机器人,就是真正的智能机器人了吗?他们足够成熟了吗?

不尽然。

正如任福继所说:尽管大数据应用技术已成为现实,但关于它的实际应用并不充分,尽管很多研究者都已经在工业机器人、服务机器人等领域取得一定的社会和经济效益,但它们的功能仍有待完善,应用范围仍有待拓展。

基于此,任福继已经规划好了团队的下一步研究方向——

他们将继续以先进智能为导向,以情感计算为核心与特色,以先进智能机器为载体,开展情感计算与先进智能机器的研究。“主攻面向多源大数据的类人智能感知机制、面向情感交互的多模态协同分析与推理机制以及大数据驱动的情感创生与交互机制等重大科学问题的理论研究、技术突破及系统实现。”

在大数据方面,“目前,大数据驱动与深度机器学习方法的实际应用还不充分。现有的大规模、高质量多源情感语义数据库及积累的深度机器学习方法,为进一步探索基于多源大数据库和深度学习的多源视听融合感知技术实现理论奠定了基础,后续将为基于多源大数据库和深度学习的情感服务机器人、工业机器人系统等提供理论与技术支撑。”

在产业化应用拓展方面,“有必要立足既有项目成果在完善多模态情感计算理论与技术体系的同时,重点发展先进智能机器核心技术,将智能机器人(情感服务机器人、工业机器人等)作为核心应用点和主战场,拓展其功能和应用范围。”

人类情感的最美妙之处在于其不可预知无法揣测,机器人的情感终究是由人设计的。从这个意义上来说,情感机器人还有很长的路要走。但我们仍满怀期待,期待真正的“大白”早日来到我们身边。