《科技创新与品牌》杂志社第一看点

2023年未来科学大奖---数学与计算机科学奖

屏幕截图 2024-03-14 145555.png





                                                                                                

屏幕截图 2024-03-14 145611.png



获  奖  人:何恺明  孙剑  任少卿  张祥雨

获奖理由:提出深度残差学习,为人工智能作出了基础性贡献。



深度残差网络(Deep Residual Network,ResNet)是深度学习领域最重要的研究之一,已经被写进教科书,属于每个人工智能从业者都要掌握的基本功。亚马逊首席科学家李沐曾评价:假设你在使用卷积神经网络,有一半的可能性就是在使用ResNet或它的变种。

机器学习大概要解决三个问题。一是系统是否可以有能力拟合,能力是否够。二是如何拟合,也就是训练优化问题。三是推广能力问题。ResNet主要是解决第二个问题。

孙剑曾在2017年介绍过ResNet研究的背景:曾经人们不相信深度学习网络是可以被训练的,2012年8层的AlexNet改变了人们的看法。但受各种条件的限制,在ResNet开发之前,19层的VGG已经是表现最好的网络。这主要是因为神经网络的退化问题(Degradation Problem):更深的网络会呈现更差的准确率。因为即使新增的神经层不改变其输入(恒等映射),更深的网络至少可以与较浅的网络相同。

在神经网络可以收敛的前提下,随着网络深度增加,网络的表现先是逐渐增加至饱和,然后迅速下降。在这个限制下,当时网络层数在20层时表现最好,更多层的网络反而表现不佳。

何恺明、孙剑、任少卿、张祥雨这个平均年龄只有38岁出头的团队,提出了深度残差学习框架以解决该问题。在残差网络中,每个单元只需要表达一个改变量(“残差”),而不需要把输入推倒重建。通过残差连接,ResNet把每个单元的输入以恒等映射加到输出上。恒等映射可以减少信号在神经网络中传播时的失真,使信号经历非常多次变换后仍可以保持信息。

ResNet使得更深的网络训练成为可能。把网络层数拓展到了上百甚至上千。

深度神经网络推动了人工智能的革命和高速发展。其中,增加深度是神经网络在各种人工智能应用中带来突破性进展的关键。这项工作在这一发展中发挥了核心作用,使神经网络能够达到前所未有的深度,并获得以前难以实现的能力。ResNet团队所提出的深度残差学习框架,包括ResNet及其思想,在许多不同的领域促成了大量突破性的成果,其中包括AlphaGo、AlphaFold和ChatGPT等深刻影响了人类社会发展的工作。

ResNet的成功离不开孙剑的学术眼光,张祥雨曾经倾向于选择人脸领域的博士课题,但导师孙剑果断让他去做深度学习。在微软亚洲研究院,也是孙剑把原来从事不同领域研究的何恺明,还有当时在微软亚洲研究院实习的任少卿、张祥雨拉到一起做深度学习研究。

何恺明、任少卿、张祥雨合作密切,组队后在ICCV、CVPR、ECCV等计算机视觉方面的三大顶级国际会议多次发文。2015年,由孙剑带队,何恺明、张祥雨、任少卿共同完成的深达152层的残差神经网络模型 ResNet 参加 ImageNet大规模视觉识别挑战赛,误差率降到3.57%,首次超过人眼的准确率5.1%,夺得所有细分比赛冠军。

团队对冠军并不满足,经过对上任ImageNet冠军谷歌GoogLeNet的研究,张祥雨发现GoogLeNet用更少的参数量和计算量赢得冠军的关键,是其中一条卷积分支起到了直连(shortcut)作用,但当时并不清楚如何构建新的网络结构,最终在何恺明的建议下放弃了复杂的分形网络结构,完成了ResNet。

ResNet研究完成后,团队还进行了进一步的探索,试图进一步解释ResNet本身的原理。后续研究经验性地发现将identity支路变得更通畅,可以进一步提升ResNet的性能,并且观察到训练过程中ResNet有效层数不断增加。何恺明后来还相继提出了ResNetV2、ResNeXt 等设想。

2016年,何恺明、孙剑、任少卿、张祥雨团队发表了论文Deep Residual Learning for Image Recognition,提出ResNet。这篇论文获2016年CVPR最佳论文奖,2021年被引数量突破10万次,现在的被引数量已经突破了17万次。

屏幕截图 2024-03-15 114728.png