新智元报道
张乾、小芹、大明鹏飞
ACM刚刚公布年图灵奖获得者,深度学习三巨头:YoshuaBengio、GeoffreyHinton、YannLeCun获奖,深度学习获得了最高荣誉。三巨头获奖的背后,是一段经历了寒冬的艰辛之路。荣耀属于深度学习。
今天,年图灵奖公布,深度学习三巨头:YoshuaBengio、GeoffreyHinton、YannLeCun获奖,三人瓜分万美元奖金。
YannLeCun、GeoffreyHinton、YoshuaBengio
YoshuaBengio(58岁)是蒙特利尔大学教授,也是魁北克人工智能研究所的科学主任;
GeoffreyHinton(71岁)是谷歌副总裁和EngineeringFellow,Vector人工智能研究院首席科学顾问,多伦多大学名誉教授;
YannLeCun(55岁)是纽约大学教授、Facebook副总裁兼首席AI科学家。
三位获奖者在业内被称为“当代人工智能教父”,开创了深度神经网络(deepneuralnetwork),而这项技术已经成为计算科学的关键部分,为深度学习算法的发展和应用奠定了基础。
去年,”深度学习寒冬论“频起,三位大神也在多个场合对”寒冬“做出了回应。实际上,三人对“寒冬”早有抗体,在上世纪八十年代,GeoffreyHinton等人坐了数年的冷板凳,直到本世纪AI的再度爆发。
不仅如此,GeoffreyHinton还提出新的神经网络模型CapsuleNetwork(胶囊网络),试图找到解决深度学习缺陷的新方法,这位71岁的老人熬过最冷的AI冬天,并且认定下一个“冬天”不会到来。
挺过寒冬Hinton早年的科研之路可谓坎坷至极。
他最开始读的是剑桥大学物理和化学专业,但只上了一个月就转到了建筑专业,结果只在建筑系待了一天就受不了,重新注册了物理和生理学,后来发现物理中的数学太难了,于是他又转向了哲学,花一年时间学了两年的课程。
虽然只有短短一年,但却是非常有用的一年,因为他对哲学产生了非常强的抗体:“我想知道大脑是如何工作的”。
为了弄明白大脑的工作原理,Hinton转而研究心理学,结果却发现“心理学家对此毫无头绪”。
年Hinton进入爱丁堡大学研究生院,师从ChristopherLonguet-Higgins学习人工智能。但当时正值年代的人工智能寒冬出现,深度学习和AI都受到了学界轻视。
ChristopherLonguet-Higgins
并且,Christopher是著名的理论化学家和认知科学家,桃李满天下,曾培养出诺贝尔奖获得者,但Hinton与导师的理念不同:导师坚持传统的逻辑人工智能理念,Hinton则坚信基于神经元理论的模拟神经元,坚信神经网络一定是未来的发展方向。
“我的毕业生涯充满了坎坷,每周我们都会有一场争吵。”Hinton后来回忆,他一直在和导师做“交易”:“让我再做六个月的神经网络,我会向你证明它们是有效的。”但在六个月结束的时候,Hinton又说:再给我六个月,之后又说,“再给我五年时间”。
进入八十年代,Hinton真的成功了。
年,Hinton等人完成著名的论文ExperimentsonLearningbyBackPropagation,证明在神经网络中的反向传播可以提供“有趣的”分布表示,提出了影响后世人工智能的新方法。
不过,当时既没有足够的数据,也没有足够的算力,神经网络无法进行大规模训练,业界对Hinton的神经网络依旧不感兴趣。Hinton参加学术会议时,经常坐在房间的最角落里,也得不到当时学界大咖的重视。
深度学习三巨头的诞生好在还有一批跟Hinton一样的“顽固派”。
YannLecun是Hinton的博士后学生,也是神经网络的坚定信仰者。年,YannLeCun在贝尔实验室提供了第一次反向传播的实际演示。
年,YannLeCun在电脑上展示识别手写字
他将卷积神经网络与反向传播相结合阅读“手写”数字,后来卷积神经网络大规模应用,并在20世纪90年代末期处理了美国10%到20%支票的识别。
YannLeCun在贝尔实验室是组长,他的组员就包括今天或图灵奖的另一位大神Bengio。
Bengio虽然不是Hinton的直系弟子,但也是被认为是和Hinton、LeCun一起推动深度学习浪潮的三位旗手,他开创了神经网络的语言模型languagemodel先河。
从左至右:LeCun、Hinton、Bengio、吴恩达
年,GeoffreyHinton和他的两名学生发表论文,提出了深度卷积神经网络模型AlexNet,在当年的ImageNet大规模图像识别竞赛中获得冠*。后来Hinton加入谷歌大脑,AlexNet成为图像识别中最经典的模型之一,在产业界也得到普遍应用,直到深度学习全面爆发。
更值得纪念的是,年,GeoffreyHinton、YannLeCun、YoshuaBengio这三位深度学习巨头曾在Nature上共同发表一篇名为《深度学习》的综述文章,讲述了深度学习为传统机器学习带来的变革。
不仅打脸知乎问题,深度学习还革新工业与学术界协作早在年,知乎上就出现问题:YannLeCun、GeoffreyHinton或YoshuaBengio能得图灵奖吗?
问题