一场疫情,让所有线下会议按下了暂停键,AI也不例外。
但一年一度的“顶会”却不能不开,于是在4月26日,ICLR(国际表征学习大会)就采取虚拟会议的形式,让所有网友得以共襄盛举。
值得一提的是,本次ICLR大会接受了篇论文中的篇,吸引了来自近90个国家的多名参与者,比年的人翻了一倍还多。不过,受疫情影响,这次大会也没有评选最佳论文。
既然如此,有没有出现什么新鲜事物,值得我们思索和探究的呢?
那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任YoshuaBengio,在其特邀报告中着重强调的“AI觉醒”。
此前我们科普过,通用人工智能有多么遥远。怎么短短几年功夫,人工智能就要觉醒了?这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。
将意识注入机器:注意力机制再添重任
脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中,近两年来都会引入注意力模型。
这么受业界欢迎,它的特点自然很突出:
一是可以让神经网络学会只