hexj9 |
2022-02-27 17:02 |
机器学习今年的热门研究,会是什么? 近日,有网友在 Reddit 开了这么一个盘,立刻吸引了大批 MLer 的注意。 有人提名自监督模型,有人认为表征学习越来越受到关注,还有人认为基于物理的机器学习才是未来的方向……
然而,目前从评论区最高赞数来看,上述的这几个方向都不是“赢家”。 截至目前,获赞最多的选手是 —— 几何深度学习。 这项技术是因 Twitter 首席科学家、图机器学习大牛 Michael Bronstein 去年发表的一篇论文走入了大众视线。
▼ 顺带一提那篇论文有 160 页
那么问题就来了: Top 人气从何而来? 几何深度学习全名 Geometric Deep Learning,最早是 Michael Bronstein 在 2016 年的一篇论文中引出的一个概念。 简单来说,这是一种试图从对称性和不变性的视角出发,从几何上统一 CNNs、GNNs、LSTMs、Transformers 等典型架构的方法。 在高赞评论的下方,有人用一个简单的例子解释了这种“对称性”:
传统网络认为“E”和“3”是不同的,但是具有镜像对称性(或 π 键旋转)的网络却会认为它们是一致的。 CNN 就是这样,当不变性变得可平移(或者可转换)时,右上角的 3 和中心的 3 当然就是一样的。我们希望将 CNN 的这种特性“推及”到其他架构上。
这就对称带来的稳定性,因为在视觉上,许多物体其实是同一个物体,会具有“这是同一个物体,只是翻转了一下”的 3D 几何相似性,因此很多问题都可以基于对称性得到解决。 而传统卷积网络更多地使用数据增强,如旋转,平移,翻转来补偿这一目的。 所以,几何深度学习希望几何学中的“不变群”的概念范围放得更宽,让网络除了旋转平移对称的常规操作之外,还能囊括“不变”这种操作。 比如在一段视频中,有两辆小车相向而行,无论速度如何,有无遮挡,视频的语义就是两辆小车相向行驶。 总的来说,几何深度学习既能使卷积网络更加稳定,也能更好地面对复杂度爆炸的拟合函数。
|
|