首页 > AI前沿 > 正文

拒绝DNN过拟合,谷歌准确预测训练集与测试集泛化差异,还开源了数据集 | ICLR 2019 边缘分布成泛化预测因子 实验结果 专家评价 OMT

转载 2019-07-11 0 15

深度神经网络(DNN)如今已经无处不在,从下围棋到打星际,DNN已经渗透到图像识别、图像分割、机器翻译等各种领域,并且总是表现惊艳。

然而,深度神经网络到底是怎样工作的,至今仍困扰着广大研究者。

黑盒子总是让人诟病,为了让AI更好地服务于人类,更深入地理解AI是必要的。

谷歌AI的研究人员们正致力于此,他们在ICLR 2019的一篇论文中提出用边缘分布来预测深度神经网络的泛化间隙,以便更有原则地设计DNN。

想要理解泛化,就要了解一个重要的概念泛化间隙(generalization gap),即模型在训练集上的准确率与在测试集上的准确率之间的差异。

谷歌AI的研究者建议在网络层上使用归一化的边缘分布来预测泛化间隙。他们进行了实验统计,发现在对距离进行适当的归一化之后,边缘分布的一些基础统计可以准确地预测出模型的泛化间隙。

上面的三张图分别对应在CIFAR-10上训练过的三个卷积神经网络,它们的分类准确率分别是55%、71%和85%,从左到右,泛化能力越来越强。

y轴表示归一化边缘分布(x轴)在模型的4层网络中的概率密度,很显然,边缘分布和测试准确率具有很强的关联性。

这里他们采用了一个名为Deep Model Generalization(DEMOGEN)的数据集,这个数据集由756个训练过的深度模型组成,囊括了这些模型在CIFAR-10和CIFAR-100数据集上的训练及测试表现。数据集现已开源

如果边缘分布的统计数据真实地预测了泛化性能,那么简单的预测方案应该就能够建立起对应关系。于是研究者们选择了线性回归的方案。

研究者在CIFAR-10数据集上训练了216个九层卷积网络,测试集的准确率范围在60%-90.5%之间,泛化间隙在1%到35%之间。

作者表示,Bartlett在2017年发表的研究提供了目前最佳的深度网络泛化界限之一,将其作为基线方法进行对比,完整的20维特征空间的对数空间回归模型预测效果提升明显。

而在CIFAR-100数据集上,研究者训练了324个ResNet-32网络,测试准确率范围在12%-73%之间,泛化间隙范围在1%-75%之间。

在CIFAR-100+ResNet-32上预测的泛化间隙已经非常符合真实值了。泛化间隙和边缘分布的对数变换统计之间的关系几乎是完全线性的。

对于这项研究,评审专家们褒贬不一,但他们大都承认把边缘分布引入深度学习框架是一个有趣的想法。

赞赏这项研究的专家认为这是一篇很好的实证论文,结论令人鼓舞:

但也有专家指出,这篇论文展示了丰富的实验结果,但却没有提供更多的理论验证。

论文一作是本科毕业于伯克利的谷歌AI程序猿Yiding Jiang。

论文合作者中还有和图灵奖得主Yoshua Bengio一起被誉为“AI兄弟”的Samy Bengio。

Yoshua Bengio同样开展过有关深度学习泛化问题的研究,他的团队提出了一个深度学习泛化保障方案(《Generalization in Deep Learning》),这篇ICLR 2019的论文里也引用了他们的文章。

传送门

Google AI博客:

https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html

论文地址:

https://openreview.net/forum?id=HJlQfnCqKX

DEMOGEN数据集:

https://github.com/google-research/google-research/tree/master/demogen

—  —

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 50岁大叔回剑桥读AI博士,研发机器人用AI收生菜 收菜机器人 怎么收菜 剑桥出品 传送门
  • 手机上就能学!Pytorch深度学习教程手把手教你从DQN到Rainbow
  • 腾讯广告,一个可能被低估的AI业务
  • 刚刚,被骂多年的谷歌终于回应AI专利争议:怕被碰瓷,抢先下手,永不牟利 Google首次回应AI专利争议 AI要大规模应用、解决大问题 Google AI向善
  • 凭语音转写就卖5000讯飞办公神器,还是被我们用方言玩坏了!
  • 标贝科技亮相2019互联网大会,助力智能语音商业场景落地
  • 百炼智能获5000万Pre-A轮融资,靠改进BERT助企业销售额翻5倍 用NLP帮销售找线索 艰难摸索 从开源走向自研
  • 刷新ImageNet纪录,GAN不只会造假!DeepMind用它做图像分类,秒杀职业分类AI