首页 > AI前沿 > 正文

LSTM之父,现已加入鬼畜全明星,“他为啥没得图灵奖,太不公平了!” “我的开创性工作” “没得到足够的重视” One More Thing

转载 2019-08-02 0 129
LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

自从机器学习三巨头Hinton、LeCun、Bengio得了图灵奖,有个人就被玩坏了。

他叫Juergen Schmidhuber,还有个更通俗的名字,是LSTM之父

(LSTM,长短期记忆,是一种重要的机器学习方法,可以学习长期信息。)

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

那时,图灵奖的消息下面,整座楼都在呼喊他的名字。

现时不同了,有人为了更好地应援 (误) ,帮他写了首LSTM之歌

素材来自一次TED X演讲。

也许不像B站鬼畜区的选手那样专业,但论洗脑,并不逊色。歌词大致如下,请搭配视频食用:

甚至有一种,在迪斯尼电影里,主角走着走着唱起歌来的错觉。这支小曲在推特拿下了超过300赞:

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

鬼畜作者说:“我们觉得Schmidhuber没得图灵奖太不公平了。为了让他振作起来,就搞了这首歌。”

那么,世界上有那么多没得图灵奖的大佬,为什么单单LSTM之父被玩坏?歌词又为什么单单点名了Facebook呢?

其实近些年,LSTM之父常常因为“自己的开创性工作没得到足够的尊重”这类激烈的表达,引起世界的瞩目。

所以,这里先描述一下,LSTM是怎样一项开创性的工作。

就像歌里唱的那样,LSTM是长短期记忆的简称,和人脑的记忆有些类似。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

它是一种特殊的循环神经网络 (RNN) ,最初在1997年发表。那么,特殊在哪里呢?

普通RNN是能把先前学到的信息,用到现下的任务里;但距离越远的信息,就越难关联起来。引用Christopher Colah博客里的例子:

而LSTM就是为了解决这个问题而生的。它和普通RNN的区别是:

普通RNN的循环部分只有一层 (tanh) ,只依状态h的改变而改变,所以对短期的输入敏感:

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

△ 普通RNN,来自Colah博客

而LSTM的循环部分,又加入了c状态,保存长期状态。于是,循环部分变成了4层,来决定短期状态到底对长期剧情产生多大的影响。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

△LSTM,来自Colah博客

这样,LSTM就可以学习更长的序列了。一个长期困扰学界的问题,便是这样解决的。

1997年发表的那篇论文,作者是Schmidhuber (二作) 和他的学生Hochreiter (一作) 。

后来,LSTM被多方发扬光大,如今已是机器学习领域不可缺少的方法了。

谷歌把LSTM用在语音识别和谷歌翻译上;苹果的Siri和亚马逊的Alexa背后也都是LSTM。

Facebook一年要用LSTM做45亿次自动翻译。这是2017年的数据。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

△ 来自Reddit用户@TheOverachiever

可这门技术越是重要,作为发明者之一的Schmidhuber越是觉得,自己没有得到足够的重视。

毕竟,机器学习三巨头早已名满天下,而他的名号远不及这几位的响亮。

远离宇宙中心的他,在瑞士南部提契诺州卢加诺区曼诺的达勒·莫尔AI研究所 (IDSIA) ,担任联合主任。

2015年,为了纪念人工智能60周年,三巨头合写了一篇深度学习综述,发表在Nature上。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

正当大家仔细品读的时候,这篇文章收到了来自Schmidhuber的反对:

他列出了九条问题,批评三巨头的综述没有足够尊重前人的成果

比如,没有提到Alexey Ivakhnenko,他和小伙伴们在1965年发表了世界上第一个有效的深度学习网络。

比如,写到反向传播 (BP) 的时候,只引用他们自己的论文,和少数几篇其他论文,忽略了60年代早期Bryson等人的论文,后来的BP就是从那时的成果发展来的。

比如,没有提及Schmidhuber本人在RNN上面的工作。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

很快,三巨头中的LeCun回怼了远在欧洲的同行。主要理由是,比起那些给出想法的人,更大的功勋应该属于把想法用到机器学习上的人:

LeCun说,很多人也想过用链式法则训练一台机器,但反向传播直到80年代才真正发明出来。

他还说:

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

△ 他成了梗:“你们写的所有LSTM,都是我的。”

LSTM之父与三巨头的对立面,就形成了。

当三巨头一起拿下图灵奖,吃瓜的众人又想起了这场有趣的战斗,盖起了一座楼,又一座楼。

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

还有的人类,不满足于水论坛、答“知乎”这种简易的活动,选择拿起鬼畜的武器,才有了大家听到的LSTM之歌

歌词特意点名Facebook,也是为了纪念吧。

毕竟,歌名只有战役的一方,另一方的主要发言人LeCun,已是Facebook首席AI科学家了。

告诉你一个秘密,尝到鬼畜甜头的小伙伴,才不会做一首歌就满足。

这里是另一首,节奏更加激烈,歌词也有些奇异。

(视频没传上来)

你大概听到了这样的句子:

“有三个人被判了死刑。”

“你们的遗言是什么?”

仿佛是在说:

LSTM之父,已加入鬼畜全明星,“他为啥没得图灵奖,太不公平!”

参考资料如下。

Colah的博客:

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

零基础入门深度学习(6) – 长短时记忆网络(LSTM):

https://zybuluo.com/hanbingtao/note/581764

看Juergen Schmidhuber论战LeCun、Bengio和Hinton:

https://blog.csdn.net/happytofly/article/details/80120442

《纽约时报》报道:

https://www.nytimes.com/2016/11/27/technology/artificial-intelligence-pioneer-jurgen-schmidhuber-overlooked.html

—  —

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 科技部印发《国家新一代人工智能开放创新平台建设工作指引》
  • IDC发布一季度中国云服务报告:阿里腾讯金山三足鼎立
  • 苹果又涉信息泄露:AirDrop隔空投送存在漏洞
  • 不用再找换脸教程了,飞桨PaddleGAN给你一键式体验 1.效果实测 2. PaddleGAN支持的模型与任务 3. 预训练模型 4. 一键式的训练和测试生成网络 5. 主流开源模型简介
  • OpenAI如何组织员工学习?这里有一份课程与书籍清单 自由学习的工作日 来自机器人团队的妙想 实现细节 One More Thing
  • 清华伯克利造出机械小强:承重200万倍踩不死,跑得和真蟑螂一样快
  • 吴恩达的TensorFlow实践课上线,有Python基础就能听,4个月学完
  • “看我的眼神行动”,现在这台笔记本也能做到,而且还是轻薄全面屏