首页 > AI前沿 > 正文

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019 不一样的数据集 图像对不齐怎么办 原始数据,真的更有效 实验室里的人类们 One More Thing

转载 2019-04-03 0 37
不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

华为“单反”P30 Pro,从远处拍到的埃菲尔铁塔,连设计师们的名字都看得清。

这样的变焦技能,奢侈到让人心生嫉妒。

不过现在,就算不是P30 Pro,没有徕卡四摄,没有4,000万像素,只靠深度学习iPhone也可以把50米之外的细节,拍得清楚明白。

比如,你在街上走着,望到了对面的店铺,墙边立着像梯子一样的东西:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

这时候,如果用普通的数码变焦拍一张特写,约等于自暴自弃:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

那么,让超分辨率的大前辈ESRGAN试一下。

还是有些力不从心:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

是时候展现真正的技术了。

主角出场,超进化的数码变焦:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

原来它长这样啊。每一道银色的线条,都坚定地横在画面上,没有被黑暗的背景消融掉,细节比前辈生成的清晰许多。

走着走着,又看到了20米以外的小幅海报,上面细小的网址,不用走过去拍也能看清:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

这只眼力上佳的AI,微调一波之后,已经在iPhone X的相机上测试可用。

论文还中了CVPR 2019。作者有四位,一作是伯克利的博士生张璇儿,二作是港科大的助理教授陈启峰。

团队说关键在于,不能只用RGB图像数据来训练要用原始数据

在超分辨率的世界里,有些标准操作,大家已经习以为常。

却没发现,原本常用的数据集,带来了两个严重的问题。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

第一,因为神经网络需要成对的图片,一张高分辨率一张低分辨率,来解锁从低清里恢复高清的技能。通常的做法是,对高清图片做降采样 (Downsampling) ,得到对应的那张低清图片。

降采样,会间接减少图像的噪点。

而超分辨率通常是要把远处的物体放大,离镜头越远的物体,它所在的区域噪点会越多,因为进入光圈的光子少了。

这样说来,用降采样炮制的数据,不太适合拿来训练超分辨率的技能。

第二,现有的大多数方法,都是直接用8位RGB图像当训练数据的。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

但RGB图像,不是摄像头的原始数据 (Raw Sensor Data) ,是图像信号处理器 (ISP) 加工过的。

这加工步骤会损失一些高频信号,其中一个目的也是降噪。

相比之下,原始数据 (12-14位) 保留了这些高频信号,可能对恢复图像质量有帮助:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

总结一下,一要抛弃降采样,二要用原始数据来训练。于是,研究人员拿起了单反,用光学变焦镜头去拍成对的照片。

简单来说,短焦拍下低分辨率图像,长焦拍下高分辨率图像。

复杂一点说,24-240毫米的变焦镜头,可以拍出许多种不同焦距的照片。对画面上的一个物体来说,就是不同的分辨率了:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

任意两张图像,只要分辨率不同,都可以组成一对。

SR-RAW数据集就这样诞生了。每张图像都是原味,低清不是由高清粗暴转化得来,原始数据也都在。

训练的时候,是用低清照片的原始数据,加上高清照片的8位RGB图:高清是低清的Ground Truth。

那么,是不是有了数据集,就得到了天下?

还差一点:

训练超分辨率,首先需要图像对齐 (Alignment) 。就是把低清图像的每一个像素点,和高清图像里的像素点对应起来。

因为高清和低清图像,是在同一枚镜头的不同配置下拍摄的,对齐的时候会出现不可避免的问题。

比如,透视问题。调了焦,物体之间的距离变了,很难对齐了:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

比如,景深问题。调了焦,物体和背景之间的距离也变了,更难对齐了:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

另外,高清图像里面,物体边缘会更加锋利,而低清图像里的边界比较模糊,原本就很难对齐。

于是,团队提出了一种新的损失函数,叫做CoBi

这个损失,是在去年发表的Contextual Loss (简称CX) 基础上进化而生。

CX可以解决图像不对齐的问题,却不考虑图像的空间特征,在执行超分辨率任务的时候会出现重大的瑕疵 (下图B) :

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ 左起:低清输入、CX训练成果

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ 左起:CoBi训练成果、Ground Truth

所以,CoBi比CX多加了一项有关空间坐标的损失。这样,便可以训练出优秀的超分辨率网络了。

训练完成之后,要和其他网络比一场。那么,先用肉眼评判一下。

一道题目是,限时段停车的指示牌:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ 左下是低清输入,右下是Ground Truth

比赛结果是 (看不清可以把手机横过来) :

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ 右一为主角

主角恢复的文字,比前辈们都要清晰一筹。

如果,你感觉它和ESRGAN的表现差不多,我们来单独对比一下:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ 左为ESRGAN,右为主角

优势还是可见的。

数据,也支持了肉眼的判断:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

不论4倍还是8倍变焦,主角的各项指标,都要明显优于其他选手。

上面的数据表里,SSIM是结构相似性,PSNR是峰值信噪比,都是和Ground Truth相比,越大越好。

LPIPS是一个新近提出的指标,是用一个预训练的网络,来测量图像之间的感知相似度 (Perceptual Image Similarity) ,越小越好。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

打败了对手之后,团队又用人工合成的传感器数据 (C) ,以及8位RGB图像 (B) ,分别训练了一下自家的模型,看原始数据 (D) 训练的模型是不是真比它们更优秀。

其中一道题目,是40米之外的马里奥:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

左是用合成数据训练的,右是用原始数据训练的:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

原始数据的训练之下,画质更加美好。

对比一下,这是Ground Truth (来自光学变焦镜头,就是单反) :

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

各项指标也认为,投喂原始数据的模型表现更出色:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

△ Ours-syn-raw=合成数据训练后,Ours=原始数据训练后

不过,合成数据上训练的成果,虽然比不上用原始数据养成的模型,但还是比直接用RGB图像训练的模型,要争气一些。

终究,还是要用原始数据训练的好。

结论令人振奋,但还不是结局。研究人员希望这只用单反传感器养成的AI,也能适应手机的传感器

于是,他们选了iPhone X做小白鼠,用一个小数据集微调了一番。5000次迭代之后,模型在手机上获得了新生:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

研究团队,来自伯克利、港科大和英特尔。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

一作是来自伯克利的张璇儿,高中毕业自人大附中,本科毕业于莱斯大学,如今已是四年级的博士生。

主攻计算机视觉的她,先后在Adobe、Facebook和英特尔实习过。张璇儿一作且有陈启峰参与的CVPR论文,已经不止一篇了。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

比如,这项画风绮丽的研究成果,可以去除照片上的“鬼影”。

二作,大家可能比较熟悉了。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

陈启峰,1989年生,高中获得IOI金牌,本科就读于香港科技大学。在密大交换期间获得过全球ACM总决赛的亚军 (北美第一) 。

2012年,陈启峰获得了包括斯坦福、哈佛、MIT在内9所学校的PhD录取信,最终选择了斯坦福。

2017年博士毕业,2018年便成了港科大的助理教授。2018年他获得Google Faculty Research Award,被麻省理工评论选为中国35岁以下科技创新35人。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

三作吴义仁 (Ren Ng) ,伯克利的助理教授,张璇儿便是在他的实验室里做研究。

吴教授出生在马来西亚,8岁移民澳大利亚。2006年斯坦福大学博士毕业,还获得了当年ACM的博士论文奖。

他的主要研究方向是数字光场摄影技术,还创办了光场相机公司Lytro,把这项技术引入消费级电子产品。

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

四作是Vladlen Koltun,来自英特尔的资深科研主管,是智能系统实验室Intelligent Systems Lab的负责人。张璇儿和陈启峰,都曾经在他的实验室里工作过。

要是你既买不起P30 Pro,又不会训练深度学习模型,别担心,还可以直接上望远镜。

贴心的量子位,替你找到了这个:

不用P30 Pro,普通手机变身望远镜:陈启峰团队新作登上CVPR 2019

咦,你怎么用了品如的望远镜?

论文传送门:

https://cqf.io/papers/Zoom_To_Learn_CVPR2019.pdf

—  —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态​​​​

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • Python之父说996不人道,系列项目霸榜GitHub,某宝开卖文化衫
  • 5分钟曲子连续播放451天,还能不重样?当程序员不想单曲循环……
  • 开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程
  • 何恺明、陈鑫磊新研究:提出实例分割新方法,效果比肩Mask R-CNN
  • 百度AI进军情侣社交,淘宝用火箭送快递,腾讯推出“生态化反”的美食AI
  • 支付宝手机曝光!三折叠屏,AI防诈骗,屏下摄像头,被偷自动归还 三折真全屏 防伪:视觉嗅觉齐上阵 防诈骗:戏耍骗子,同步报警 你的手机被盗,它正在寻找回家路线 超高速芯片,超长续航电池 今天是什么日子?
  • 楼教主的无人车怎么样?我们去广州体验了一把RoboTaxi RoboTaxi初体验 路况复杂的旅程 小马智行近况 如何看未来?
  • 一周AI十大要闻回顾 | 无人车首例阵亡事件,AI教育春江水暖 01 新突破 02 新动态 03 新动态(科创板) 04 新动态 05 新动态 06 新动态 07 新动态 08 新动态 09 新风向 10 新风向 One more thing