首页 > AI前沿 > 正文

为什么有些画面让你终生难忘?GAN来告诉你原因 什么是GANalyze GitHub代码

转载 2019-11-08 0 19

十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

GAN又做了件了不起的事。

提到达芬奇的《蒙娜丽莎》,那张神秘的微笑立即浮现脑海。

提到梵高的《星月夜》,那片迷幻的夜空也仿佛历历在目。

△上:《蒙娜丽莎》;下:《星月夜》

我们深知一张图片胜过千言万语,但到底为什么那些著名的画作即使很久没再看过,也能让人如此印象深刻呢?

或许你了解其中原理,但现在有一个更简单粗暴且直观的方法:

问问AI,让GAN给你模拟一个过程

这个神奇的技术叫GANalyze,来自麻省理工学院(MIT)。

简单来说,GANalyze就是一个使用生成模型来研究认知特性的框架

认知特性可以包括记忆力、美学或者情感效价等。

MIT电气工程和计算机科学助理教授Phillip Isola说:

这项研究是建立在MemNet基础之上。简单来说,MemNet这个模型会对图像的可记忆性进行评级,并且还能强调图像中的哪些特征会对决策产生影响。

而GANalyze使用了GAN技术,在一张图像从“无人问津”到“印象深刻”的过程中,将其可视化

量子位根据在线测试工具实验了一波,结果如下:

我们可以看到一个在竹林中较为模糊的熊猫,逐渐转变为特点鲜明的熊猫:黑色的眼睛、耳朵、爪子,和它白色的部分形成鲜明对比。

这个GAN有三个部分组成:

assesor(评估器):基于MemNet,打开目标图像的记忆旋钮,并计算如何达到预期的效果;
transfomer(转换器):执行指令;
generator(生成器):输出最终的图像。

来看下这张汉堡变得令人印象深刻的过程:

从左至右的变化不禁让小编想起一句著名Rap:你看这个汉堡它又大又圆~

研究人员利用GANalyze在生成图像的过程中,详细的展示了让图像或场景脱颖而出的因素。

被试者记忆最深刻的图像具有以下特点:

· 具有明亮的颜色
· 背景简单
· 处于画面突出的中心位置

研究的合著者Lore Goetschalckx表示:

但最具美感的图像并不是最让人印象深刻的。

这么有意思的项目当然已经在GitHub上开源:
https://github.com/LoreGoetschalckx/GANalyze

研究人员提供了Tensorflow和Pytorch实现。也通过下面的途径正式测试过:

PyTorch >= 0.4 (1.1.0) 和 torchvision >= 0.2.2 (0.3.0)
Tensorflow 1.12.0 和tensorflow_hub 0.1.1 (针对预训练过的BigGANs)
numpy, scipy, PIL

研究人员建议参考本地文档来获得更详细的安装说明。但是,如果是在Ubuntu的linux服务器上,以下命令可能就足够了:

要clone这个repo,可以运行如下代码:

可以首先下载GANalyze项目页面上托管的预训练的generator和assesor。

也提供了用于下载Tensorflow或PyTorch模型的实用程序脚本,可以使用以下命令进行调用:

TensorFlow:

Pytorch:

训练代码如下:

测试代码如下:

One More Thing

其实,GANalyze除了上述功能外,研究人员发现它还有很多潜在的应用价值。

例如,可以通过增强现实系统中的对象来检测甚至治疗失忆

还可以通过创建令人难忘的图形,帮助读者记住信息,这可能会给教育带来革命性的变化

那么,你觉得这样的GAN技术还能为我们带来怎样的福利呢?

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 看完阿逗比年度炫技大会,我什么都不敢信了 加入音轨,画中人一键对口型 你怎么动,它就怎么动 素描一键变照片 神奇字体,iPad动字也变 照片光线随心变 一键去除背景噪音 一键识别删除特定声音 快速AR创作 不怕没人帮忙拍合影 人人都是艺术家 “反向PS”利器,一秒回到P图前
  • Uber:仍在使用Waymo专有技术
  • IDC:今年上半年中国公有云服务市场规模达54.2亿美元
  • 高通第四财季营收同比下降17.2%,手机基带芯片收入下降34%
  • 一片哗然!ICLR 2020被曝47%的审稿人没发过相关论文 AI学术圈一片哗然 不只是ICLR
  • GitHub年度报告:Python首次击败Java,中国成第二大开源贡献国 Python首次击败Java 中国开源贡献仅次美国 TensorFlow 数据科学成焦点 One more thing 传送门
  • 自动驾驶汽车撞死行人前的10秒,将行人识别为汽车和“其他”,美国官方公布Uber案细节
  • IDC:今年上半年中国GPU服务器市场规模8.3亿美元,同比增长53.7%