首页 > AI前沿 > 正文

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

转载 2019-04-03 0 35

要入门机器学习,一个自己感兴趣又有丰富数据的领域再好不过了。

今天我们就来学习用Keras构建模型,识别NSFW图片,俗称造个鉴黄AI。

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

资源来自一名印度小哥Praneeth Bedapudi,涉及图像分类和目标检测两个科目。他在GitHub上最新发布了NudeNet项目,包含代码和两个预训练模型:负责识别露不露的图像分类模型和负责找出关键部位(以便打码)的目标检测模型。

图像分类模型很简单,能区分两个类别:nude和safe,也就是露和不露,堪比经典的hotdog/not hotdog。

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

目标检测模型则能检测6个类别:不分性别的腹部、臀部,和区分了性别的不可描述部位。

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

资源链接全在文末,我们先来学习一番。

图像分类

从数据集开始

构建一个图像二分类模型,需要数据集当然也要包含两类图像。所以,第一项任务就是分别搜集露的图片(nude)和不露的图片(safe)。

不安全的nude图片来自三处:

是用RipMe从website scrolller下载,这些图片来自Reddit论坛的各种NSFW板块;

图片来源:https://scrolller.com/nsfw(打开请慎重)

下载工具:https://github.com/RipMeApp/ripme

是P站的缩略图。引入这些缩略图是为了平衡图片质量——上边的的Reddit图片质量太高了,而一个鉴黄AI,在现实中遇到的图片大多是渣品质,这就需要分辨率很低的缩略图来平衡。

是之前广为流传的同类数据集,来自alexkimxyz。

原数据集的5个类别,被映射到现在的两类之中。hentai和porn属于nude,而drawings、neutral和sexy属于safe。

搜集好数据之后,进行标准化和去重:

# Resizing and removing duplicates
mogrify -geometry x320 *
fdupes -rdN ./

最终得到的不安全图片1,78,601张P站图片、1,21,644张Reddit图片和1,30,266张前辈数据集图片。

安全的图片则有三个来源,一是alexkimxyz数据集中的普通图片;二是Facebook资料;三是Reddit论坛上那些老少皆宜的板块。

为什么已经有了现成的数据集,还需要去后两个来源抓取呢?

因为小哥发现,前辈收集的安全图片,有很多根本就不包含人。用这样的数据训练,模型很可能学到错误的特征,没学会判断“露不露”,直接变成了一个“有没有人”分类器。

最终得到的安全图片中,有68,948张来自Facebook资料、98,359张来自前辈数据集、55,137张来自Reddit。

数据收集完毕,接下来要进行数据增强。这里用的是Augmentor和Keras自带的fit_generator。

Augmentor地址:

https://github.com/mdbloice/Augmentor

使用的代码如下:

# Random rotation, flips, zoom, distortion, contrast, skew and brightness
pipeline.rotate(probability=0.2, max_left_rotation=20, max_right_rotation=20)
pipeline.flip_left_right(probability=0.4)
pipeline.flip_top_bottom(probability=0.8)
pipeline.zoom(probability=0.2, min_factor=1.1, max_factor=1.5)
pipeline.random_distortion(probability=0.2, grid_width=4, grid_height=4, magnitude=8)pipeline.random_brightness(probability=0.2, min_factor=0.5, max_factor=3)pipeline.random_color(probability=0.2, min_factor=0.5, max_factor=3)
pipeline.random_contrast(probability=0.2, min_factor=0.5, max_factor=3)
pipeline.skew(probability=0.2, magnitude=0.4)

 

训练与评估

小哥为这个任务选择了谷歌出品的Xception模型,直接从Keras使用,输入256×256尺寸的图片,批次大小设为32。

而训练的设备,是从vast.ai租来的云服务器,带一块GTX 1080Ti显卡。

Keras提供的图像分类模型有个问题:不带正则化。所以,还要用下面的代码,为每一层加上正则化(dropout或L2)。

# For l2
for layer in model.layers: layer.W_regularizer = l2(..)
# Or for dropout add dropout between the fully connected layers and redefine the model using functional API.

使用SGD with momentum训练,模型可以在alexkimxyz数据集上收敛到0.9347的准确率。

训练完成后,他选择了Towards Data Science之前构建的一个测试集来测试模型性能。

测试集:

https://drive.google.com/drive/folders/18SY4oyZgTD_dh8-dc0wmsl1GvMsA7woY

测试成绩如下:

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

目标检测

还是从数据集开始

训练目标检测模型需要的数据集,和图片分类可不一样。分类只需要图片和类别,而目标检测需要的,是用边界框标注了某样东西位置的图片。

因此,上边讲过的数据集不能用了,新科目的数据集来自Jae Jin的团队,包含5789张图片,各种标注的分布如下:

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

其实也就是模型能检测出的六类目标。

数据集没有公开,作者在这里:

https://github.com/Kadantte

有了数据,还是要做一些图像增强工作,随机加入一些模糊、翻转。使用的工具是albumentations:

https://github.com/albu/albumentations

训练与评估

这里的检测模型,选择的是FAIR推出的RetinaNet,它使用焦点损失(交叉熵损失的一种变体)来增强一阶目标检测的性能。

检测模型的基干使用了ResNet-101,在测试集上的成绩如下:

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

除了用来指出某个部位究竟出现在了图中什么位置之外,这个模型其实还可以当成分类器来用:

如果在图中检测到了BUTTOCKS_EXPOSED、*_GENETALIA_EXPOSED、F_BREAST_EXPOSED这四类,就可以判定图片NSFW,如果没有,这张图就是安全的。

所以,也可以用分类器的测试集来检测这个模型的性能。

得到的成绩,比纯粹的分类器好不少:

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

当然,目标检测更适合实现的功能,是打码。比如说见到一张NSFW图片,它就可以根据检测到的关键部位,自动遮挡:

开源鉴黄AI新鲜出炉:代码+预训练模型,还附手把手入门教程

预训练模型怎么用?

如果你想先用预训练模型看看效果,可以按照下面的安装指南来:

安装:

pip install nudenet
or
pip install git+https://github.com/bedapudi6788/NudeNet

使用分类器:

from nudenet import NudeClassifier
classifier = NudeClassifier('classifier_checkpoint_path')
classifier.classify('path_to_nude_image')
# {'path_to_nude_image': {'safe': 5.8822202e-08, 'nude': 1.0}}

使用目标检测器:

from nudenet import NudeDetector
detector = NudeDetector('detector_checkpoint_path')
# Performing detection
detector.detect('path_to_nude_image')
# [{'box': [352, 688, 550, 858], 'score': 0.9603578, 'label': 'BELLY'}, {'box': [507, 896, 586, 1055], 'score': 0.94103414, 'label': 'F_GENITALIA'}, {'box': [221, 467, 552, 650], 'score': 0.8011624, 'label': 'F_BREAST'}, {'box': [359, 464, 543, 626], 'score': 0.6324697, 'label': 'F_BREAST'}]
# Censoring an image
detector.censor('path_to_nude_image', out_path='censored_image_path', visualize=False)

传送门

GitHub:

https://github.com/bedapudi6788/NudeNet

教程原文 – 图像分类篇:

https://medium.com/@praneethbedapudi/nudenet-an-ensemble-of-neural-nets-for-nudity-detection-and-censoring-d9f3da721e3?sk=e19cdcc610e63b16274dd659050ea955

教程原文 – 目标检测篇:

https://medium.com/@praneethbedapudi/nudenet-an-ensemble-of-neural-nets-for-nudity-detection-and-censoring-c8fcefa6cc92?sk=f0a4786bf005cd4b7e89cf625f109af0

另外,你可能更关心数据集……小哥在Reddit论坛上对网友说,他收集的数据集大约有37GB大,还没有找到地方上传,但“绝对会共享出来”,到时候会在这里更新链接:

https://www.reddit.com/r/MachineLearning/comments/b78j1q/p_nudity_detection_and_censoring_in_images_with/

量子位之前介绍过一些数据集(和模型),先用它们练手也行:

内含20万“不可描述”图片,这个数据集别在办公室打开

那个20多万“不可描述”照片数据集,有人用它做了鉴黄模型

150多万张“不可描述”照片数据集新鲜出炉,不要在办公室打开

和他们一起加油吧~

—  —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ’ᴗ’ ի 追踪AI技术和产品新动态

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 何恺明、陈鑫磊新研究:提出实例分割新方法,效果比肩Mask R-CNN
  • 百度AI进军情侣社交,淘宝用火箭送快递,腾讯推出“生态化反”的美食AI
  • 支付宝手机曝光!三折叠屏,AI防诈骗,屏下摄像头,被偷自动归还 三折真全屏 防伪:视觉嗅觉齐上阵 防诈骗:戏耍骗子,同步报警 你的手机被盗,它正在寻找回家路线 超高速芯片,超长续航电池 今天是什么日子?
  • 楼教主的无人车怎么样?我们去广州体验了一把RoboTaxi RoboTaxi初体验 路况复杂的旅程 小马智行近况 如何看未来?
  • 一周AI十大要闻回顾 | 无人车首例阵亡事件,AI教育春江水暖 01 新突破 02 新动态 03 新动态(科创板) 04 新动态 05 新动态 06 新动态 07 新动态 08 新动态 09 新风向 10 新风向 One more thing
  • 路上放三枚小贴纸,特斯拉就拐进了反向车道:腾讯“骗”出AutoPilot三大缺陷
  • 吴恩达获英特尔投资!这次,英特尔拿出7.85亿砸向AI创业公司
  • Google员工又“造反”了:AI伦理委员会,凭什么混进了反LGBT的人? 外部AI伦理委员会,出生即夭折 首个退出者 触犯众怒者 涉及军方者 冷嘲热讽者 传送门
    • 最新文章