首页 > AI前沿 > 正文

模型压缩一半,精度几乎无损,TensorFlow推出半精度浮点量化工具包,还有在线Demo 压缩大小,不减精度 便捷使用 传送门

转载 2019-08-06 0 131

近日,TensorFlow模型优化工具包又添一员大将,训练后的半精度浮点量化(float16 quantization)工具。

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

有了它,就能在几乎不损失模型精度的情况下,将模型压缩至一半大小,还能改善CPU和硬件加速器延迟。

这一套工具囊括混合量化,全整数量化和修剪。

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

如何量化模型,尽可任君挑选。

双精度是64位,单精度是32位,所谓的半精度浮点数就是使用2个字节(16位)来存储。

比起8位或16位整数,半精度浮点数具有动态范围高的优点;而与单精度浮点数相比,它能节省一半的储存空间和带宽。

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

比起双精度和单精度浮点数,半精度浮点显然没有那么适合计算。那么问题来了,为什么要主动降低精度呢?

因为实际上,很多应用场景对于精度的要求并没有那么高。在分布式深度学习中,模型可能会有成千上万个参数,体积一个赛一个的大,如果能把所有常量值都用16位浮点数而不是32位浮点数来存储,那么模型大小就能压缩至一半,还是相当可观的。

体积压缩了,精确度难道不会损失吗?

降低浮点数精度,当然会带来精确度的损失,但是不必担心,这样的损失小到可以忽略不计。

在ILSVRC 2012图像分类任务上分别测试标准的MobileNet float32模型和float16模型变体,可以看到,无论是MobileNet v1还是MobileNet v2,无论是top1还是top5,fp16模型的精度损失都小于0.03%

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

再试试对象检测任务,fp16变体比之标准模型,几乎没有精度损失。

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

而无论是MobileNet v1还是MobileNet SSD,fp16变体的体积都比标准模型的大小降低了约一半。

模型压缩一半,精度几乎无损,TensorFlow半精度浮点工具包来啦

小体积,高精度,有什么理由不试试半精度浮点量化工具呢?

想要把你训练过的32位模型转成16位,操作并不复杂。只需设置两行关键代码。

在TensorFlow Lite converter上把32位模型的优化设置设为DEFAULT,然后把目标规范支持类型设置为FLOAT16:

模型转换成功之后就可以直接运行了。

默认情况下,模型是这样在CPU上运行的:把16位参数“上采样”为32位,并在标准32位浮点运算中执行操作。

这样做的原因是目前很多硬件还不支持加速fp16计算。在未来,有更多硬件支持的情况下,这些半精度值就不再需要“上采样”,而是可以直接进行计算。

在GPU上运行fp16模型更简单。

TensorFlow Lite的GPU代理已经得到加强,能够直接获取并运行16位精度参数:

如果你感兴趣,TensorFlow官方还给出了教程demo,打开文末Colab链接,你就可以在线训练一个16位的MNIST模型啦。

官方指南:

https://www.tensorflow.org/lite/performance/post_training_quantization

Colab链接:

https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/lite/g3doc/performance/post_training_float16_quant.ipynb

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 清华姚班2019级新生来了:高考状元、奥赛金牌,也是一批被AI感召的00后
  • 孙剑:旷视不需要用冠军证明自己;看好自动机器学习技术 MSRA和旷视在做研究这件事上有什么不同? 如何看待旷视一个接一个的世界冠军 夺冠神器Brain++是怎样的存在,和开源框架有什么区别? 香港和北京的AI发展又什么不同? 目前看好的那些新的AI技术? CV新人的抉择
  • GitHub热榜第一:小姐姐自拍,变成二次元萌妹,效果远胜CycleGAN
  • BAT华为美团头条面试考什么?这份GitHub万星资源,告诉你面试题+答案+出题人分析
  • 滴滴正式分拆无人车业务,复刻Uber上市路径,传孙正义再加持 分拆之后 复刻Uber轨迹,传孙正义再加持
  • 围剿Sci-Hub力度升级!全球最大学术出版商:网址你也不要提,不然就发律师函
  • 免费机器学习课程爆红:从概率与统计到全栈深度学习,英伟达工程师小姐姐整理
  • 十款中高端手机CPU狂测,骁龙VS麒麟,最大黑马竟是它!