知识蒸馏原理介绍！知识从哪里来怎么蒸馏？【推理引擎】模型压缩系列第06篇(上)
【推理引擎】模型压缩系列第06篇(上)：知识蒸馏原理介绍！知识从哪里来怎么蒸馏？
Knowledge Distillation（KD）最初是 Hinton 在 “Distilling the Knowledge in a Neural Network”提出，与 Label smoothing 动机类似，但是 KD 生成 soft label 方式通过教师网络得到。KD 可以视为将教师网络学到的知识压缩到学生网络中，另外一些工作 “Circumventing outlier of auto augment with knowledge distillation”则将 KD 视为数据增强方法的一种。
电脑桌面上养老婆？我也想要！
【推理引擎】模型压缩
(6/7)
7.6万播放 
简介
简介《模型压缩》模型压缩跟轻量化网络模型不同，压缩主要是对轻量化或者非轻量化模型执行剪枝、蒸馏、量化等压缩算法和手段，使得模型更加小、更加轻便、更加利于执行。
01 模型压缩架构和流程
01 模型压缩架构和流程
04:17
02 低比特量化原理
13:48
03 感知量化训练QAT原理
12:08
04 训练后量化PTQ与量化部署
14:16
05 模型剪枝核心原理
14:22
06(上) 知识蒸馏原理
09:32
06(下) 知识蒸馏算法解读
13:58
顶部