解耦知识蒸馏【CVPR2022】【知识蒸馏】
作者已在ReadPaper上回答好了论文十问，讲解PPT已上传至ReadPaper（在论文的提问区），若对论文有任何疑惑也欢迎前往提问。
Decoupled Knowledge Distillation
论文阅读和十问地址（PPT在提问区）：
https://readpaper.com/paper/664394439832129536?channel=bili_kscvpr2022
知识蒸馏是一种广泛应用的模型压缩方法，但主流方法都是 feature-based的，KD 这样的 logit-based 方法被忽视了。本文提出了一种新的视角来分析 KD。我们将 KD 的损失函数解耦为两个部分：TCKD 和 NCKD，并通过实验发现：TCKD 在传递“样本难度”相关的知识，而 NCKD 是蒸馏涨点的主要原因。更重要的是，本文发现 KD 的“耦合性”限制了1)NCKD 的有效性和2)平衡两部分损失的灵活性。为解决这两个问题我们提出了解耦知识蒸馏(DKD)，相比 feature-based 的复杂方法，DKD 可以达到相同甚至更优的性能，并且拥有更高的训练效率。
ReadPaper是沈向洋老师创办的IDEA研究院研发的论文阅读产品，欢迎登陆readpaper.com，快乐读论文。
CVPR2022分享会-旷视专场
（7/9）
自动连播
5.3万播放
简介
订阅合集
论文连讲：用重参数化赋予MLP网络局部性、超大卷积核架构【CVPR2022】【基础模型】
01:18:38
用于流感知的实时物体检测【CVPR2022】【目标检测】
44:40
遮挡场景下的端到端渐进式物体检测【CVPR2022】【目标检测】
29:49
一种使用动态多层感知机融合时空信息的细粒度图像分类方法【CVPR2022】【图像分类】
24:10
基于自适应相关级联递归网络的实用双目匹配【CVPR2022】【3D】
25:17
FS6D：用于新物体的少样本 6D 位姿估计【CVPR】【3D】
33:44
解耦知识蒸馏【CVPR2022】【知识蒸馏】
38:03
用于3D目标检测的焦点稀疏卷积神经网络【CVPR2022】【3D检测】
39:19
使用Transformer捕捉全局上下文信息的多视图立体视觉网络【CVPR2022】【3D】
29:18
顶部