强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】
本期论文：Reinforced Multi-Teacher Selection for Knowledge Distillation
可见于https://readpaper.com/paper/3110846353?channel=harryreadpaper，姜大昕老师已经回答好了论文十问，也欢迎大家前往提问区提问题。
论文摘要：
在自然语言处理 (NLP) 任务中，推理速度慢和 GPU 使用量巨大仍然是在工业级产品中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法，知识蒸馏将知识从一个或多个大型（教师）模型转移到一个小型（学生）模型。当蒸馏中有多个教师模型可用时，目前主流的做法是在整个蒸馏过程中为教师模型分配一个固定的权重，而大多数现有方法为每个教师模型分配了相同的权重。在本文中，我们观察到，由于训练样本的复杂性以及学生模型能力的差异，从教师模型中进行差异化学习可以提高学生模型的蒸馏性能。我们系统地开发了一种强化学习方法，为不同训练实例的教师模型动态分配权重，并优化学生模型的性能。我们在几个 NLP 任务上的大量实验结果清楚地验证了我们方法的可行性和有效性。
ReadPaper是沈向洋老师创办的IDEA研究院研发的论文阅读产品，欢迎登陆readpaper.com，快乐读论文。
沈向洋带你读论文——NLP系列
（2/7）
自动连播
5.3万播放
简介
订阅合集
情感交流机：解读AI情感对话生成技术【沈向洋带你读论文】【文本情感表达】
34:03
强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】
31:31
【沈向洋带你读论文】R-Drop：使子模型间输出趋同的正则化策略
15:47
【沈向洋带你读论文】Top-k learning to rank：让排序学习的标注更加轻松更有效
21:42
【沈向洋带你读论文】预训练语言模型如何提升搜索效果
18:13
【论文详解】搜索引擎如何用上预训练模型
09:23
【沈向洋带你读论文】找寻同声传译中的最佳读写路径
22:09
顶部