[知识蒸馏][05] 闭关两天半，从零实现大模型Logits知识蒸馏（Cross-Tokenizer，GLM4-9B-->Qwen2.5-0.5B）_哔哩哔哩_bilibili

Name: [知识蒸馏][05] 闭关两天半，从零实现大模型Logits知识蒸馏（Cross-Tokenizer，GLM4-9B-->Qwen2.5-0.5B）
Uploaded: 2025-11-15T12:26:59.000Z
Duration: 35 min 42 s
Channel: 偷星九月333

偷星九月333

相同tokenizer的大模型之间进行logits知识蒸馏，输出的logits形状一样，可以直接使用KL散度优化对齐。不同tokenizer的大模型之间无法直接通过KL散度对齐概率分布，因为其输出的logits在序列维度和词表维度是无法对齐的。本视频介绍了对于不同tokenizer的大模型之间进行知识蒸馏是如何进行对齐的，并使用GLM4-9B作为教师模型，Qwen2.5-0.5B作为学生模型进行测, 视频播放量 6960、弹幕量 23、点赞数 166、投硬币枚数 56、收藏人数 299、转发人数 24, 视频作者 偷星九月333, 作者简介 两耳不闻窗外事，一心只搞大模型，相关视频：[知识蒸馏][02] 练习两分半，使用DeepSeek-R1蒸馏训练自己的本地小模型（Qwen2.5-0.5B），原理流程全讲解，模型数据全给你，[知识蒸馏][12] 一个很容易被忽略但是很重要的问题：为什么OPD中一般不直接使用reverse kl backward？，单卡A800强化学习训练32B模型（DeepSeek-Qwen-32B，GRPO），低显存也能强化学习，练习两天半，完全从零开始实现DeepSeek Sparse Attention（DSA，DS-V3.2-Exp），从原理讲解到代码训练全流程，你一定要看，[知识蒸馏][04] 闭关2.5天，Embedding模型微调VS蒸馏（Qwen3-0.6B），谁更胜一筹，数据会告诉你答案，从原理流程、代码实现到结果分析，[知识蒸馏][06] 闭关两天半，完全从零实现大模型RL知识蒸馏（On Policy Distillation，Qwen2.5），你值得拥有，练习两周半，使用Qwen2.5-0.5B和SigLIP从零开始训练多模态大模型，从预训练到SFT完整流程，让你真正搞懂多模态大模型，[知识蒸馏][03] 闭关两天半，完全从零开始实现Embedding模型知识蒸馏（学生模型Qwen3-Embedding-0.6B，教师模型4B/8B），[Agentic RL][05] 练习两天半，教你如何使用verl框架进行强化学习（环境安装、数据集处理、奖励函数构建、重要参数解析、debug），[2026新版本]LM Studio部署与使用教程！全面支持 N卡/A卡/I卡！一键部署本地语言模型！