强化学习论文精读 第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）_哔哩哔哩_bilibili

Name: 强化学习论文精读 第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）
Uploaded: 2026-10-01T11:30:00.000Z
Duration: 33 min 5 s
Channel: hallo128

hallo128

强化学习论文精读 第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1） 推导了强化学习中用重要性采样复用旧数据的核心公式，证明了公式三的梯度就是策略梯度的重要性采样形式。同时说明了重要性采样仅在新旧策略分布接近时有效，为后续的策略距离约束（公式四）做铺垫。, 视频播放量 2299、弹幕量 0、点赞数 91、投硬币枚数 17、收藏人数 162、转发人数 6, 视频作者 hallo128, 作者简介 科研学习记录，共同进步 | 固定更新文献阅读，其他时间随意，相关视频：梯度消失与梯度爆炸的产生原因及解决方法，亲测有效！Ollama 国内安装：解决下载慢、卡住的终极方案，识别手写数字——为什么你不该死磕 PyTorch 语法，基于遗传算法的卷积神经网络新型学习方法用于模式识别，十分钟用coze外挂知识库【RAG】，强化学习论文精读 第8讲｜PPO 论文：优势函数的估计形式是什么——公式 10-12，《浅入深出》Agent系列之八：Agent Memory管理，强化学习公式推导 第9讲｜优势函数估计：从递推式到求和式，完整证明公式 10–12 的等价性，LaTeX刷书法 现场演示 如何快速把一本书变成Overleaf文档，【ESP-Mosaico 急救指南 第1讲】玩坏了怎么办？一键重置 + 在线烧录，从砖头到复活

强化学习论文精读 第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）

强化学习论文精读第5讲｜PPO 论文：公式 3——重要性采样让旧数据能多走几步（附：它在旧参数处正好等于公式 1）