【前沿实战】大模型Agent强化学习实战_哔哩哔哩

大模型Agent强化学习实战：从后训练、奖励设计到工业级对齐系统

全集试看

为什么 Agent RL 是大模型最关键的分水岭？

视频课

3分43秒

2

全集试看

课程地图（上）：RL 基础与奖励工程

视频课

5分26秒

3

全集试看

课程地图（下）：工业战场与判断框架

视频课

4分56秒

4

全集试看

这门课为什么这样设计？4 个核心取舍

视频课

3分39秒

5

全集试看

这门课到底适不适合你？

视频课

4分4秒

6

全集试看

这门课交付了什么？彩蛋章节怎么安排？

视频课

2分47秒

第一章大模型RL与Agent对齐全景

7

大模型对齐算法8年演进，四大家族一次讲透

视频课

12分20秒

8

Agent、搜索、视觉、情感——奖励信号从哪来？

视频课

12分57秒

9

RL有不可逾越的天花板？放大器vs注入器

视频课

16分1秒

第二章从MDP到LLM后训练：构建Agent RL的公共语言

10

RL底层逻辑：从交互循环到期望回报

视频课

10分21秒

11

LLM做完SFT为什么还不够？5类SFT难以解决的问题

视频课

8分52秒

12

MDP五元组一次讲透：强化学习问题怎么形式化

视频课

12分6秒

第三章价值函数、贝尔曼方程与PPO：从RL算法根基到LLM优化

13

策略、回报与价值函数的核心概念

视频课

10分31秒

14

贝尔曼方程：递归分解与期望方程的推导

视频课

10分40秒

15

RL求解方法：从动态规划到策略梯度

视频课

9分31秒

第四章大模型偏好对齐算法全景

16

对齐为什么不是把 LLM 做大就能解决

视频课

15分53秒

17

RLHF的RL阶段——PPO、KL惩罚与 RLHF的稳定性命脉

视频课

10分13秒

18

RLAIF与可扩展监督——宪法AI、模型作为裁判与自奖励

视频课

13分16秒

19

对齐算法家族地图——DPO、RLVR、GRPO全景与五大对齐陷阱

视频课

17分14秒

第五章奖励函数设计与Verifiers实战

20

本章预告

视频课

2分39秒

21

可验证奖励：RLVR 的设计范式

视频课

7分46秒

22

生成式奖励模型：从打分到反馈生成

视频课

5分33秒

23

奖励粒度设计：从稀疏信号到密集监督

视频课

6分20秒

24

无监督奖励：模型自进化的内在信号

视频课

9分21秒

25

过程奖励 vs 结果奖励：长链路推理中的信用分配

视频课

14分20秒

26

奖励黑客与过优化：成因、识别与防御

视频课

8分50秒

27

Verifiers框架解析：从奖励函数到工业级奖励基础设施

视频课

17分50秒

28

Verifiers实战入门：任务、模型调用与奖励闭环

视频课

14分20秒

29

Verifier完整实战：从数据集到Reward评估闭环

视频课

14分22秒

第六章 Agentic RL信用分配原理与实战：从稀疏到多维反馈

30

信用分配为何难？从痛点到方案

视频课

4分16秒

31

Reagent-U 架构与三阶段数据流

视频课

9分19秒

32

创新归纳与实验剖析

视频课

7分53秒

33

Reagent项目概览与架构设计

视频课

10分49秒

34

项目概览、架构设计与Docker环境配置

视频课

8分42秒

35

Agent SFT和RL实战（上）：流程、数据集与SFT训练

视频课

18分40秒

36

Agent SFT和RL实战（下）：Reward部署与Agent

视频课

15分

第七章工业级RL算法与VeRL实战

37

为什么用RL？策略/奖励/评判/参考模型详解

视频课

10分39秒

38

从PPO到GRPO：组采样+相对优势+完整目标函数详解

视频课

12分28秒

39

告别奖励模型：DPO直接偏好优化完整拆解

视频课

17分59秒

40

从零看懂VeRL：工业级RL后训练框架的全局视图与六层架构

视频课

11分31秒

41

DataProto与Single Controller

视频课

8分55秒

42

训练路径全程拆解：从一条命令到一次完整PPO训练

视频课

8分47秒

43

VeRL算法扩展机制揭秘：如何组合出PPO、GRPO、DAPO等

视频课

8分44秒

44

Reward Loop与Agent Loop

视频课

8分19秒

45

VeRL的当下与未来：架构演进、实验区与扩展点地图

视频课

11分16秒

46

VeRL实战：基于Qwen3跑通GRPO强化学习训练

视频课

12分46秒

47

VeRL实战：基于Qwen3跑通DPO中文偏好对齐

视频课

10分14秒

第八章 DeepAnalyze 数据分析Agent端到端实战

48

项目全景：架构、能力与数据流

视频课

10分6秒

49

部署数据科学Agent：环境搭建+量化配置+vLLM启动全流程

视频课

8分21秒

50

DeepAnalyze部署实战：API调用+Agent推理循环

视频课

15分54秒

51

Agent 推理机制：ReAct 循环与标记系统

视频课

5分18秒

52

基于 Docker 一键部署 Web UI 服务

视频课

11分37秒

53

基于Docker完成Qwen3的SFT与GRPO强化学习实战

视频课

19分31秒

54

SFT+强化学习+代码沙箱：DeepAnalyze

视频课

17分17秒

第九章 : Agentic RL训练系统与OpenClaw-RL

55

多轮Agent到底该怎么训？Agentic RL环境、数据与奖励

视频课

19分50秒

56

OpenClaw-RL与Agentic RL稳定训练实战逻辑

视频课

18分43秒

57

OpenClaw-RL全系统拆解，下一状态信号+三大核心算法

视频课

20分38秒

58

OpenClaw-RL核心源码精讲与完整实现链路

视频课

17分12秒

59

Toolcall RL异步训练闭环全解

视频课

8分39秒

60

从SFT到ToolCall模型实战

视频课

23分20秒

61

RL强化学习训练全流程： Qwen3+ReTool-RL

视频课

14分17秒

62

用 PRM 跑通过程奖励训练，提升Qwen3-0.6B推理过程

视频课

11分10秒

第十章 : Agent Skill与自进化Agent实战

63

Agent Skill 到底是什么？五种形态与五条边界

视频课

7分28秒

64

Agent Skill的问题-解法坐标：7大痛点×8类解法

视频课

8分11秒

65

SkillRL 枢纽与双轨共演化的四条路径

视频课

9分21秒

66

EvoSkill、Trace2Skill、SkillClaw

视频课

7分50秒

67

Routing、SkillGraph 与大规模技能检索

视频课

8分7秒

68

Agent世界正在长出自己的LLVM

视频课

8分43秒

69

Skill内化：把Skill训进模型参数，还是继续挂在外面？

视频课

7分43秒

70

怎么选一条不踩坑的Skill路线？数据、延迟、场景、生态四维决策

视频课

9分19秒

71

不动权重Agent也能越用越强：Memento-Skills源码

视频课

19分35秒

72

Memento-Skills实战前准备：安装、配置与启动校验

视频课

9分40秒

73

从PDF生成任务入门Memento-Skills核心机制

视频课

8分56秒

74

打造自己的Skill：描述调优、脚本化与稳定执行

视频课

22分37秒

75

端到端自进化闭环：从能力缺口到Skill改进

视频课

17分18秒

76

每日AI资讯助手：实时抓取、评估与生成日报

视频课

16分50秒

第十一章：153篇大模型RL与Agentic RL论文精讲

77

PPO改进与工程化：从"玄学调参"到"工程科学"

视频课

13分39秒

78

DPO的攻防战：18篇理论修补 + 15篇工程落地

视频课

14分49秒

79

41篇论文读懂GRPO：归一化偏差、熵坍缩、梯度消失

视频课

15分24秒

80

奖励建模与鲁棒性：当 AI 学会作弊，我们怎么训练出靠谱的裁判？

视频课

17分52秒

81

大模型RL训练系统与框架：异步 vs 同步，谁才是RL最优解？

视频课

15分22秒

82

信用分配、奖励稀疏、训练崩塌，多轮Agent RL三大难题全拆解

视频课

18分40秒