【2026版】多模态大模型前沿算法与实战应用_哔哩哔哩

多模态大模型：图文与视频理解

全集试看

本系列课程持续更新中，欢迎加入学习～

视频课

1分20秒

前沿专题｜2025–2026 多模态 VLM 前沿技术主线

2

部分试看

旗舰 VLM 技术报告怎么看？架构、数据、训练与评测全景

视频课

13分13秒

3

视觉编码器：SigLIP、DINOv2与Encoder-Free

视频课

12分18秒

4

视觉Tokenizer与细粒度对齐：从信息容量到视觉语义对齐

视频课

12分

5

多模态推理新范式：GRPO、视觉一致性奖励与交错图文CoT

视频课

13分17秒

6

视频MLLM三件套：时空架构、流式理解与视频RL

视频课

13分

7

多模态RAG：多源、多粒度检索与长上下文协同

视频课

15分17秒

第一章多模态大模型前沿技术综述

8

多模态AI简介

视频课

9分19秒

9

通用多模态架构核心组件及其实现方式解析

视频课

10分49秒

10

领域多模态架构及其视觉编码器和投影器详解

视频课

23分2秒

11

领域多模态MoE、Mamba与统一框架：高效多模态方案

视频课

15分52秒

12

从预训练到微调：数据在多模态模型中的全周期应用

视频课

16分34秒

13

前沿多模态微调技术：PEFT与RLHF技术解析

视频课

19分33秒

14

多模态评估方法详解

视频课

20分48秒

15

多模态幻觉：数据、模型与训练深入探讨

视频课

24分25秒

16

多模态模型应用场景分析

视频课

15分5秒

第二章多模态视觉编码器经典路线深度解析

17

CLIP 视觉编码器原理：图文对比学习与零样本分类机制

视频课

22分47秒

18

EVA系列视觉编码器：从MIM预训练到EVA-CLIP规模化扩展

视频课

21分27秒

第三章多模态投影器系列算法核心解析

19

投影器TokenPacker算法原理深入讲解

视频课

25分15秒

20

投影器Matryoshka算法原理深入讲解

视频课

23分3秒

第四章 LLaVA多模态系列算法实战解析

21

LLaVA系列学习指南与课程内容速览

视频课

20分

22

LLaVA简介与视觉指令数据生成的原理

视频课

8分35秒

23

LLaVA基于视觉指令数据进行模型微调的原理

视频课

13分32秒

24

LLaVA 1.5探索视觉指令微调与高分辨率扩展

视频课

19分24秒

25

LLaVA 1.6从高分辨率输入到高效部署

视频课

8分57秒

26

LLaVA-NeXT Stronger更强的LLM与评估集

视频课

9分9秒

27

LLaVA-NeXT全面的消融研究与综合分析

视频课

23分27秒

28

LLaVA-NeXT-Interleave核心原理与架构解析

视频课

16分34秒

第五章实战项目1：LLaVA多模态模型全流程实战

29

LLaVA环境配置与模型下载

视频课

13分46秒

30

LLaVA在五种场景下的模型部署与推理

视频课

25分18秒

31

基于Transformers进行LLaVA案例实践

视频课

19分14秒

32

Transformers框架下LLaVA推理核心源码解析

视频课

20分44秒

33

使用LMDeploy部署模型并访问API服务

视频课

11分7秒

34

基于LMDeploy的Pipeline接口进行推理

视频课

12分5秒

35

基于自定数据集进行LLaVA模型预训练实战

视频课

25分28秒

36

基于LoRA和QLoRA进行LLaVA模型微调

视频课

19分

37

基于合并的模型进行服务部署

视频课

5分27秒

38

在常见基准和LLaVA-Bench上进行LLaVA模型评测

视频课

24分5秒

39

LLaVA推理核心源码Debug深入讲解(上)

视频课

20分16秒

40

LLaVA推理核心源码Debug深入讲解(中)

视频课

17分37秒

41

LLaVA推理核心源码Debug深入讲解(下)

视频课

19分41秒

42

LLaVA模型LoRA微调核心源码Debug深入讲解

视频课

23分48秒

第六章实战项目2：LLaVA-NeXT 多模态核心技术实战

43

LLaVA-NeXT 环境配置模型下载模型推理实践

视频课

13分19秒

44

LLaVA-NeXT 模型推理核心代码Debug深入讲解

视频课

30分54秒

45

基于SGLang框架进行API模型服务部署与推理

视频课

14分13秒

46

基于SGLang模型部署以及异步和同步并发请求测试

视频课

13分38秒

47

基于SGLang Runtime加载模型并进行推理

视频课

10分39秒

48

基于Gradio进行多模态问答交互与核心源码深入讲解(上)

视频课

22分50秒

49

基于Gradio进行多模态问答交互与核心源码深入讲解(下)

视频课

21分24秒

50

LLaVA-NeXT-Interleave-Bench评估实践

视频课

14分16秒

51

Interleave-Bench 模型评估核心源码深入讲解(上)

视频课

21分43秒

52

Interleave-Bench 模型评估核心源码深入讲解(下)

视频课

10分3秒

第七章阿里多模态系列核心技术与算法解析

53

阿里多模态项目学前导览

视频课

8分14秒

54

多模态mPLUG算法原理剖析(上)

视频课

14分24秒

55

多模态mPLUG算法原理剖析(下)

视频课

14分46秒

56

多模态 mPLUG-2 算法原理剖析

视频课

21分55秒

57

多模态 mPLUG-Owl 核心算法原理剖析

视频课

11分6秒

58

多模态 mPLUG-Owl-2 核心算法原理剖析

视频课

14分31秒

59

多模态 Qwen-VL 核心算法原理剖析

视频课

24分44秒

60

多模态 UReader 核心算法原理剖析

视频课

21分1秒

61

多模态 mPLUG-DocOwl 核心算法原理剖析

视频课

6分22秒

62

多模态 mPLUG-DocOwl-1.5核心算法原理剖析

视频课

17分18秒

63

多模态 mPLUG-PaperOwl 核心算法原理剖析

视频课

12分17秒

64

多模态 mPLUG-TinyChart 核心算法原理剖析

视频课

10分7秒

第八章实战项目3：Qwen-VL项目全流程实战

65

通义千问 Qwen-VL 项目实战简介

视频课

7分11秒

66

项目环境配置与模型下载

视频课

11分52秒

67

基于Transformers框架进行模型推理

视频课

11分24秒

68

基于Gradio进行Web QA交互

视频课

9分40秒

69

Qwen-VL 模型推理核心源码进行讲解(上)

视频课

16分48秒

70

Qwen-VL 模型推理核心源码进行讲解(下)

视频课

15分46秒

71

适配OpenAI API接口启动API服务并测试

视频课

14分56秒

72

使用LMDeploy CLI启动API服务并实现访问

视频课

12分33秒

73

LMDeploy使用Docker部署模型API服务

视频课

10分2秒

74

基于QPS比较Transformers和LMDeploy部署方案

视频课

22分51秒

75

Qwen-VL 多模态模型微调实战(上)

视频课

15分53秒

76

Qwen-VL 多模态模型微调实战(下)

视频课

14分18秒

77

Qwen-VL 模型微调核心源码讲解

视频课

26分2秒

78

Qwen-VL 模型在多个基准数据集上进行评估实战

视频课

20分13秒

79

Qwen-VL 模型评估核心源码讲解(上)

视频课

24分30秒

80

Qwen-VL模型评估核心源码讲解(下)

视频课

27分29秒

第九章 IXC多模态技术原理与深度剖析

81

XComposer 学前导览

视频课

3分51秒

82

XComposer-1.0算法深度剖析与原理讲解

视频课

16分18秒

83

XComposer 2.0 算法进阶解析与核心原理

视频课

15分2秒

84

XComposer 2.0 4KHD 算法原理深入讲解

视频课

15分2秒

85

4KHD高清图像动态分割算法的Python实现

视频课

13分3秒

86

XComposer 2.5 新版算法原理详解

视频课

12分47秒

第十章实战项目4：IXC多模态项目深度实战演练

87

IXC项目简介与环境配置：模型下载指南

视频课

9分41秒

88

使用Transformers实现多模态模型推理

视频课

12分37秒

89

通过Gradio构建多模态Web交互问答系统

视频课

9分6秒

90

深入解析推理核心源码(上)

视频课

14分52秒

91

深入解析推理核心源码(下)

视频课

17分55秒

92

利用LMDeploy pipeline实现四种场景下的模型推理

视频课

14分13秒

93

使用OpenAI集成VLM服务并进行API服务测试

视频课

10分5秒

94

基于LMDeploy和Docker容器化部署模型并测试API服务

视频课

10分33秒

95

通过LMDeploy加载4-bit量化模型进行推理

视频课

7分52秒

96

调用OpenAI API生成自定义多模态数据集(上)

视频课

11分12秒

97

调用OpenAI API生成自定义多模态数据集(中)

视频课

10分47秒

98

调用OpenAI API生成自定义多模态数据集(下)

视频课

11分24秒

99

使用自定义数据集进行多模态模型LoRA微调实战

视频课

9分2秒

100

将LoRA权重与原模型合并后进行服务部署并测试

视频课

10分3秒

101

XComposer核心源码Debug深入剖析（第一部分）

视频课

19分31秒

102

XComposer核心源码Debug深入剖析（第二部分）

视频课

24分14秒

103

XComposer核心源码Debug深入剖析（第三部分）

视频课

11分22秒

104

XComposer核心源码Debug深入剖析（第四部分）

视频课

26分34秒

第十一章实战项目5 : 长视频理解 TimeSearch-R

105

TimeSearch-R : 自适应时序搜索 + 自验证强化学习

视频课

18分16秒

106

TimeSearch-R 本地推理 + 检索服务部署全流程

视频课

30分37秒

107

端到端训练实战（上）：SFT打底+GRPO-CSV强化学习进阶

视频课

16分33秒

108

端到端训练实战（下）：SFT打底+GRPO-CSV强化学习进阶

视频课

8分42秒

第十二章阿里 Qwen3-VL 原理详解与项目实战

109

Qwen3-VL：突破多模态长上下文与视觉推理的架构革新

视频课

9分24秒

110

RoPE 原理概述与频谱偏见

视频课

9分50秒

111

深入理解交错式 MRoPE 位置编码策略

视频课

15分36秒

112

DeepStack 从浅层到深层的视觉特征融合

视频课

9分27秒

113

基于文本的显示时间戳

视频课

5分46秒

114

视觉 System 2 慢思考

视频课

8分58秒

115

Qwen3-VL 项目概览、架构与 Web 服务 Docker

视频课

11分40秒

116

Qwen3-VL环境配置+Transformers/vLLM推理

视频课

13分29秒

117

Qwen3-VL 微调数据集准备

视频课

9分58秒

118

Qwen3-VL 微调训练与模型评估实战

视频课

14分55秒