投稿

【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战

61.7万

2889

2022-07-19 16:00:00

未经作者授权，禁止转载

正在缓冲...

制作不易，大家记得点个关注，一键三连呀【点赞、投币、收藏】感谢支持~ OpenBMB携手清华大学自然语言处理实验室，共同推出《大模型交叉研讨课》，意在为对大模型感兴趣的同学提供相关资源，为大模型领域的探索打下基础。本课程将手把手带领同学从深度学习开始快速了解大模型的相关理论和实践，最后利用所学知识进行前沿问题的探索。

自然语言处理

预训练语言模型

OpenBMB 发消息

OpenBMB（Open Lab for Big Model Base）旨在构建迈向通用人工智能的基础模型和系统。

终于知道大家为什么喜欢用AI了

有问题，问豆包！

1-1 课程内容介绍

01:37

1-2 课程大纲

01:57

1-3 课程计划

03:34

1-4 自然语言处理基础--基础与应用

28:39

1-5 自然语言处理基础--词表示与语言模型

24:41

1-6 大模型基础--大模型之旅

05:33

1-7 大模型基础--大模型背后的范式

02:47

1-8 大模型基础--实例

13:29

1-9 编程环境和GPU服务器介绍

03:31

2-1 课程内容介绍

01:42

2-2 神经网络基础--大纲介绍

01:00

2-3 神经网络的基本组成元素

13:36

2-4 如何训练神经网络

22:07

2-5 词向量：Word2vec

15:32

2-6 循环神经网络（RNN）

10:12

2-7 门控循环单元（GRU）

04:45

2-8 长短期记忆网络（LSTM）

06:32

2-9 双向RNN

02:21

2-10 卷积神经网络（CNN）

08:02

2-11 演示：使用PyTorch训练模型

14:24

3-1 课程内容介绍

00:38

3-2 注意力机制--原理介绍

08:14

3-3 注意力机制--注意力机制的各种变式

00:52

3-4 注意力机制--注意力机制的特点

01:41

3-5 Transformer结构--概述

04:13

3-6 Transformer结构--输入编码（BPE,PE）

08:38

3-7 Transformer结构--Encoder Block

10:36

3-8 Transformer结构--Decoder Block

03:34

3-9 Transformer结构--优化Tricks

00:51

3-10 Transformer结构--试验结果以及可视化

02:17

3-11 Transformer结构--Transformer优缺点

01:54

3-12 预训练语言模型--语言建模概述

05:11

3-13 预训练语言模型--PLM介绍

25:40

3-14 预训练语言模型--MLM任务的应用

04:08

3-15 预训练语言模型--前沿大模型介绍

06:15

3-16 Transformers教程--Introduction

05:44

3-17 Transformers教程--使用Transformers的Pipeline

02:13

3-18 Transformers教程--Tokenization

01:51

3-19 Transformers教程--常用API介绍

01:58

3-20 Transformers教程--Demo讲解

18:34

4-1 课程内容介绍

01:39

4-2 Prompt-Learning和Delta-Tuning--背景和概览

17:22

4-3 Prompt-Learning--基本组成与流程介绍

08:10

4-4 Prompt-Learning--PTM选取

03:17

4-5 Prompt-Learning--Template构造

17:25

4-6 Prompt-Learning--Verbalizer构造

06:02

4-7 Prompt-Learning--训练新范式

10:34

4-8 Prompt-Learning--应用

02:13

4-9 Prompt-Learning--总结

01:31

4-10 Delta-Tuning--背景与介绍

04:54

4-11 Delta-Tuning--增量式tuning

04:39

4-12 Delta-Tuning--指定式tuning

00:50

4-13 Delta-Tuning--重参数化tuning

02:03

4-14 Delta-Tuning--统一tuning框架及理论联系

08:28

4-15 Delta-Tuning--总结

01:50

4-16 OpenPrompt--介绍与用法

16:45

4-17 OpenDelta--介绍与用法

15:35

5-1 课程内容介绍

02:17

5-2 BMTrain--背景介绍

07:57

5-3 BMTrain--Data Parallel (数据并行)

11:26

5-4 BMTrain--Model Parallel（模型并行）

05:07

5-5 BMTrain--ZeRO

10:26

5-6 BMTrain--Pipeline Parallel (流水线并行)

02:10

5-7 BMTrain--混合精度训练

04:04

5-8 BMTrain--Offloading

01:47

5-9 BMTrain--Overlapping

01:24

5-10 BMTrain--Checkpointing

02:35

5-11 BMTrain--使用介绍

01:12

5-12 BMCook--背景介绍

06:03

5-13 BMCook--知识蒸馏

15:39

5-14 BMCook--模型剪枝

14:54

5-15 BMCook--模型量化

05:25

5-16 其它模型压缩方法--Weight Sharing

03:00

5-17 其它模型压缩方法--Low-rank Approximation

03:16

5-18 其它模型压缩方法--Architecture Search (结构搜索)

03:19

5-19 BMCook--使用介绍

06:29

5-20 BMInf--背景介绍

09:04

5-21 BMInf--深入理解Transformer

07:07

5-22 BMInf--Quantization (量化)

06:48

5-23 BMInf--Memory Scheduling

06:41

5-24 BMInf--BMInf使用介绍

05:03

6-1 基于大模型文本理解和生成介绍

05:43

6-2 信息检索--背景

02:13

6-3 信息检索--定义和评测

05:22

6-4 信息检索--传统方法

03:35

6-5 信息检索--神经网络方法（大模型）

05:11

6-6 信息检索--前沿热点

14:21

6-7 机器问答--QA介绍

10:07

6-8 机器问答--阅读理解

11:55

6-9 机器问答--开放域QA

18:51

6-10 文本生成--介绍

01:19

6-11 文本生成--文本生成任务

05:36

6-12 文本生成--神经网络文本生成

26:17

6-13 文本生成--受控文本生成

04:43

6-14 文本生成--文本生成测评

03:15

6-15 文本生成--挑战

06:37

7-1 课程内容介绍安排

00:54

7-2 生物医学自然语言处理介绍

05:58

7-3 生物医学文本挖掘的任务

20:28

7-4 生物医学文本挖掘的PLMs

01:56

7-5 生物医学文本挖掘的知识构建

03:19

7-6 生物医学文本挖掘的应用

05:41

7-7 生物医学辅助诊疗--介绍

01:47

7-8 生物医学辅助诊疗--文本分类

03:54

7-9 生物医学辅助诊疗--对话

25:10

7-10 生物医学辅助诊疗总结

03:08

7-11 生物医学特定物质表征过程

04:08

7-12 生物医学特定物质表征--DNA

07:38

7-13 生物医学特定物质表征--Protein

15:08

7-14 生物医学特定物质表征--Chemicals

13:30

7-15 Project

02:12

7-16 生物医学NLP--未来方向

03:07

8-1 大模型与法律应用Outline

02:57

8-2 背景介绍

08:19

8-3 法律智能应用

19:59

8-4 两条研究路线

02:37

8-5 数据驱动方法

02:12

8-6 法律预训练语言模型

20:40

8-7 知识指导方法

40:28

8-8 法理量化分析

06:05

8-9 法律智能未来方向

03:06

8-10 法律智能未来挑战

03:51

9-1 脑科学及大模型--主题介绍

02:09

9-2 人脑与大模型--背景介绍

08:17

9-3 人脑与大模型--人脑如何构建知识

04:07

9-4 人脑与大模型--语言处理原则

02:14

9-5 人脑与大模型--揭示语言的魔力

14:23

9-6 大模型中的神经元--背景介绍

05:51

9-7 大模型中的神经元--激活情况分析

07:24

9-8 大模型中的神经元--转换模型架构MOE

12:16

9-9 大模型神经元的应用--学到的特定功能

24:15

9-10 大模型神经元的应用--作为迁移指标

16:39

9-11 大模型神经元的应用--表示情感

13:33

9-12 大模型认知能力--介绍

07:54

9-13 大模型认知能力--下游任务实例

14:17

9-14 大模型认知能力--挑战与限制

01:13

9-15 课程总结

02:02

顶部