【西湖大学 张岳老师｜自然语言处理在线课程 第十六章 - 1节】如何处理两个文本和Seq2Seq模型
281
0
2022-11-07 16:46:40
未经作者授权，禁止转载在之前的学习中，我们集中于如何处理一个文本的NLP问题。
在接下来的第十六章中，我们关注于解决“两个文本”的问题，包含：1）一个文本作为输入，一个作为输出，如：机器翻译、文本摘要等任务；2）两个文本同时作为输入，如机器阅读理解等任务。
具体地，本期视频包含：
1）第十六章介绍 00:14；2）利用端到端模型建立两个文本之间的映射 01:20；3）以机器翻译为例，讲解传统机器翻译和神经端到端模型 04:40；4）序列到序列模型在NLP中的应用 06:20；5）编码器-解码器模型 07:40；6）利用LSTM构建Seq2seq模型 08:50。
新单职业专属，散人玩家的打金天堂！
【西湖大学 张岳老师】自然语言处理在线课程
(128/145)
16.1万播放
简介
简介张岳老师是西湖大学工学院文本智能实验室PI（Principal Investigator，特聘研究员），是国内外知名的NLP（Natural Language Processing，自然语言处理）学者。
本系列视频是张岳老师编写的《Natural Language Processing: A Machine Learning Perspective （机器学习视角下的自然语言处理）》一书的对应课程。
课程简介
课程简介
07:49
课程大纲
15:29
自然语言处理及其发展历程简介
07:31
句法分析任务
12:08
语义分析任务
14:16
信息抽取任务
21:06
文本生成任务及其他任务介绍
12:31
机器学习视角下的自然语言处理
11:39
最大似然估算和词概率模型
15:51
概率模型理论总结
10:20
语言模型——一元语言模型（Unigram LM）
12:10
语言模型——二元语言模型（Bigram LM）
11:15
语言模型——三元语言模型和生成模型
17:16
Knessay-Ney Smoothing
10:23
Good-Turing Smoothing
15:08
朴素贝叶斯文本分类
18:14
贝叶斯公式推导
06:12
特征向量和如何将文档映射到向量空间中
12:25
聚类（Clustering）
11:57
文本分类 — 支持向量机（SVM）
16:40
文本分类 —感知机
12:17
多分类问题
11:42
多分类SVM和感知机
11:17
判别式模型和特征
11:46
判别、生成与线性模型讨论
10:02
可分性、泛化性以及线性不可分问题
17:23
对数线性模型
11:13
对数线性模型的训练
20:31
多分类对数线性模型训练
11:22
对数线性模型小结
08:46
利用SGD的SVM训练
09:28
SVM与感知机模型
09:16
判别式分类模型总结
15:50
多模型的比较和融合
14:27
多模型堆叠讨论
09:44
自然语言处理中的信息论
13:21
最大熵模型
16:31
KL散度，交叉熵与困惑度
19:12
互信息（Mutual information）
11:28
点互信息
11:42
词向量表示
12:21
隐变量（Hidden variables）
19:56
期望最大算法（Hard EM）
07:14
正式期望最大算法
10:56
EM算法的应用-无监督的朴素贝叶斯
13:32
EM算法的应用-IBM Model 1
22:40
EM算法的应用-概率潜在语义分析
20:24
EM算法的推导
20:22
序列标注
13:54
隐马尔可夫模型
13:47
隐马尔可夫模型的解码
28:51
计算边缘概率
22:10
无监督的HMM
32:40
Precision, Recall 和 F1-score
16:04
判别式序列标注
07:13
局部的判别式序列标注模型
18:45
最大熵马尔可夫模型的解码
12:34
标签偏置问题
11:03
条件随机场（Conditional Random Field，CRF）
15:07
CRF解码问题
13:04
CRF对边缘概率的计算
19:36
CRF的训练
26:27
用于结构预测问题的感知机模型
18:26
用于结构预测问题的SVM模型
24:33
序列切分问题
13:17
序列切分问题的序列标注方法
32:26
对序列切分任务直接建模
21:54
序列切分中的解码问题
23:23
半马尔科夫条件随机场
22:55
半马尔科夫条件随机场的训练
17:41
最大边缘模型（Large Margin Models）
09:16
感知机模型和柱搜索
17:18
柱搜索和感知机模型的训练
12:39
树状结构的预测问题
16:47
概率上下文无关文法
14:19
CKY解码
26:18
成分句法分析器的评估
12:51
计算PCFG的边缘概率
25:24
词汇化的（Lexicalized）PCFG模型
16:41
用于成分句法分析的判别式线性模型
11:57
训练用于成分句法分析的判别式线性模型
15:37
重排序（Re-ranking）
19:44
树状结构预测问题总结
04:49
基于转移（Transition-based）的结构预测问题
17:24
局部贪心算法（Greedy local method）
22:54
基于转移的全局建模方法
16:32
基于转移的成分句法分析
17:25
基于转移的依存句法分析（Arc-Standard）
13:52
基于转移的依存句法分析（Arc-Eager）
06:58
非投射的依存句法分析（Non-projective）
06:19
基于转移的联合模型
09:48
基于转移的联合模型（分词、词性标注和依存句法分析）
11:51
贝叶斯网络（Bayesian Network）
20:59
贝叶斯网络的训练和最大似然估算
17:19
最大后验的训练方式（Maximum a Posteriori）
15:57
共轭先验（Conjugate Priors）
13:40
贝叶斯估算（Bayesian Estimation）
10:56
贝叶斯一元语言模型（Bayesian Unigram LM）
21:52
模型推断（Inference）
23:41
LDA主题模型
39:41
贝叶斯IBM Model 1
14:35
深度学习介绍及多层感知机模型
14:16
使用多层感知机（MLP）进行文本分类
19:09
多层感知机（MLP）的训练
12:59
MLP的训练—反向传播（Back-propagation）和推导
25:41
基于神经网络的文本分类器
12:41
序列编码 （Sequence Encoding）— 池化和卷积
15:37
神经网络的输出层和模型训练
08:03
如何更好地训练神经网络
13:01
改进SGD来更好地训练神经网络
09:51
表示学习（Representation Learning）
15:31
循环神经网络（Recurrent Neural Network, RNN）
14:19
长短期记忆网络（Long-Short Term Memory，LSTM）
15:32
LSTM 的扩展、简化和堆叠，和注意力机制（Attention）
23:18
QKV Attention 和自注意力网络（Self Attention Network）
16:37
树状结构的表示（Representing Trees）及树状LSTM
26:16
图的表示（Representing Graphs）和图神经网络（GNN）
23:46
神经网络隐藏层表示的分析
07:13
神经网络的训练技巧
16:30
神经结构预测问题（Neural Structured Prediction）
12:03
神经序列标注（Neural Sequence Labelling）
12:18
神经依存句法分析（Neural Dependency Parsing）
17:14
神经成分句法分析（Neural Constituency Parsing）
12:58
局部的基于转移的模型（Local Transition-based Models）和模型1
12:04
局部的基于转移的模型2和模型3
17:02
全局的结构模型（Global Structured Models）
35:28
全局模型与基于转移的神经网络模型的结合
12:36
如何处理两个文本和Seq2Seq模型
24:11
使用注意力机制的LSTM序列到序列模型
16:56
如何从源端拷贝文本
12:03
BPE（Byte-Pair Encoding）编码
15:28
Transformer
27:17
文本匹配（Text Matching）
09:26
基于Attention的文本匹配模型
21:08
非对称的文本匹配
11:23
多步推理任务和记忆网络（Memory Network）
18:21
迁移学习和预训练（Pretraining）
10:52
Noise Contrastive Estimation
23:53
从结构上优化预训练语言模型
06:22
预训练词嵌入表示
09:44
GolVe词嵌入
06:55
词嵌入的评估
12:14
词嵌入模型中的OOV问题
12:07
ELMo，GPT，BERT和BART
21:50
迁移学习（Transfer Learning）
15:30
顶部