00:18神经网络语音模型

• Neural Network Language Model： 目的预测下一个词

• 独热编码 one-hot embedding，Q矩阵

03:26Word2Vec

• 目的是为了得到词向量

• 网络结构和NNLM一样

• CBOW Continuous Bag of Words

给出上下文 ，预测目标词

例子：

• Skip-gram

给出词，得到上下文

例子：

10:17对比NNLM

NNLM重点是预测下一个词，模型结构双层MLP

Word2Vec重点是得到Q矩阵，模型结构softmax(wQx+b), 没有激活函数

• CBOW：一个老师告诉多个学生，矩阵怎么训练

• Skip-gram：多个老师告诉一个学生，矩阵怎么训练

19:15Word2Vec缺点

Q矩阵的设计

• 同一个单词，多个含义无法表示：苹果 Apple

• ELMo改进