[动手写 bert 系列] 解析 bertmodel 的output(last_hidden_state,pooler_output,hidden_state)

4183
20
2022-07-10 11:13:22
112
90
72
5
https://github.com/chunhuizhang/bilibili_vlogs/blob/master/fine_tune/bert/tutorials/05_model_outputs.ipynb https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertModel
现代人工智能,不会过时的概念与原理(黑盒到白盒)。跟AI一起进化,connecting the dots
BERT、T5、GPT
(7/30)
14万播放
简介
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
28:45
[动手写 bert 系列] 02 tokenizer encode_plus, token_type_ids(mlm,nsp)
15:05
[动手写 bert 系列] bert model architecture 模型架构初探(embedding + encoder + pooler)
19:01
[动手写 bert 系列] torch.no_grad() vs. param.requires_grad == False
07:54
[动手写 bert 系列] bert embedding 源码解析,word_embedding/position_embedding/token_type
19:42
[动手写 bert 系列] BertTokenizer subword,wordpiece 如何处理海量数字等长尾单词
11:34
[动手写 bert 系列] 解析 bertmodel 的output(last_hidden_state,pooler_output,hidden_state)
13:34
[动手写Bert系列] bertencoder self attention 计算细节及计算过程
23:35
[动手写bert系列] BertSelfLayer 多头注意力机制(multi head attention)的分块矩阵实现
13:26
[动手写 bert 系列] Bert 中的(add & norm)残差连接与残差模块(residual connections/residual blocks)
12:08
[动手写bert] bert pooler output 与 bert head
13:09
[动手写 bert] masking 机制、bert head 与 BertForMaskedLM
24:55
[bert、t5、gpt] 01 fine tune transformers 文本分类/情感分析
42:42
[[bert、t5、gpt] 02 transformer 架构 scaled dot product self attention(qkv)
36:24
[[bert、t5、gpt] 03 AttentionHead 与 MultiHeadAttention
17:10
[bert、t5、gpt] 04 构建 TransformerEncoderLayer(FFN 与 Layer Norm、skip connection)
17:18
[bert、t5、gpt] 05 构建 TransformerDecoderLayer(FFN 与 Masked MultiHeadAttention)
19:45
[bert、t5、gpt] 06 GPT2 整体介绍(tokenizer,model forward)
31:25
[bert、t5、gpt] 07 GPT2 decoding (greedy search, beam search)
29:44
[bert、t5、gpt] 08 GPT2 sampling (top-k,top-p (nucleus sampling))
21:37
[bert、t5、gpt] 09 T5 整体介绍(t5-11b,T5ForConditionalGeneration)
20:29
[bert、t5、gpt] 10 知识蒸馏(knowledge distill)初步,模型结构及损失函数设计
11:45
[bert、t5、gpt] 11 知识蒸馏(knowledge distill)huggingface trainer pipeline
15:15
[BERT 番外] Sin Position Encoding 的简洁实现(RoPE 基础)
06:13
[GPT 番外] tied/share tensors wte与lm_head(GPT2LMHeadModel)
08:09
[sbert 01] sentence-transformers pipeline
24:01
[sbert 02] sbert 前向及损失函数pooling method计算细节
15:05
[LLM 番外] 自回归语言模型cross entropy loss,及 PPL 评估
09:18
[gpt2 番外] training vs. inference(generate),PPL 计算,交叉熵损失与 ignore_index
17:49
[LLM 原理] 高效推理 Speculative Decoding 投机探测采样
07:39
客服
顶部
赛事库 课堂 2021拜年纪