Transformer模块缝合教程重置版，替换自注意力和FFN层【深度学习】

1.2万

2024-05-30 23:06:17

未经作者授权，禁止转载

大家好！上一期视频主要介绍了U-Net如何"缝合"，这期视频介绍一下ViT，ViT主要就是改进两个地方，一个是自注意力，还有一个就是FFN，FFN之前已经出过一期视频，有兴趣的小伙伴可以去看看，替换卷积等常规操作看上一期视频就够了，不需要重新学习。在这个视频中，我将以一个简单的ViT作为例子，ViT的结构为编码器+分类头，我将演示如何替换其中的自注意力机制以及FFN层，也就是MLP，还有就是在原结构上进行更改，就是照着这个论文的图来改结构，本期视频演示了一下如何替换transformer中的自注意力机制，我在这里总结一下，就是要找到自己代码的自注意力部分，看看它实例化和前向传播中的代码，更改这两个部分即可。接下来，我将演示如何替换FFN层，用我之前出过那期视频的FFN来替换这个简单ViT的FFN层，在改的过程确实会遇到很多错误，在这里我推荐大家把报错信息复制下来，粘贴给gpt，提高效率。最后，我们把这个LPI模块放在自注意力和FFN之间，就像图里那个样子。本期视频依然没有配音，但有文字说明，希望大家可以看懂我在干什么，本期视频的代码等相关资料已同步更新在网盘群中，感谢您的观看！

研究生