ICLR2022 - 董力 - BEiT: BERT Pre-Training of Image Transformers
正在缓冲...
作者已在ReadPaper上回答好了论文十问
https://readpaper.com/paper/3170863103?channel=bili_iclr2022
ICLR 2022线上分享会最后一场的嘉宾是微软亚洲研究院自然语言处理组研究员董力
他带来的论文是
BEiT: BERT Pre-Training of Image Transformers
以下是论文简介：
近年来，大规模自监督预训练在自然语言领域率先取得了突破性进展，带来了全新的“预训练-微调”范式。在GPT、BERT等一系列 “出圈” 工作中，生成式自监督占绝对优势。但在计算机视觉领域，大多数工作沿着对比学习的思路进行推进，而生成式自监督预训练一直没有得到应有的重视。基于这个观察，我们提出了BEiT自监督模型，使用掩码图像建模 (Masked Image Modeling) 这一任务，对Vision Transformers进行预训练。BEiT首次验证了生成式预训练可以取得比对比学习更好的微调结果，并在图像分类以及语义分割上取得了优异结果。更重要的是，通过摆脱对监督式预训练的依赖，BEiT可以高效使用无标注图片将Vision Transformers扩展到巨大的模型规模。相信BEiT在视觉领域所引发的“生成式自监督复兴”，会加速领域到达“the BERT moment of CV”。
ReadPaper是沈向洋老师创办的IDEA研究院研发的论文阅读产品，欢迎登陆readpaper.com，快乐读论文。
ICLR 2022线上分享会
（10/10）
自动连播
4.7万播放
简介
订阅合集
何俊贤 Towards a Unified View of Parameter-Efficient Transfer Learning
51:20
金汶功 Iterative Refinement Graph Neural Network for Antibody……
01:04:09
孟强 Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters
48:41
林森 TRGP: 基于信任区域梯度投影的持续学习方法
48:04
陈骁宇 Understanding Domain Randomization for Sim-to-real Transfer
47:34
金庆 定八网络：仅需八位定点数乘法的网络量化方法
53:28
吴海旭 基于关联差异的时序异常检测算法
40:58
吴梓阳 杨承润 How Low Can We Go: Trading Memory for Error in Low-Precision training
54:05
王子丰 PAC-Bayes Information Bottleneck
49:15
董力 BEiT: BERT Pre-Training of Image Transformers
01:18:02
顶部