投稿

ECCV 2020论文 | 解耦自注意模型

2254

10

2020-09-11 12:33:24

未经作者授权，禁止转载

最近几年，自注意模型被广泛应用于各种自然语言处理和计算机视觉任务中。在计算机视觉应用中，自注意模型经常观察到退化的现象，本论文提出了解耦自注意模型，有效避免了这一退化现象，并证明在多种视觉识别任务中广泛有效，包括语义分割、物体检测、动作识别等。

计算机视觉

微软亚洲研究院

微软科技发消息

大家好我是田老师，田字间不定期开课，定期抽奖。

2023 CVPR论文分享会 | 微软“最强大脑”直击计算机视觉技术新方向

26:55

2023 CVPR论文分享会|Session1：Visual Generation - 主持人陈栋

00:28

2023 CVPR论文分享会|Session1：Visual Generation - 董晶

07:38

2023 CVPR论文分享会|Session1：Visual Generation - 杨欢

15:52

2023 CVPR论文分享会|Session1：Visual Generation - 张直政

11:28

2023 CVPR论文分享会|Session1：Visual Generation - 张博

13:44

2023 CVPR论文分享会|Session1：Visual Generation - Panel

29:49

2023 CVPR论文分享会|Session2：Visual Foundation Model - 主持人罗翀

00:55

2023 CVPR论文分享会|Session2：Visual Foundation Model - 王奕森

13:04

2023 CVPR论文分享会|Session2：Visual Foundation Model - 张松阳

09:51

2023 CVPR论文分享会|Session2：Visual Foundation Model - 鲍建敏

07:36

2023 CVPR论文分享会|Session2：Visual Foundation Model - 刘蓓

09:49

2023 CVPR论文分享会|Session2：Visual Foundation Model - 高鹏

09:01

2023 CVPR论文分享会|Session2：Visual Foundation Model - 金一

11:09

2023 CVPR论文分享会|Session2：Visual Foundation Model - Panel

43:56

2023 CVPR论文分享会|Session3：Visual+X - 主持人田智强

00:29

2023 CVPR论文分享会|Session3：Visual+X - 潘滢炜

09:04

2023 CVPR论文分享会|Session3：Visual+X - 陈立

09:58

2023 CVPR论文分享会|Session3：Visual+X - 薛万利

09:18

2023 CVPR论文分享会|Session3：Visual+X - 唐彦嵩

09:59

2023 CVPR论文分享会|Session3：Visual+X - 魏芳芸

09:36

2023 CVPR论文分享会|Session3：Visual+X - Panel

41:43

2023 CVPR论文分享会|Poster 分享

57:27

2023 CVPR论文分享会|Keynote：简约性和自洽性原则：从人工智能到自主智能

01:03:08

2022 CVPR论文分享会 - 基于轨迹Transformer的视频超分辨率网络

11:29

2022 CVPR论文分享会 - 基于VQ-Diffusion的文本到图像合成

14:06

2022 CVPR论文分享会 - GRAM: 基于神经辐射流形的三维可控图像生成

16:20

2022 CVPR论文分享会 - HD-VILA：大规模高清视频和语言预训练

12:22

2022 CVPR论文分享会 - SimMIM: 一种简单的掩码图像建模预训练方法

11:28

2022 CVPR论文分享会 - Swin Transformer V2: 扩展模型容量和分辨率

09:39

2022 CVPR论文分享会 - CSWin Transformer: 基于十字窗口的通用视觉Transformer骨干网络

08:34

2021 CVPR 论文分享会|Panel Discussion：与学术新星畅谈计算机视觉科研之"路"

01:36:01

2021 CVPR 论文分享会|Session1:图像生成

01:03:12

2021 CVPR 论文分享会|Session2：图像处理

34:45

2021 CVPR 论文分享会|Session3：底层视觉

59:37

2021 CVPR 论文分享会|Session4:机器学习及多模态

01:18:55

2021 CVPR 论文分享会|Session5:目标检测、跟踪和姿态估计

01:21:56

2021 CVPR 论文分享会|Session6:3D视觉

55:59

2020 CVPR 论文分享会|欢迎演讲

15:30

2020 CVPR 论文分享会|Panel Discussion：顶会主席谈视觉研究那些事

54:02

2020 CVPR 论文分享会|Session1：检测

01:14:10

2020 CVPR 论文分享会|Session2：机器学习

01:41:23

2020 CVPR 论文分享会|Session3：多模态

02:04:42

2020 CVPR 论文分享会|Session4：底层视觉

01:46:10

2020 CVPR 论文分享会|Session5：图像生成

01:27:02

CVPR 论文分享丨基于金字塔式注意力机制的图像修复技术

29:36

Ada Workshop 2023 主题报告：做科研路上的“背包客”（张燕咏）

33:22

Ada Workshop 2023 主题报告：好奇心不应该杀死猫（缪瑾）

26:43

Ada Workshop 2023 主题报告：Hello World 我的冒险之旅（Sindhura Sunkara）

33:33

Ada Workshop 2023 主题报告：以复原力应对变化：跨越、探索并走向成功（王希廷）

26:09

Ada Workshop 2023 主题报告：Girls Can Do Anything：从农民到云计算专家创业之路（李倩）

19:54

Ada Workshop 2023 技术远见讲座系列：机器学习如何帮助解决医疗健康场景中存在的问题（骆煦芳）

06:22

Ada Workshop 2023 技术远见讲座系列：System for AI & AI for System（程文雪）

07:24

Ada Workshop 2023 技术远见讲座系列：人工智能驱动科学研究（邓攀）

09:20

Ada Workshop 2023 技术远见讲座系列：AI + Design：理性与感性的碰撞（黄丹青）

06:12

Ada Workshop 2023 技术远见讲座系列：从互联网数据到具身环境的多模态学习（刘蓓）

06:25

Ada Workshop 2023 技术远见讲座系列：实时通信的多媒体基础模型（王婧璐）

07:49

Ada Workshop 2023 技术远见讲座系列：通用大模型响应真实世界场景的机遇与挑战（吴文珊）

10:05

Ada Workshop 2023 “妳的时刻”特别分享

20:12

Ada Workshop 2022 开场致辞：张冬梅

10:56

Ada Workshop 2022 主题演讲：北京大学金芝教授

27:32

Ada Workshop 2022 主题演讲：龚文君

22:02

Ada Workshop 2022 主题报告：王岭

32:53

Ada Workshop 2022 圆桌论坛：她力量，耀前行

56:22

Ada Workshop 2022 Researcher专场分享：张婷

13:32

Ada Workshop 2022 Researcher专场分享：邓攀

15:43

Ada Workshop 2022 Researcher专场分享：陈琪

12:09

Ada Workshop 2022 Researcher专场分享：Panel及Q&A

36:00

Ada Workshop 2022 Enginneer&PM专场分享：Panel及Q&A

43:22

Ada Workshop 2022 Enginneer&PM专场分享：边冠琳

13:31

Ada Workshop 2022 Enginneer&PM专场分享：吴清华

12:38

Ada Workshop 2022 Enginneer&PM专场分享：崔洁

16:03

Ada Workshop 2022 微软校招：女学生职业发展机会分享

51:18

Ada Workshop 2022 Ada Moment

25:55

“计算之美”之 Ada Workshop 2021 | 王程一杨洋丁小欧学生代表分享

20:31

“计算之美”之 Ada Workshop 2021 | 王莹《漫画式科研梦想：做开源世界的“神奇女侠”》

17:39

“计算之美”之 Ada Workshop 2021 | 梁霄《一名普通中学教师的日常》

26:35

“计算之美”之 Ada Workshop 2021 | 史元春《欣新向荣——兼谈人机交互研究》

37:56

“计算之美”之 Ada Workshop 2021 | 梁戈碧《颠覆自我，构建成长型思维》

21:40

微软亚洲研究院理论中心前沿系列讲座第一期 Unveiling Transformers With LEGO

54:40

微软亚洲研究院理论中心前沿系列讲座第二期 Toward Understanding Self-Supervised Pre-Training

01:18:06

微软亚洲研究院理论中心前沿系列讲座第三期 Local Elasticity of NN and Its Inspired Theory

56:43

微软亚洲研究院理论中心前沿系列讲座第四期 On the (Non)smoothness of Neural Network Training

58:44

微软亚洲研究院理论中心前沿系列讲座第五期 What Should a Good Deep Neural Network Look Like?

01:07:36

微软亚洲研究院理论中心前沿系列讲座第七期 Reward-free RL via Sample-Efficient Representation Learning

01:07:54

微软亚洲研究院理论中心前沿系列讲座第八期 Passive and Active Multi-Task Representation Learning

01:06:46

微软亚洲研究院理论中心前沿系列讲座第九期 Modeling Multiagent Game Dynamics

01:14:35

2023机器学习基础和基础模型研讨会-How Does Sharpness-Aware Minimization Minimize Sharpness?

19:13

2023机器学习基础和基础模型研讨会-Condensation in deep learning

20:52

2023机器学习基础和基础模型研讨会-Benign Overfitting in Two-layer Convolutional Neural Networks

15:11

机器学习基础和基础模型研讨会-Contrastive Learning Is Spectral Clustering On Similarity Graph

21:56

机器学习基础和基础模型研讨会-Beyond neural scaling laws: towards data efficient deep learning

23:58

2023机器学习基础和基础模型研讨会-Analysis of a toy case for emergence

24:55

2023机器学习基础和基础模型研讨会-Flow Straight and Fast: A Simple and Unified Approach

20:14

2023机器学习基础和基础模型研讨会-Variational Principles for Mirror Descent and Mirror Langevin

21:22

2023机器学习基础和基础模型研讨会-Adapting to Distribution Shifts

20:00

2023机器学习基础和基础模型研讨会-Why Can GPT Learn In-Context?

15:28

2023机器学习基础和基础模型研讨会-Faster Neural Network Training, Algorithmically

19:23

机器学习基础和基础模型研讨会-Which Graph Neural Network can Provably Solve Practical Problems?

20:46

2023机器学习基础和基础模型研讨会-Environment Invariant Linear Least Squares

16:24

2023机器学习基础和基础模型研讨会-Bayesian Interpolation with Deep Linear Networks

19:28

微软亚洲研究院理论中心前沿系列讲座第十期 Understanding Adam and AdamW

01:22:54

微软亚洲研究院ICML 2023论文分享

01:17:11

在微软亚洲研究院科研、工作、成长是一种怎样的体验？

04:28

【ICLR 2023论文分享】探索差分隐私深度学习的极限

21:07

【ICLR 2023论文分享】T-GNNExplainer：时序图上的解释器

16:38

【ICLR 2023论文分享】DIVERSIFY：针对动态数据分布的OOD表征学习新范式

19:17

【ICLR 2023论文分享】SIMPLE：针对领域泛化问题的无需微调预训练模型匹配算法

18:15

【ICLR 2023论文分享】基于推理阶段自适应优化的语言模型统一去毒去偏

19:50

【ICLR 2023论文分享】适配任意密集预测任务的通用小样本学习器

19:23

微软CTO对话比尔·盖茨：GPT-4与人工智能的未来

55:49

【AAAI 2023论文分享】基于因果的组合在线学习

14:33

【AAAI 2023论文分享】用于多变量时间序列建模的空间关系分解

23:36

【AAAI 2023论文分享】主动Token融合算子

13:38

【AAAI 2023论文分享】针对从离线到在线强化学习的自适应策略学习

19:43

2022微软亚洲研究院数据驱动的优化方法研讨会报告一：Joint Pricing and Inventory Management

34:02

2022微软亚洲研究院数据驱动的优化方法研讨会报告十三：Optimization from Structured Samples

32:34

2022微软亚洲研究院数据驱动的优化方法研讨会报告九：Machine Learning for Combinatorial Optimization

36:34

2022微软亚洲研究院数据驱动的优化方法研讨会报告六：Thompson Sampling in Combinatorial Bandits

24:37

2022微软亚洲研究院数据驱动的优化方法研讨会报告七：Deep Reinforcement Learning in Supply Chain

29:28

2022微软亚洲研究院数据驱动的优化方法研讨会报告三：Inverse Game Theory for Stackelberg Games

32:22

2022微软亚洲研究院数据驱动的优化方法研讨会报告五：Combinatorial Pure Exploration

28:53

2022微软亚洲研究院数据驱动的优化方法研讨会报告十Reinforcement Learning for Traveling Salesman Problem

30:07

2022微软亚洲研究院数据驱动的优化方法研讨会报告十二：Online Facility Location with Predictions

29:07

2022微软亚洲研究院数据驱动的优化方法研讨会报告四：Heavy-Tailed Multi-Armed Bandits

30:03

2022微软亚洲研究院数据驱动的优化方法研讨会报告二：Efficient Machine Learning at the Edge in Parallel

31:52

2022微软亚洲研究院数据驱动的优化方法研讨会报告十一：Oblivious Online Contention Resolution Schemes

30:11

2022微软亚洲研究院数据驱动的优化方法研讨会报告八：Machine learning assisted hyper-heuristics

27:56

NeurIPS 2022 | Museformer 结合粗细粒度注意力机制的音乐生成模型

22:19

NeurIPS 2022 | 面向多任务分组学习的元学习框架

18:15

NeurIPS 2022 | 周边视觉注意力网络

13:30

NeurIPS 2022 | 基于多模态时序对比学习的长视频-语言预训练

16:24

NeurIPS 2022 | 基于逻辑规则推理的自可解释深度学习框架

17:51

NeurIPS 2022 | 稳定的神经元响应会提升模型泛化性能

19:09

AAAI 2022论文分享会Part4

01:07:16

AAAI 2022论文分享会Part2

01:08:57

AAAI 2022论文分享会Part3

49:00

AAAI 2022 论文分享会Part1

57:44

2021微软亚洲研究院理论学术研讨会精彩回顾

00:52

微软研究峰会2021 | 讲座：碳中和创新研究合作伙伴

01:20:51

微软研究峰会2021 | 讲座：人工智能在医疗领域的研究与应用

18:40

微软研究峰会2021 | 讲座：人工智能揭开基因调控的秘密

18:34

微软研究峰会2021 | 讲座：NUWA: 基于多模态预训练的视觉内容生成

23:23

微软研究峰会2021 | 讲座：人工智能在药物发现中的应用

17:37

微软研究峰会2021 | 讲座：大规模自监督预训练：从语言到视觉

24:51

微软研究峰会2021 | 讲座：深度强化学习在行业中的应用

21:42

微软研究峰会2021 | 圆桌讨论：因果关系的挑战与机遇

46:24

微软研究峰会2021 | 讲座：面向推荐任务具备注意力机制的知识感知图神经网络

08:17

微软研究峰会2021 | 讲座：An intelligent data-driven paradigm towards cloud reliability

20:36

微软研究峰会2021 | 圆桌讨论：微软的因果机器学习研究探讨

25:28

微软研究峰会2021 | 讲座：SPTAG++: 毫秒量级千亿超大规模向量搜索解决方案

10:10

微软研究峰会2021 | 讲座：基于大规模运维数据的云原生软件多维度分析

19:02

微软研究峰会2021 | 圆桌讨论：学术界和产业界的云智能/智能运维

48:02

微软研究峰会2021 | 讲座：泛化与自适应

29:55

微软研究峰会2021 | 结束致辞：云网络的未来

02:09

微软研究峰会2021 | 结束致辞：趋向于类人的视觉学习与推理

02:14

微软研究峰会2021 | 开场致辞：趋向于类人的视觉学习与推理

03:25

微软研究峰会2021 | 圆桌讨论：Networking meets cloud & edge applications

17:03

微软研究峰会2021 | 圆桌讨论：碳中和前沿技术与创新解决方案

51:46

微软研究峰会2021 | 主题演讲：ReduNet: 用于优化速率降低目标的深度卷积神经网络ReduNet

27:49

微软研究峰会2021 | 讲座：可解释性学习

28:47

微软研究峰会2021 | 讲座：因果学习：因果关系发现与分布外泛化

04:32

微软研究峰会2021 | 圆桌讨论：未来十年的计算机视觉：更深还是更广？

51:47

微软研究峰会2021 | 讲座：小样本、零样本视觉学习与推理

29:33

微软研究峰会2021 | 主题演讲：云智能：云系统的智能运维

23:43

微软研究峰会2021 | 对话Satya Nadella：新的系统架构、大规模AI模型、人机界面或将迎来大突破

20:30

微软研究峰会 2021 | Peter Lee：从“无用知识的有用性”看科学研究背后的永恒原则

23:19

NeurIPS 2021 论文分享会 Part2

01:16:10

NeurIPS 2021 论文分享会 Part3

01:21:43

NeurIPS 2021 论文分享会 Part1

01:45:18

ICCV 2021 论文分享

02:08:49

开源系列讲座 | nn-Meter：可高效、准确地预测模型推理时间的系统

01:04:25

Visual Question Answering and Reasoning over Vision and Language

59:03

Three Explorations on Pre-Training：an Analysis, an Approach, and an Architecture

01:27:38

Tightly Connecting Vision and Language

01:07:39

Zero-Shot Detection via Vision and Language Knowledge Distillation

01:09:38

Learning from Unlabeled Videos for Recognition, Prediction, and Control

01:23:19

Learning Commonsense Understanding through Language and Vision

01:00:43

Scaling Up Visual and V-L Representation Learning With Noisy Text Supervision

57:53

Grounded Visual Generation

58:28

MDETR: Modulated Detection for End-to-End Multi-Modal Understanding

01:13:28

A Truly Unbiased Model

01:43:33

Visual Recognition beyond Appearances, and its Robotic Applications

01:05:26

开源系列讲座 | MARO群策：多智能体资源调度平台及其基于强化学习的大规模应用

55:18

1024 | 向用代码改变世界的你们致敬！

08:35

开源系列讲座 | 微软人工智能教育与学习共建社区全新更新，更有精品课程首度公开！

01:23:16

探索未知，初心如一：微软研究院30周年，生日快乐！

03:13

IJCAI 2021论文分享 | 云计算中基于不确定约束的预测作业调度算法

21:12

开源系列讲座 | OpenNetLab：构建可持续的网络研究生态系统

42:58

KDD 2021论文分享——NAS-BERT：用自动架构搜索实现任务无关且动态大小的BERT压缩

38:06

应对数字化转型挑战，跨界共创正当时

02:58

语音合成技术百花齐放，无从下手？带你全面了解语音合成领域研究现状

01:03:21

CoModGAN：轻松实现任意大区域图像填充

02:07

ACL 2021论文分享——时空可控的图片描述生成

23:31

社会复原力 | 通过创新增强对疫情的理解和应对能力

13:08

开源系列讲座 | 信息爆炸？MIND个性化新闻推荐系统来了！

01:09:14

开源系列讲座 | 自动机器学习调试效率低？这里有一份来自微软的强大工具包

01:00:41

开源系列讲座 | 微矿 Qlib 如何以 AI 赋能传统投资行业？

01:40:26

ACL 2021论文分享——LayoutLMv2：针对富文本文档的多模态预训练模型

24:28

ICSE 2021论文分享——利用服务关系挖掘加速大规模云系统故障分析

18:39

ICSE 2021论文分享——用于深度学习模型的资源导向的配置空间约简

23:12

微软亚洲研究院谭旭：AI音乐创作

02:05:55

面对“数字化转型”的挑战，你准备好了吗？

03:01

微软亚洲研究院院长洪小文祝清华大学110岁生日快乐！

02:28

Microsoft Expressive Pixels

01:55

2020实践空间站|解锁 NNI，拒绝科研“力不从心”

51:39

无穷宽神经网络的特征学习 (Physics ∩ ML)

02:09:49

NeurIPS 2020 | “百里挑一”：如何加速超网训练的收敛和搜索速度

16:49

无穷宽神经网络的特征学习

16:39

Microsoft Research Reinforcement Learning Day 2021

01:39:49

AAAI 2021 | UWSpeech：针对没有文字的语言的翻译系统

23:29

AAAI 2021 | 提升自监督学习的定位能力

12:49

AAAI 2021 | 从组合泛化的角度重访迭代回译技术

20:28

AAAI 2021 | 基于无监督交互学习的主题式论文PPT生成

18:03

ICLR 2021论文分享——基于梯度投影扰动的隐私保护机器学习

20:06

ICLR 2021论文分享——基于实例的层序可变Transformer网络结构

15:32

微软研究院AI、人机交互、计算、虚拟现实、系统网络等研究项目集锦

03:23

人工智能和机器学习带来的机遇

01:24:59

微软亚洲研究院2020技术精选集

05:38

在创新汇，发现企业数字化转型的AB面

03:38

OSDI 2020 最佳论文 | 分布式系统共识中的寡头统治与民主

19:49

InterSpeech 2020最佳学生论文提名 | 基于“哨兵网络”的低延迟流式端到端语音识别网络

20:07

IJCAI 2020论文分享——我们离有效的上下文建模还有多远？面向对话式语义解析的探索性研究

21:54

2020实践空间站 | 基于自动机器学习工具NNI的创新性科研拓展项目

55:56

AI直通车 | 机器阅读理解

55:50

2020实践空间站 | 基于八叉树卷积神经网络的三维物体检测算法

47:48

2020 AI领学计划 | 人工智能如何学习、训练、优化

01:32:25

2020 AI领学计划 | 人工智能如何看懂图像

02:10:07

2020 AI领学计划 | 人工智能如何从海量数据中挖掘规律

02:04:19

KDD 2020论文 | LRSpeech: 极低资源下的语音合成与识别

36:09

ECCV 2020论文 | 解耦自注意模型

22:44

Self Attention Modeling for Visual Recognition

30:00

EMNLP 2020 | 忒修斯之BERT：通过渐进替换压缩模型

20:04

实践空间站 | 一起探索神经网络的奥秘

01:07:52

NeurIPS 2020 | 通过学习解析表达式来实现组合泛化——让AI编程从复制粘贴走向推理合成

27:16

WAIC 2020微软论坛 | 专题讨论：新冠疫情世界里的人工智能

23:17

4月9日直播丨揭秘微软超级麻将AI Suphx背后的技术！

48:40

微软亚洲研究院（上海）探营

06:42

WAIC 2020微软论坛 | 专题讨论：为地球构建行星计算机

41:09

WAIC 2020微软论坛 | 圆桌论坛：AIOT赋能可持续发展

24:09

WAIC 2020微软论坛 | 专题演讲：人工智能在传染病防护中的作用

24:08

WAIC 2020微软论坛 | 圆桌讨论：人工智能予力未来城市

26:05

WAIC 2020微软论坛 | 对话：金融科技如何助力复工复产？

08:43

WAIC 2020微软论坛 | 圆桌论坛：人工智能如何推进车路城一体化发展？

20:07

WAIC 2020微软论坛 | 专题演讲：机器学习助力可持续发展

19:14

新冠数据分析网站 COVID Insights 功能亮点一览

01:43

ICLR 2020论文分享-BERT在神经机器翻译中的应用

19:48

沈向洋博士5.14直播“You are how you read”

51:25

萨提亚·纳德拉与沈向洋CVPR对谈：那些未来可期的计算机视觉研究与应用

24:38

2020世界人工智能大会云端峰会微软论坛

03:28:16

2020世界人工智能大会云端峰会微软论坛活动回顾

05:19

2020世界人工智能大会云端峰会微软论坛终极预告

01:18

2020世界人工智能大会云端峰会微软论坛"人工智能予力永续未来"精彩预告

00:32

Ada Workshop 2020 | 科技 · 媛动力

02:24:37

天凤十段麻将AI Suphx，微软研发团队首次揭秘科学麻将的秘籍！

04:59

Vlog | AAAI 2020：跟我去开计算机国际顶会

07:07

寒假直通车 | 疫情之下一个微软员工的典型工作日

01:02:22

寒假充电站 | Microsoft Power BI 助力疫情分析决策

59:17

【微软亚洲研究院】“明日之星”实习生抖肩舞来了！学霸快乐尬舞防脱发～

02:35

IJCAI 2019 论文分享丨可解释推荐：基于协同注意的多任务学习模型

23:11

KDD 2019论文分享丨 LambdaOpt:Learn to Regularize Recommender Models in Finer Levels

24:03

微软亚洲研究院IJCAI2023论文分享

54:36

25岁！微软亚洲研究院和我同龄

07:00

如何在资源导向的科研大环境中寻找机会？

07:54

TED x Beijing演讲 | 价值观罗盘——以科技之光，照亮人机共生之路

18:20

顶部