如大家所了解的,GPU(图形处理单元)是专为高效处理图形渲染和并行计算任务设计的处理器,核心特点是拥有数百至上千个计算核心,擅长执行大规模并行计算。
GPU核心能力:计算能力(保证算多快)、内存能力(保证一次能算多少);GPU处理不了复杂的逻辑,擅长是用来计算。
为什么深度学习(包括NLP、CV)要用GPU来训练?
因为深度学习都是大量的矩阵运算,矩阵运算可以把复杂的运算拆成并行的简单运算。而GPU计算单元占比多,同时并行运算能力强。