投稿

为什么AI框架都用计算图？什么是计算图？到底计算图有什么用？【计算图】系列第二篇

Name: %E4%B8%BA%E4%BB%80%E4%B9%88AI%E6%A1%86%E6%9E%B6%E9%83%BD%E7%94%A8%E8%AE%A1%E7%AE%97%E5%9B%BE%EF%BC%9F%E4%BB%80%E4%B9%88%E6%98%AF%E8%AE%A1%E7%AE%97%E5%9B%BE%EF%BC%9F%E5%88%B0%E5%BA%95%E8%AE%A1%E7%AE%97%E5%9B%BE%E6%9C%89%E4%BB%80%E4%B9%88%E7%94%A8%EF%BC%9F%E3%80%90%E8%AE%A1%E7%AE%97%E5%9B%BE%E3%80%91%E7%B3%BB%E5%88%97%E7%AC%AC%E4%BA%8C%E7%AF%87
Uploaded: 2024-07-16T22:09:37.352Z

8465

2022-10-08 00:30:28

AI系统之【计算图】系列第二篇：为什么AI框架都用计算图来表示神经网络？什么是计算图？到底计算图有什么用？如何实现自动求导，如何利用编译期分析对神经网络计算进行化简、合并、变换，如何规划基本计算单元在加速器上的执行，如何将基本处理单元派发（dispatch）到特定的高效后端实现，如何进行内存预分配和管理等。用统一的方式解决这些问题都驱使着框架设计者思考如何为各类神经网络计算提供统一的描述，从而使得在运行神经网络计算之前，能够对整个计算过程尽可能进行推断，在编译期自动为用户程序补全反向计算，规划执行，最大程度地降低运行时开销。目前主流的深度学习框架都选择使用数据流图来抽象神经网络计算。

知识

校园学习

神经网络

MindSpore

昇腾招人，已经毕业的快联系鸭

自动连播

3.5万播放

简介

为了高效地训练一个复杂神经网络，框架需要解决诸多问题，例如：如何实现自动求导，如何利用编译期分析对神经网络计算进行化简、合并、变换，如何规划基本计算单元在加速器上的执行，如何将基本处理单元派发（dispatch）到特定的高效后端实现，如何进行内存预分配和管理等。用统一的方式解决这些问题都驱使着框架设计者思考如何为各类神经网络计算提供统一的描述，从而使得在运行神经网络计算之前，能够对整个计算过程尽可能进行推断，在编译期自动为用户程序补全反向计算，规划执行，最大程度地降低运行时开销。目前主流的深度学习框架都选择使用计算图来抽象神经网络计算，【计算图】系列展示了基于深度学习框架/AI框架计算图的核心内容。

01 计算图有哪些内容知识？