投稿

云侧和端侧推理方式的特点和区别！【推理系统】系列03篇

Name: %E4%BA%91%E4%BE%A7%E5%92%8C%E7%AB%AF%E4%BE%A7%E6%8E%A8%E7%90%86%E6%96%B9%E5%BC%8F%E7%9A%84%E7%89%B9%E7%82%B9%E5%92%8C%E5%8C%BA%E5%88%AB%EF%BC%81%E3%80%90%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E3%80%91%E7%B3%BB%E5%88%9703%E7%AF%87
Uploaded: 2024-07-16T22:10:26.428Z

5108

2023-01-10 09:19:18

【推理系统】系列03篇：云侧和端侧推理方式的特点和区别！推理分为云测利用云端中心服务器集群进行在线推理，端侧推理主要集中在利用IOT等端侧设备进行离线推理，其各自对应有自身的优势和特点。而端侧推理中因为联邦学习，分布式学习等不同的场景会跟云测进行交互，让我们一起来了解下推理的全流程，看看推理有哪几种方式吧！

科技

计算机技术

华为昇腾

端侧推理

昇腾招人，已经毕业的快联系鸭

电脑桌面上养老婆？我也想要！

【推理系统】整体概述 (3/6)

自动连播

4.0万播放

简介

《推理系统》推理系统是本分享的重点概述，推理就是在训练好的模型结构和参数基础上，执行前向传播得到模型输出的过程。相对于训练而言，推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中，真正让 AI 能够运用起来。推理引擎可以将深度学习模型部署到云（Cloud）端或者边缘（Edge）端，并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程，而开发完的代码势必要打包，部署给用户使用，那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题。

01 推理系统内容介绍