投稿

推理系统和推理引擎的不同之处在哪？【推理系统】系列02篇

Name: %E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E5%92%8C%E6%8E%A8%E7%90%86%E5%BC%95%E6%93%8E%E7%9A%84%E4%B8%8D%E5%90%8C%E4%B9%8B%E5%A4%84%E5%9C%A8%E5%93%AA%EF%BC%9F%E3%80%90%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E3%80%91%E7%B3%BB%E5%88%9702%E7%AF%87
Uploaded: 2024-07-16T22:10:27.991Z

6631

2023-01-09 09:22:01

【推理系统】系列02篇：推理系统和推理引擎的不同之处在哪？推理系统跟推理引擎不同，其更加聚焦推理服务、模型加载、版本管理、数据管理、服务接口，并对用户的请求进行相应和访问，把推理引擎调起来去执行具体的计算。这里给大家汇报下什么是推理系统，推理系统应该注意的点有哪些，其与推理引擎的不同之处。

科技

计算机技术

华为昇腾

推理系统

AI系统

推理引擎

ZOMI酱发消息

昇腾招人，已经毕业的快联系鸭

更适合中国大学生体质的论文辅助工具！

【推理系统】整体概述 (2/6)

自动连播

4.0万播放

简介

《推理系统》推理系统是本分享的重点概述，推理就是在训练好的模型结构和参数基础上，执行前向传播得到模型输出的过程。相对于训练而言，推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中，真正让 AI 能够运用起来。推理引擎可以将深度学习模型部署到云（Cloud）端或者边缘（Edge）端，并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程，而开发完的代码势必要打包，部署给用户使用，那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题。

01 推理系统内容介绍