云端Serving简介

完成模型训练及模型格式转化后,对于「模型管理」中保存的指定格式模型,用户可在云端 Serving 模块对模型进行部署。云端 Serving 模块特点如下:

  • 支持对 OneFlow,TensorFlow,PyTorch,Keras 四种深度学习框架训练的模型部署;
  • 支持 HTTP、gRPC 两种通信方式;
  • 支持多节点部署;
  • 支持灰度发布;
  • 支持基本的图片预处理;
  • 支持自定义推理脚本;
  • 支持使用自制镜像。

云端 Serving 支持以下两种方式进行模型部署:

note

部署的模型必须为指定格式:


预训练模型下载地址及注意事项:

云端Serving业务架构


图 1 云端Serving整体架构
图 1 云端Serving整体架构

云端Serving操作流程

围绕以上要点,我们整理了一份完整的云端 Serving 操作流,并对其中重点模块进行详细介绍:

图 2 云端Serving操作流程
图 2 云端Serving操作流程
Last updated on