创建批量服务

1. 数据准备:在创建批量服务之前,请确保已经准备好可用的模型、推理脚本、镜像等供新建服务使用。

还没准备好?请看这里:

模型管理-我的模型上传

训练管理-保存模型

算法开发-上传算法

训练管理-镜像管理

2. 点击左上角「创建批量服务」按钮,在「创建批量服务」页面中写入信息。

图 1:创建批量服务
图 1:创建批量服务
  1. 用户可自定义在线服务名称,仅支持字母、数字、汉字、英文横杠和下划线、字符长度不能超出 32,在线服务名称不可重复( ID 为自动递增)。
  2. 描述(可选),字符长度不能超出 200。
  3. 模型类型,可选「我的模型」或「预训练模型」。
  4. 节点类型,可选「CPU」或「GPU」类型。
  5. 模型,此下拉框的内容会根据选用的模型类型变化。
  6. 自定义推理脚本,开启该选项将会使用自定义推理脚本进行推理
  7. 镜像选择,部署在线服务所需的镜像。
  8. 节点规格,此下拉框的内容会根据选用的节点类型变化。
  9. 上传预测图片,图片数量不得超出 5000 张。
  10. 节点数量,默认为 1,多版本可根据适用场景调配节点数,整体配置最大值不超出 10 节点即可。
  11. 支持并不仅限以下五种运行参数:
    signature_nameTensorflow模型推理,默认为 serving_default;
    reshape_size,图片预处理形状 「H, W」,默认为 ImageNet图片大小;
    prepare_mode ,Keras/Tensoflow 模型预处理模式,可选 tfhub、caffe、tf、torch,默认为 tfhub;
    model_structure ,Pytorch 模型保存网络名称,默认为 model;
    job_name,Oneflow 模型推理 job 名称,默认为 inference。

3. 数据输入完毕后点击提交,将跳转至批量服务列表页面,且该条新建任务状态变为部署中。

图 2:创建批量服务成功
图 2:创建批量服务成功
note

注: 出现运行失败可能的原因如下:

  1. 新建/编辑/fork时,CPU/GPU配置的节点数或规格资源不足。
  2. 新建/编辑/fork时,参数配置、模型错误。
  3. 新建/编辑/fork时,模型与推理脚本不匹配。
  4. 新建/编辑/fork时,镜像错误。
Last updated on