编辑批量服务

用户可在「批量服务」列表或部署详情页面对在线服务信息进行编辑。

操作步骤

1. 编辑服务进入

1.1 点击左侧列表中「云端 Serving 」-「批量服务」按钮,进入「批量服务」列表页面进行编辑。

图 1.1:编辑批量服务入口
图 1.1:编辑批量服务入口

1.2. 点击 「批量服务」列表页 服务名称 进入「部署详情」页面,点击「编辑」按钮,在弹出表单修改页面进行按需修改。

图 1.2:编辑批量服务入口
图 1.2:编辑批量服务入口
note

可编辑状态:

「已停止」状态的 任务 ,可进行「编辑」操作。

「运行失败」状态的 任务 ,可进行「编辑」操作。

不可编辑状态:

「运行中」状态的 任务 ,不可进行「编辑」操作。

「部署中」状态的 任务 ,不可进行「编辑」操作。

「运行完成」状态的 任务 ,不可进行「编辑」操作。

「未知」状态的 任务 ,不可进行「编辑」操作。

2. 编辑在线服务

2.1 用户可根据自需进行对表单编辑。

图 2.1:编辑批量服务
图 2.1:编辑批量服务
  1. 用户可自定义在线服务名称,仅支持字母、数字、汉字、英文横杠和下划线、字符长度不能超出 32,在线服务名称不可重复( ID 为自动递增)。
  2. 描述(可选),字符长度不能超出 200。
  3. 模型类型,可选「我的模型」或「预训练模型」。
  4. 节点类型,可选「CPU」或「GPU」类型。
  5. 模型,此下拉框的内容会根据选用的模型类型变化。
  6. 自定义推理脚本,开启该选项将会使用自定义推理脚本进行推理
  7. 镜像选择,部署在线服务所需的镜像。
  8. 节点规格,此下拉框的内容会根据选用的节点类型变化。
  9. 上传预测图片,图片数量不得超出 5000 张。
  10. 节点数量,默认为 1,多版本可根据适用场景调配节点数,整体配置最大值不超出 10 节点即可。
  11. 支持并不仅限以下五种运行参数:
    signature_nameTensorflow模型推理,默认为 serving_default;
    reshape_size,图片预处理形状 「H, W」,默认为 ImageNet图片大小;
    prepare_mode ,Keras/Tensoflow 模型预处理模式,可选 tfhub、caffe、tf、torch,默认为 tfhub;
    model_structure ,Pytorch 模型保存网络名称,默认为 model;
    job_name,Oneflow 模型推理 job 名称,默认为 inference。

2.2 数据输入完毕后点击提交,将跳转至批量服务列表页面,且该条服务状态变为部署中。

图 2.2:编辑批量服务成功
图 2.2:编辑批量服务成功
note

说明:批量服务新建、编辑后,正常情况下自动运行推理,推理完成后,状态切换为运行完成。

注: 出现运行失败可能的原因如下:

  1. 新建/编辑/fork时,CPU/GPU配置的节点数或规格资源不足。
  2. 新建/编辑/fork时,参数配置、模型错误。
  3. 新建/编辑/fork时,模型与推理脚本不匹配。
  4. 新建/编辑/fork时,镜像错误。
Last updated on