使用说明

环境要求

  • linux环境(windows暂不支持)
  • python 环境,版本>=3.8

环境配置

$ ts-cli config base_url='http://zjlab.dubhe.club/api/v1'
2021-09-10 10:07:29,026 - [DEBUG] - 欢迎使用天枢平台命令行工具!
2021-09-10 10:07:29,027 - [DEBUG] - 参数:base_url, 值:http://zjlab.dubhe.club/api/v1
设置成功
$ ts-cli auth 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2MzEyNzI3MTAsInVzZXJfbmFtZSI6ImFkbWluIiwianRpIjoiZmY1MjhmMWEtMjU0ZC00NWNjLTg2MGUtYTk0ZmNlOTExOTg2IiwiY2xpZW50X2lkIjoiZHViaGUtY2xpZW50Iiwic2NvcGUiOlsiYWxsIl19.-xiiwCxC7XuU1kQGs-XBR8MHOsrsq-wH4rbMWBW6aXs'
2021-09-10 10:10:08,712 - [DEBUG] - 欢迎使用天枢平台命令行工具!
设置成功!

auth中身份票据获取方式
step 1:登录天枢平台
step 2:点击个人中心并选择开发者信息tab页
step 3:点击下图按钮复制即可
如图:

 获取身份票据
 获取身份票据

命令行配置

# 默认位置
/user/.dubhe-cli-tmp/config.yaml
# 配置参数主要有
base_url: "http://zjlab.dubhe.club/api/v1"
log:
debug: true
path: ~/.dubhe-cli-tmp
expire: 7 # 过期时间单位天
# 查看当前配置文件(cat)
ts-cli config
# 查看版本
ts-cli version
#配置 base_url
ts-cli config base_url=http://zjlab.dubhe.club/api/v1
# 配置 token
ts-cli auth "123123"
# 查看 token
ts-cli auth

命令阐述说明

--type:
说明:表示上传的数据集类型
类型:单选项
选项: custom (自定义)
--type 为 custom 时是'自定义数据集'
--type 为 ImageClassify,ObjectDetection,Segmentation,TextClassify 时是'标准数据集'
是否必填:是
--source:
说明:需要上传的文件所在文件夹地址(需要是绝对地址)
类型:字符串
是否必填:是
--name:
说明:上传到系统后生成的数据集的名称
类型:字符串
是否必填:否
--annotation_type:
说明:自定义数据集的标注类型
类型:单选项
选项:(图像分类)ImageClassify(目标检测)ObjectDetection
(目标跟踪)ObjectTrack(文本分类)TextClassify
(语义分割)Segmentation(音频分类)AudioClassify
(中文分词)TextSegmentation(命名实体识别)NER
(语音识别)AudioRecognition (自定义)custom

数据集功能

导入自定义数据集

# 自定义数据集标注类型
(图像分类)ImageClassify(目标检测)ObjectDetection
(目标跟踪)ObjectTrack(文本分类)TextClassify
(语义分割)Segmentation(音频分类)AudioClassify
(中文分词)TextSegmentation(命名实体识别)NER
(语音识别)AudioRecognition (自定义)custom
# 默认名称为自定义
ts-cli dataset import --type=custom --source /Users/myDataset --annotation_type=custom
# 自定义指定数据集名称
ts-cli dataset import --type=custom --source /Users/myDataset --annotation_type=custom --name=这是数据集名称
# 命令行展示
$ ts-cli dataset import --type=custom --source=/Users/myDataset --annotation_type=ImageClassify --name=测试自定义数据集导入
2021-09-10 10:15:01,935 - [DEBUG] - 欢迎使用天枢平台命令行工具!
2021-09-10 10:15:01,936 - [DEBUG] - 开始导入自定义数据集
自定义数据集上传中... [####################################] 100%导入完成-----数据集ID:3715
2021-09-10 10:15:05,477 - [DEBUG] - 导入自定义数据集完成3715

数据集文件上传

# 帮助信息
ts-cli dataset --help
# 导入文件
ts-cli dataset upload --id 277 --source /Users/myDataset 

导入标准数据集

# 导入平台标注数据集(指的是图像分类、目标检测、图像分割、文本分类满足平台标准的数据集格式)
# 标准数据集一期先支持以下几类:ImageClassify,ObjectDetection,Segmentation,TextClassify
# 图像分类,导入指定文件夹(基础使用)
ts-cli dataset import --type=ImageClassify --source /Users/myDataset  --name 图像分类数据集
# 直接导入压缩包(默认解压缩)
ts-cli dataset import --type=ImageClassify --source /Users/myDataset/test.zip --name 图像分类数据集
# 压缩包不解压
ts-cli dataset import --type=ImageClassify --source /UsersmyDataset/test.zip --unzip=false

标准数据集目录说明

  • 图片格式支持 jpg/png/bmp/jpeg,不大于 5MB,位于 origin 目录下,不支持目录嵌套
  • 本地数据集需要包括源文件(origin 目录)、标注文件(annotation 目录)和标签文件三部分
  • 标注文件为 json 格式,位于 annotation 目录下,必须和文件同名(如果不存在标注,可不上传),不支持目录嵌套
  • 标签文件为 json 格式,命名要求为 label_{name}.json,其中 name 为标签组名称,不能与系统已有标签组重名
  • 导入的图片名称不能重复

本地数据集需要包括源文件(origin 目录)、标注文件(annotation 目录)和标签文件三部分。

 导入数据集目录说明
 导入数据集目录说明
Last updated on