模型验证

验证训练模型是否能识别出任务中图片的缺陷

要在自训练平台上进行模型验证，您需要先训练模型或者导入模型， 然后创建一个验证任务并指定其参数。

要创建验证任务, 请在 验证 页面上单击 + 并 选择 开始新推理. 开始新推理

选择数据集与模型

  1. 选择工序(模型工序)
  2. 选择模型(训练模型)
  3. 选择项目(将项目中为验证集的任务作为验证数据集，具体在任务详情设置) 然后点击 下一步

输入置信度

  1. 输入基础置信度(每个标签应用到的置信度)
  2. 多选标签输入标签置信度(选择特定标签的置信度，必须大于等于基础置信度)
    • 在构造格式标签页上，单击增加标签置信度

      1. 标签构造器菜单将会打开:
    • 源码格式编辑标签置信度
  3. 点击下一步

输入推理参数

参数详述
设备选择显卡
批量大小推理时每次输入的图像数量，决定每次计算时的批量大小（batch size）。
图像尺寸数据集中的图像尺寸，用于模型输入时的尺寸调整。通常是指图像在进行推理前，按比例缩放到的目标尺寸
IOU阈值模型预测的标签与人工标注的真实标签进行比较时，计算交并比（IOU）。如果预测的标签与真实标签的 IOU 小于该阈值，则认为预测标签与真实标签不匹配，视为假阳性（false positive）。
低重叠阈值在 IOU 阈值范围内，如果预测标签与真实标签的重叠度大于 IOU 阈值，但小于低重叠阈值，则认为预测标签与真实标签的重叠度较低，可能被视为不确定或低质量的预测结果.
点击开始推理会进入到验证详情界面

验证详情

验证详情包括三部分，默认展开推理详情

  1. 设置
  2. 评测指标
  3. 推理详情

设置

设置包括新建验证时的各项参数

评测指标

评测指标包括验证时的各项指标

  1. F1分数
  2. 精确率
  3. 召回率
  4. 验证用时 点击类别概览按钮，可以查看各项类别的指标

推理详情

包括混淆矩阵和实例详情两部分

  1. 混淆矩阵
    1. 横轴代表实际标签
    2. 纵轴代表预测标签
    3. 纵轴中的{}代表遗漏，在实际标签里没有预测标签与之对应
    4. 横轴上的BG代表多报，在预测标签里没有实际标签与之对应
    5. 横轴上的LOC代表实际标签与预测标签匹配但是低于低重叠阈值，即重叠度较低
  2. 实例详情
    1. 点击混淆矩阵上的坐标，即可在实例详情中显示实例和标注信息
    2. 选择实例点击全屏可以放大最后一个选择实例图像
    3. 多选实例，点击修改， 点击标题可以进入标注界面进行修改标注