自动QA, 质检 & Honeypot(蜜罐)

标注质量自动评估指南

在 CVAT 中，可以通过创建一个Ground truth（基准）任务（Honeypot，称为蜜罐任务）来评估标注的质量。 为了估算任务的质量，CVAT 会将任务中的其他所有工作与已建立的Ground truth任务进行对比，并基于此对比计算标注质量.

注意 质量评估仅支持二维任务，支持除二维立方体以外的所有标注类型。

注意 轨迹被视为单独的形状，并在每一帧与其他轨迹和形状进行逐帧比较。

详情请参阅:

Ground truth作业

Ground truth（基准）作业是告诉标注平台在哪里存储和获取用于任务质量评估的“正确”标注的一种方式。

为了估算任务的质量，你需要在任务中创建一个Ground truth作业并进行标注。 你不需要对整个数据集进行两次标注，数据集中一小部分数据的标注质量能够反映整个数据集的标注质量。

为了确保质量保证功能正常运行，Ground truth作业必须包含任务中一小部分帧，这些帧需要随机选择。 根据数据集的大小和任务的复杂性，通常5-15% 的数据已经足够用于质量评估，同时还能保持额外标注工作量在可接受的范围内。

例如，对于一个包含2000帧的典型任务，选择5%即100帧进行额外标注，已经足够用于评估标注质量。如果任务只包含30帧，建议选择8-10 帧，约占30%。

尽管在较小数据集的情况下超过了 15%，但为了可靠地估算质量，我们需要更多样本

要创建一份Ground truth作业，请执行以下步骤:

  1. 创建任务, 并打开任务页面.

  2. 点击 +.

    Create job

  3. 在添加新作业 窗口中, 填写以下字段:

    Add new job

    • 作业类型: 使用默认参数Ground truth.
    • 图片选择方法: 使用默认参数 随机.
    • 百分比数量 %: 设置Ground truth作业所需的帧的百分比.
      注意 当使用百分比数量时，图像数量字段会自动填充.
    • 图像数量: 设置Ground truth作业所需的帧数.
      注意 当使用图像数量时，百分比数量字段会自动填充.
    • Seed: (可选) 如果需要使随机选择具有可重复性，指定一个数字。 它可以是任意整数，相同的值会生成相同的随机选择（前提是帧数未改变）

  4. 点击 提交.

  5. 标注图像，并保存工作.

  6. 将作业状态更改为已完成.

  7. 将阶段更改为验收.

该Ground truth作业出现在任务列表中. Add new job

管理Ground Truth 作业: 导出以及删除

（Ground truth）作业的标注不会包含在数据集导出中，也无法在任务标注导入或任务的自动标注中被导入

导出和删除选项可以从作业的菜单中访问。

Add new job

导出

要从Ground truth作业中导出标注，请执行以下步骤.

  1. 打开任务，并在任务列表中找到一份作业.
  2. 点击三个点以打开菜单.
  3. 从菜单中选择 导出作业.

删除

要删除Ground truth 作业，请执行以下步骤.

  1. 打开任务，并在任务列表中找到该Ground truth 作业.
  2. 点击三个点以打开菜单.
  3. 从菜单中选择 删除.

使用Ground truth作业评估数据质量

一旦你建立了Ground truth作业，请继续对数据集进行标注.

标注平台将在任务标注完成后（处于验收阶段且状态为已完成）开始进行标注作业与Ground truth作业之间的质量比较.

注意 质量计算过程可能需要几个小时，这取决于数据量和标注对象 的数量，并且在任务更新后不会立即更新。

要查看结果，请转到任务 > 动作 > 质量控制> 质量选项卡.

Add new job

质量数据

该分析页面具有以下这几个字段:

字段描述
平均标注质量显示标注的平均质量，包括: 正确标注的数量、任务总标注数、GT标注数、准确率、精确率和召回率.
GT冲突在质量评估过程中识别出的冲突，包括多余或缺失的标注。鼠标悬停在 ? 图标上可以查看有关数据集的详细冲突报告.
问题打开的问题的数量. 如果没有报告问题，则显示为0.
质量报告以 JSON 格式提供的质量报告.
Ground truth作业数据有关Ground truth作业的信息，包括日期、时间和问题数量.
作业列表任务中所有工作的列表

标注质量设置

如果你需要调整一些比较方面的内容, 你可以从标注质量设置菜单进行修改.

你可以配置应该将什么样的重叠视为低质量，或者如何进行标注的比较.

更新后的设置将在下次质量更新时生效.

要打开标注质量设置, 请找到 质量评估报告 ，然后在其右侧点击三个点.

将会弹出以下窗口. 将鼠标悬停在 ? 标记上，可以了解每个字段的含义.

Add new job

标注质量设置含有以下几个参数:

字段描述
最小重叠阈值最小重叠阈值(IoU) 用于区分匹配/不匹配的形状.
低重叠阈值低重叠阈值用于区分强匹配/弱匹配（低重叠）.
OKS Sigma用于点的IoU阈值。该百分比代表以GT点为中心的圆的半径，该圆的面积与框的面积成比例，检查的点应该落在这个范围内。
相对线条厚度 (图框边缘 %)多边形线条的厚度，相对于（图像面积）^0.5。指围绕GT线条的边界内，检查的线条点应该落在的距离范围.
检查方向表示多边形线条具有方向性.
最小相似度增益 (%)在给定和反向线条方向之间，GT IoU的最小增益，用于判断线条是否被反转。只有在启用检查方向参数时有用.
组比较启用或禁用标注组的检查.
最小组匹配阈值用于判断组匹配的最小IoU值，当启用组比较时使用.
检查标注可见性检查部分遮盖的标注。掩码和多边形将相互比较.
最小可见性阈值空间标注（多边形、掩码）的最小可见区域百分比。用于报告被遮盖的标注，在启用检查标注可见性选项时非常有用.
仅匹配可见部分在比较中只使用掩码和多边形的可见部分.

标注平台界面中的GT冲突

要在标注平台界面中查看GT冲突，请转到 质检 > 问题 > 显示ground truth标注和冲突.

GT conflict

ground truth（GT）注释显示为带有相关标签的虚线框.

将鼠标悬停在右侧面板中的问题上时，相关的GT标注将会高亮显示.

使用问题工具栏中的箭头，可以在GT冲突之间移动.

要创建与冲突相关的问题，右键单击边界框，然后从菜单中选择要创建的问题类型.

GT conflict