1 - 自动QA, 质检 & Honeypot(蜜罐)
在 CVAT 中，可以通过创建一个Ground truth（基准）任务（Honeypot，称为蜜罐任务）来评估标注的质量。 为了估算任务的质量，CVAT 会将任务中的其他所有工作与已建立的Ground truth任务进行对比，并基于此对比计算标注质量.
注意 质量评估仅支持二维任务，支持除二维立方体以外的所有标注类型。
注意 轨迹被视为单独的形状，并在每一帧与其他轨迹和形状进行逐帧比较。
详情请参阅:
Ground truth作业
Ground truth（基准）作业是告诉标注平台在哪里存储和获取用于任务质量评估的“正确”标注的一种方式。
为了估算任务的质量，你需要在任务中创建一个Ground truth作业并进行标注。 你不需要对整个数据集进行两次标注，数据集中一小部分数据的标注质量能够反映整个数据集的标注质量。
为了确保质量保证功能正常运行，Ground truth作业必须包含任务中一小部分帧，这些帧需要随机选择。 根据数据集的大小和任务的复杂性，通常5-15% 的数据已经足够用于质量评估，同时还能保持额外标注工作量在可接受的范围内。
例如，对于一个包含2000帧的典型任务，选择5%即100帧进行额外标注，已经足够用于评估标注质量。如果任务只包含30帧，建议选择8-10 帧，约占30%。
尽管在较小数据集的情况下超过了 15%，但为了可靠地估算质量，我们需要更多样本
要创建一份Ground truth作业，请执行以下步骤:
创建任务, 并打开任务页面.
点击 +.
在添加新作业 窗口中, 填写以下字段:
- 作业类型: 使用默认参数Ground truth.
- 图片选择方法: 使用默认参数 随机.
- 百分比数量 %: 设置Ground truth作业所需的帧的百分比.
注意 当使用百分比数量时，图像数量字段会自动填充. - 图像数量: 设置Ground truth作业所需的帧数.
注意 当使用图像数量时，百分比数量字段会自动填充. - Seed: (可选) 如果需要使随机选择具有可重复性，指定一个数字。 它可以是任意整数，相同的值会生成相同的随机选择（前提是帧数未改变）
点击 提交.
标注图像，并保存工作.
将作业状态更改为已完成.
将阶段更改为验收.
该Ground truth作业出现在任务列表中.
管理Ground Truth 作业: 导出以及删除
（Ground truth）作业的标注不会包含在数据集导出中，也无法在任务标注导入或任务的自动标注中被导入
导出和删除选项可以从作业的菜单中访问。
导出
要从Ground truth作业中导出标注，请执行以下步骤.
- 打开任务，并在任务列表中找到一份作业.
- 点击三个点以打开菜单.
- 从菜单中选择 导出作业.
删除
要删除Ground truth 作业，请执行以下步骤.
- 打开任务，并在任务列表中找到该Ground truth 作业.
- 点击三个点以打开菜单.
- 从菜单中选择 删除.
使用Ground truth作业评估数据质量
一旦你建立了Ground truth作业，请继续对数据集进行标注.
标注平台将在任务标注完成后（处于验收阶段且状态为已完成）开始进行标注作业与Ground truth作业之间的质量比较.
注意 质量计算过程可能需要几个小时，这取决于数据量和标注对象 的数量，并且在任务更新后不会立即更新。
要查看结果，请转到任务 > 动作 > 质量控制> 质量选项卡.
质量数据
该分析页面具有以下这几个字段:
| 字段 | 描述 |
|---|---|
| 平均标注质量 | 显示标注的平均质量，包括: 正确标注的数量、任务总标注数、GT标注数、准确率、精确率和召回率. |
| GT冲突 | 在质量评估过程中识别出的冲突，包括多余或缺失的标注。鼠标悬停在 ? 图标上可以查看有关数据集的详细冲突报告. |
| 问题 | 打开的问题的数量. 如果没有报告问题，则显示为0. |
| 质量报告 | 以 JSON 格式提供的质量报告. |
| Ground truth作业数据 | 有关Ground truth作业的信息，包括日期、时间和问题数量. |
| 作业列表 | 任务中所有工作的列表 |
标注质量设置
如果你需要调整一些比较方面的内容, 你可以从标注质量设置菜单进行修改.
你可以配置应该将什么样的重叠视为低质量，或者如何进行标注的比较.
更新后的设置将在下次质量更新时生效.
要打开标注质量设置, 请找到 质量评估报告 ，然后在其右侧点击三个点.
将会弹出以下窗口. 将鼠标悬停在 ? 标记上，可以了解每个字段的含义.
标注质量设置含有以下几个参数:
| 字段 | 描述 |
|---|---|
| 最小重叠阈值 | 最小重叠阈值(IoU) 用于区分匹配/不匹配的形状. |
| 低重叠阈值 | 低重叠阈值用于区分强匹配/弱匹配（低重叠）. |
| OKS Sigma | 用于点的IoU阈值。该百分比代表以GT点为中心的圆的半径，该圆的面积与框的面积成比例，检查的点应该落在这个范围内。 |
| 相对线条厚度 (图框边缘 %) | 多边形线条的厚度，相对于（图像面积）^0.5。指围绕GT线条的边界内，检查的线条点应该落在的距离范围. |
| 检查方向 | 表示多边形线条具有方向性. |
| 最小相似度增益 (%) | 在给定和反向线条方向之间，GT IoU的最小增益，用于判断线条是否被反转。只有在启用检查方向参数时有用. |
| 组比较 | 启用或禁用标注组的检查. |
| 最小组匹配阈值 | 用于判断组匹配的最小IoU值，当启用组比较时使用. |
| 检查标注可见性 | 检查部分遮盖的标注。掩码和多边形将相互比较. |
| 最小可见性阈值 | 空间标注（多边形、掩码）的最小可见区域百分比。用于报告被遮盖的标注，在启用检查标注可见性选项时非常有用. |
| 仅匹配可见部分 | 在比较中只使用掩码和多边形的可见部分. |
标注平台界面中的GT冲突
要在标注平台界面中查看GT冲突，请转到 质检 > 问题 > 显示ground truth标注和冲突.
ground truth（GT）注释显示为带有相关标签的虚线框.
将鼠标悬停在右侧面板中的问题上时，相关的GT标注将会高亮显示.
使用问题工具栏中的箭头，可以在GT冲突之间移动.
要创建与冲突相关的问题，右键单击边界框，然后从菜单中选择要创建的问题类型.
2 - 手动质检
检查标注的特殊模式允许你指向帧中包含错误的对象或区域.
质检
要进行质检，您需要将任务页面上所需作业的阶段更改为验证,并分配一个用户来进行检查
现在工作会以不同的质检界面打开. 你也可以使用顶部面板的界面切换器切换到质检模式.
质检模式是一种UI模式，有一个特殊的问题工具，你可以使用它来识别对象
或框架中的区域，并描述问题.
要做到这一点，首先点击控制侧边栏上的
打开一个问题图标:
然后单击框架中的一个位置以突出显示该位置或通过按住鼠标左键突出显示该区域并描述问题. 要选择一个对象，右键单击它并选择
打开一个问题或选择几个快速问题之一 该对象或区域将以红色阴影显示.
创建的问题将出现在工作区和对象侧边栏的
问题选项卡中.标记所有问题后，保存注释，打开菜单并选择作业状态
拒收或完成.
质检之后，其他用户将能够看到问题，对每个问题发表评论，并将问题的状态更改为`已解决``.
问题修复后，从菜单中选择完成作业来完成任务.
或者，您可以在任务页面中将阶段切换到验收.
解决问题
质检之后，你可以在对象侧栏的问题选项卡中看到这些问题.
你可以使用
问题标签上的箭头来导航包含问题的帧.
在工作区中，您可以单击
问题，您可以发送关于该问题的评论, 或者，如果问题已解决，则将状态更改为解决. 你可以通过点击删除来移除这个问题 (如果您的帐户有适当的权限).如果在一个地方创建了几个问题，您可以通过将鼠标悬停在问题上并滚动鼠标滚轮来访问它们.
如果问题解决了，您可以通过单击重新打开按钮重新打开问题.