白皮书 8：Jwuma 质量保证框架，全球规模的多级审核

执行摘要

要在庞大且分布于全球的贡献者群体中保持一致的标注质量，需要结构化的、内置校准的多级审核架构，而不是只在小规模下有效的单次审核模式。Jwuma 的框架专门设计用来在贡献者人数和项目量增长时保持质量稳定。

由单个审核员检查每项任务，会引入因审核员而异的不一致，随着业务量增长，这种不一致会变得更明显，代价也更高。没有结构化的上报路径，有争议或处于临界的决定会在不同审核员之间得到不一致的处理。

初审审核员对照项目专属的评分标准检查提交内容。有争议或接近门槛的决定会上报给 QA 专员，必要时再上报给团队负责人或超级负责人。改判权限只向上移动，不会向下，并且每一次改判都会记录在案以备审计。

Jwuma 在正在进行的项目队列中隐藏地加入带有已知正确答案的质量控制条目。它们衡量审核员和贡献者随时间的一致性，在评分标准本身需要澄清时发出提示，并在质量漂移影响客户所交付的数据集之前发现它。

由于审核权限和校准是结构化并记录在案的，而不是非正式的，Jwuma 可以把一致的质量标准扩展到新的语言、新的项目类型和新的贡献者群体，而无需为每次新增都设计专门的审核流程。

常见问题

为什么单一审核员模式在规模扩大后会失效？

因为随着任务量增长，因审核员而异的不一致会变得更明显、代价更高，而且没有结构化的上报路径，有争议的决定会得到不一致的处理。

Jwuma 的审核阶梯是什么？

先由初审审核员处理，有争议或接近门槛的情况上报给 QA 专员，必要时再上报给团队负责人或超级负责人，并且改判权限只向上移动。

什么是黄金任务，它们衡量什么？

带有已知正确答案的隐藏质量控制条目，加入到正在进行的工作中，用来衡量审核员和贡献者的一致性，并在质量漂移到达客户的数据集之前发现它。

该框架如何扩展到新的语言或项目类型？

因为审核结构和校准方法是标准化的，而不是为每个项目专门构建的，所以新的语言和项目类型会自动沿用同一套质量框架。