操作指南

查看样本集

进入“样本集管理”的页面,可以查看当前组织下的样本集。

  • 搜索:在搜索框中搜索样本集名称和样本集ID可以进行搜索。

  • 筛选:点击类型旁边的icon,可以筛选只看问答样本集或文法样本集。

新建样本集

点击“新建样本集”,在弹窗中填写样本集名称并选择样本集类型后,点击确定即可创建成功。

查看样本

文法样本集样本

在某个文法类型的样本右侧,点击“进入样本”后进入样本管理的页面。文法的样本暂不支持在页面上进行标注。

问答测试集样本

在某个问答类型的样本右侧,点击“进入样本”后进入样本管理的页面。

问答样本标注

标注样本:只能标注状态为“未标注”的样本,可以将本样本标注为:相似、不相似或不确定。

重新标注:如果需要对已标注的样本进行重新标注,需要点击“重新标注”将样本重置为未标注的状态。

批量操作:如果需要对多个样本进行批量操作,可以需要标注的样本,然后点击批量操作进行标注或重新标注的操作。

注意:标注的操作(相似、不相似、不确定)只能针对未标注样本,对已标注样本,此操作不生效。重新标注的操作只能针对已标注的样本生效,对未标注的样本此操作不生效。

问答样本指标评估

点击指标评估,进入指标估算的弹窗。

注意:只有样本集的样本全部标注完成后才能估算指标。

具体指标的计算规则如下:

  • 准确率 = (模型认为相似标注也相似的样本数 + 模型认为不相似标注也不相似的样本数) / 总的样本数

  • 精确率 = 模型认为相似标注也相似的样本数 / 模型认为相似的样本数

  • 召回率 = 模型认为相似标注也相似的样本数 / (模型认为相似的样本数+模型认为不相似但标注相似的样本数)

  • F0.5 = (2 * 精确率 * 召回率)/(精确率 + 召回率)

  • F1 = ((1 + 0.5^2) * 精确率 * 召回率)/(0.5^2 * 精确率 + 召回率)

  • 误召率 = 1 - 精确率

  • 漏召率 = 1 - 召回率

results matching ""

    No results matching ""