操作指南
查看样本集
进入“样本集管理”的页面,可以查看当前组织下的样本集。
搜索:在搜索框中搜索样本集名称和样本集ID可以进行搜索。
筛选:点击类型旁边的icon,可以筛选只看问答样本集或文法样本集。
新建样本集
点击“新建样本集”,在弹窗中填写样本集名称并选择样本集类型后,点击确定即可创建成功。
查看样本
文法样本集样本
在某个文法类型的样本右侧,点击“进入样本”后进入样本管理的页面。文法的样本暂不支持在页面上进行标注。
问答测试集样本
在某个问答类型的样本右侧,点击“进入样本”后进入样本管理的页面。
问答样本标注
标注样本:只能标注状态为“未标注”的样本,可以将本样本标注为:相似、不相似或不确定。
重新标注:如果需要对已标注的样本进行重新标注,需要点击“重新标注”将样本重置为未标注的状态。
批量操作:如果需要对多个样本进行批量操作,可以需要标注的样本,然后点击批量操作进行标注或重新标注的操作。
注意:标注的操作(相似、不相似、不确定)只能针对未标注样本,对已标注样本,此操作不生效。重新标注的操作只能针对已标注的样本生效,对未标注的样本此操作不生效。
问答样本指标评估
点击指标评估,进入指标估算的弹窗。
注意:只有样本集的样本全部标注完成后才能估算指标。
具体指标的计算规则如下:
准确率 = (模型认为相似标注也相似的样本数 + 模型认为不相似标注也不相似的样本数) / 总的样本数
精确率 = 模型认为相似标注也相似的样本数 / 模型认为相似的样本数
召回率 = 模型认为相似标注也相似的样本数 / (模型认为相似的样本数+模型认为不相似但标注相似的样本数)
F0.5 = (2 * 精确率 * 召回率)/(精确率 + 召回率)
F1 = ((1 + 0.5^2) * 精确率 * 召回率)/(0.5^2 * 精确率 + 召回率)
误召率 = 1 - 精确率
漏召率 = 1 - 召回率