风险告警

自动检测数据标注过程中的异常行为和内容问题,支持告警查看、处理和统计分析。

41531

告警总数

今日新增

9883

待处理

9732

高风险

规则分布

题目内容查重检测: 15184复制行为检测: 10816作业速度异常: 6491 工作流超时提醒: 5596考试时间过短检测: 2421人员拉黑回扫提醒: 427 银行卡共用检测: 284题目文件查重检测: 158固定搭配检测: 92 抽检遗漏风险: 65GitHub 代码仓库重复检测: 13

项目选择项目告警状态选择状态 ▾ 风险等级选择等级 ▾ 规则类型选择规则 ▾ 用户ID输入用户ID 创建日期📅 开始日期至结束日期

隐藏已处理

	告警编号	标题	规则	风险等级	状态	目标类型	项目	创建时间	操作

📐 设计说明(demo 附注,非产品 UI)—— 评测类型项目「题目内容查重」默认关闭

行为:项目类型 = 标准评测(project_type=evaluation)的项目创建时,系统自动在 A008「项目特殊配置」生成一条与当时全局配置完全一致的项目配置,启用开关默认关,并打「标准评测 · 默认关闭」标签。PM 打开 A008 参数配置一眼能看到该项目是关的;要开就拨开关。
开关语义(需后端配合改):关 = 该项目不执行题目内容查重。现状 dedup_check_service.py 只取 enabled==True 的项目配置,关闭行被忽略后回落全局照样查重;线上 222 项目 9/7 已手工加了一条关闭行,按现状代码其实没生效。改法:显式存在且 enabled=false 的项目配置 → 直接跳过(reason=dedup_disabled_by_project)。
全局改动不回刷:自动生成后与手工添加的行一样独立,后续改全局默认配置不会同步进去(与现有项目配置行为一致)。
存量:线上评测项目目前只有 1 个(222【福尔摩斯】多工具调用评测任务(第三期)),已有关闭行,无需回填;此后新建评测项目自动走第 1 条。

触发时机:专家提交题目时(事件触发) 【检测维度】独立计算,任意维度超过阈值即触发告警: 1. 语义相似度 (Semantic) - 使用阿里云 text-embedding-v4 生成向量 - 通过 ES 向量检索找到 Top-1 相似题目 - 计算余弦相似度 2. 覆盖率 (Coverage) - 使用 SequenceMatcher 找出 ≥5 字符的完全匹配片段 - 覆盖率 = 相似片段覆盖字符数 / 查询文本总字符数 3. 字面相似度 (Lexical) - 综合 Character 3-gram Jaccard 和 Shingle Hit Rate - 通过 ES 的 shingle 和 ngram 分析器实现【告警条件】语义相似度 ≥ threshold OR 覆盖率 ≥ threshold OR 字面相似度 ≥ threshold 【检索范围】 1. 平台题目库:所有已完成的题目 2. 外部题库:项目经理上传的对照数据集(全局/项目级) 【查重源配置】 - 不勾选任何查重源 = 不启用查重 - 项目有特殊配置时,以项目配置为准(即使全局配置勾选了) - 标准评测项目:创建时自动生成一条与全局一致的项目配置且默认关闭

参数	默认值	范围	说明
相似度阈值(%)	70	0 ~ 100	任意维度超过此阈值即触发告警,建议 60%-70%

参数

默认值

范围

说明

相似度阈值(%)

0 ~ 100

任意维度超过此阈值即触发告警,建议 60%-70%