内容审核

1客户嘴上要的

「社区每天 200 万条 UGC，审核团队 300 人，成本太高。上大模型审核，砍掉一半审核员。」

这是症状或现成方案，不一定是真问题。下面看两种做法。

2照字面做，会怎么烂

3好 FDE 的实际走法

共 6 周，分 5 个阶段。带三角标记的是这一步最容易踩的坑。

1. 1

   第 1 周找真问题（看标准怎么传到审核员手里）

   • 跟内容安全负责人、审核策略组的 2 个策略专员、外包审核基地的 2 个组长和 6 个审核员坐。发现：机审（第三方审核服务加自建模型）已经处理了 85% 的内容，送人审的是灰区内容。
   • 真痛点有两个「变得快」。一是标准变得快：审核标准每周更新 3–5 次，靠群消息传达，新标准从发布到全员执行到位要 2–3 天，这段时间就是漏审高发期。二是规避写法变得快：违规内容用谐音、拆字、emoji、图片里的文字、评论区接龙来躲机审，一种新写法出现后，平均 9 天才进入机审词库。
   • 审核员之间判断不一致（一致率 78%）也存在，但主要是上面两个问题的结果。
   • 真问题是「标准和规避写法的更新速度跟不上」。成功标准改成：「新标准发布后 2 小时内在辅助系统中生效；新规避写法从首次被人审发现到进入识别规则不超过 3 天；漏审率不上升。」
   • 踩坑别以「减人」作为第一期目标。漏审的后果是平台责任，风险容忍度极低。
2. 2

   第 2 周把标准做成可执行的结构

   • 和策略组一起，把审核标准文档改成结构化的「规则卡」：适用范围、判断要点、正例、反例、边界案例、生效时间。每次标准更新都改规则卡，而不是发群消息。
   • 建边界案例库：从近 3 个月审核员意见分歧最大的内容里，选 500 条，由策略组给出标准答案。
   • 建「变体登记」流程：审核员在人审中发现新的规避写法，一键登记原文和对应的违规类型；策略组每天确认一次，确认后自动扩展出同类变体（同音字、形近字、拆分写法），进入辅助识别规则。
   • 踩坑变体扩展会误伤正常内容（例如谐音恰好是常用词）。扩展出的变体先在近 7 天的已通过内容上跑一遍，误伤超过阈值的不上线。
3. 3–4

   第 3–4 周原型 + evals

   • 在人审界面加「辅助判断」：对每条灰区内容，给出匹配的规则卡、相似的边界案例和建议结论，审核员确认或修改。标准更新后，系统自动对最近 2 小时已通过的同类内容做一次复查。
   • evals 分两部分：边界案例库测标准，要求建议结论和策略组答案一致率不低于 90%；「对抗样本集」测变体，收录所有已登记的规避写法和图片文字样本，每周补充，要求识别率不低于 85%。每次规则卡或变体规则更新，两部分都自动跑一次。
   • 踩坑只用历史变体测试，会高估效果。每周留出当周新登记的变体单独统计，这才是真实的跟进速度。
4. 5

   第 5 周试运行 + 并肩改

   • 在一个审核组试运行。审核员反馈：「看到相似案例比看规则文字更快」——把案例放在规则前面。试运行期间审核员登记了 40 多种新变体，平均 2 天进入规则。
5. 6

   第 6 周交接交接

   • 交给审核策略组：维护规则卡、边界案例库和变体登记，每天确认新变体，每次标准更新必须同时更新案例和跑测试。审核基地组长负责每周的一致率抽查。
   • 是否减少人审，等试运行 3 个月的漏审和一致率数据出来后，由内容安全负责人决定。没有策略组维护规则卡，系统会停在旧标准上，比没有系统更危险。

4这个案例教给你的可复用判断