英国德比郡一名警察因涉嫌用AI"批量制造"案件证据被刑事调查——这是全球已知首例执法人员用AI伪造证据的刑事案件。OECD已将其收录为AI危害事件。
▲ ▲ 英国首例:德比郡警察用AI伪造证据案时间线
事件回顾
6月12日,英国《卫报》和《金融时报》同步曝光了一起震惊执法界的案件:德比郡警方一名警官因涉嫌利用人工智能"在多起案件中制造证据材料"而被刑事调查,涉嫌罪名是"妨碍司法公正"。
德比郡警方在声明中确认:"已对一名警官涉嫌使用AI系统在多起案件中制造证据材料、妨碍司法公正的行为启动刑事调查。"该警员已被撤下前线岗位,但尚未被逮捕。
更令人担忧的是,英国皇家检察署(CPS)已经介入,正在与德比郡警方合作审查"可能受影响的案件"。CPS发言人表示:"我们正在与辩护团队和法院就相关案件进行沟通。"
这起案件之所以震动业界,不仅因为它是英国首例,更因为就在两个月前——今年4月——英国国家警察局长委员会(NPCC)的AI中心负责人Alex Murray刚刚公开承认,他们已经通知多个警察部队停止使用AI系统准备法庭陈述和其他任务,原因是这些系统"可能不够可靠"。
然而警告发出后,仍然有警员继续使用AI工具制造证据材料,直至被刑事调查。这暴露了一个深层问题:当AI工具变得无处不在,执法系统如何确保证据的真实性?
为什么重要
第一,这是AI从"辅助工具"滑向"证据源头"的危险信号。 过去我们讨论AI在司法领域的风险,主要集中于人脸识别误判、算法偏见等"技术性错误"。但这次不同——这是有人主动利用AI的生成能力来编造不存在的证据。这种主动滥用比技术缺陷更难防范。
第二,暴露了机构对AI工具的治理真空。 NPCC在4月就已发出"停用AI"的警告,但显然没有落地。这说明从"上级通知"到"一线执行"之间存在巨大的治理断层。对AI创业者来说,这意味着你的企业客户可能买了你的工具,但根本没有配套的使用规范。
第三,OECD已将其定性为AI危害事件。 OECD的AI事件监测器(AIM)将本案标记为"涉及AI系统以导致潜在违反法律和人权的方式被使用"。这标志着国际监管机构正在将AI滥用纳入正式的风险分类体系——未来类似事件将不再是"个案",而是"系统性风险"。
深层信号:从个案到行业拐点
这起案件不能孤立看待。把它和最近几个月的其他事件放在一起看,会发现一条清晰的监管收紧曲线:
信号一:执法AI正在被"叫停"而非"推广"。 NPCC在4月叫停多家警局的AI使用,与美国国防部2月要求联邦机构"立即停止使用Anthropic技术"形成了跨大西洋的呼应。6月,Anthropic又因美国政府安全审查被迫暂停Claude Fable 5和Mythos 5——强大的AI正在被政府主动限制,而不是加速部署。
信号二:AI"真实性"正在成为法律硬要求。 德比郡案中,被AI制造出来的"证据"如果进入了法庭程序,受影响案件的定罪可能被推翻。这对AI创业者的启示是:如果你做的工具会被用于生成具有法律效力的内容(合同、报告、证据链),可验证性和审计追踪不再是"加分项",而是生存前提。
信号三:AI滥用正在催生新的监管科技市场。 当警察用AI伪造证据时,检方和法院就需要AI来检测伪造。这是一个正在形成的市场:AI内容溯源、AI生成检测、证据链完整性验证。对AI创业者来说,这不只是风险——也是新的商业机会。
AI创业者的行动指南
▲ ▲ AI创业者行动清单:四大合规要点
1. 如果你的产品涉及"可被用作证据"的输出
立即检查你的产品是否满足以下条件:
- 每次AI生成都有不可篡改的日志记录(时间戳、模型版本、prompt原文、输出原文)
- 用户无法删除或修改生成历史
- 支持第三方审计接口
这是最低标准。德比郡案之后,这些功能将从"企业版才有的高级功能"变成"所有版本的标配"。
2. 为客户提供"AI使用规范模板"
NPCC的教训说明:机构买了AI工具但不知道怎么用。作为AI创业者,你可以主动为客户提供:
- 哪些场景不能使用AI(如生成法庭证据、医疗诊断结论)
- AI输出的最低人工审核标准
- AI使用的权限分级制度
这不是增加客户负担——这是降低你的法律风险。当客户滥用你的工具时,一份签署过的使用规范就是你最好的护身符。
3. 关注"AI证据链"赛道的机会
德比郡案将加速以下需求:
- AI生成内容检测工具(公检法刚需)
- 数字证据来源验证平台
- AI审计日志标准化服务
据OECD AI事件监测器数据,2026年上半年全球已收录超过200起AI相关事件,其中"AI生成虚假信息用于欺诈或误导"是增长最快的类别。
4. 如果你在做一个"能用AI替代人工判断"的产品
请停下来重新思考你的产品定位。德比郡案的深层教训是:当AI的自主权超过人类的核查能力时,灾难不是"可能发生"而是"何时发生"。
英国警方的AI系统在被叫停前,已经被用于准备法庭陈述——将AI输出直接作为司法文件使用。这和你让AI直接给客户发合同、直接写医疗建议、直接生成财务报表没有本质区别。
正确的产品设计应该是:AI辅助人类做判断,而不是替代人类做判断。把你产品的"AI自主决策"功能改成"AI建议+人类确认",短期可能降低效率,但长期一定更可持续。
结语
德比郡警察AI伪造证据案可能只是冰山一角。正如OECD在收录本案时所写的:"AI系统的角色在涉嫌不当行为中是关键的——它被用来不当地制造证据材料。"当AI成为"共犯"而不仅仅是"工具",整个法律框架都需要重新思考。
对AI创业者来说,这个案子不是看热闹的新闻——它是你未来两年产品合规路线图的起点。
#AI创业 #AI监管 #AI风险 #执法AI #一人公司
本文由AI辅助创作,经人工审核编辑发布
