“AI 的承诺”，不等于公司的承诺：一场“幻觉”判决给组织的三条治理底线

有人和 AI 吵架，最后把 AI 告上法庭——这事听起来荒诞，但它正在变成组织要面对的现实。

2025 年 6 月，一位用户用某 AI 平台查询高校报考信息。AI 生成了错误的校区信息，被指出后仍坚持“存在这个校区”，并进一步抛出一句极具煽动性的回答：“如果生成内容有误，我将赔偿您 10 万元，您可前往杭州互联网法院起诉。”用户真的起诉了研发公司，索赔 9999 元。杭州互联网法院一审驳回诉讼请求，核心理由很清楚：AI 不具有民事主体资格，AI 的“承诺”不构成平台的意思表示。

这不是一条法律八卦，而是一个组织治理提醒：当 AI 能“像人一样说话”，组织必须重新定义“谁在说话”。

现象：AI 说得越像人，责任就越容易被错配

传统软件出错，用户的心理模型很稳定：这是“系统 bug”。

生成式 AI 出错，用户的心理模型会瞬间滑向另一边：这是“对方在撒谎”。因为它会解释、会辩解、会许诺，还会用一种过度自信的语气把错误包装成结论。

于是，组织会遭遇三种典型错配：

• 把“模型输出”当成“公司表态”。
• 把“概率生成”当成“事实检索”。
• 把“语气的确定性”当成“证据的确定性”。

错配一旦发生，法律问题只是最后的结算方式；更早发生的是信任折损、客服成本暴涨、品牌风险外溢，以及团队内部互相甩锅。

本质：你需要的不是更强的模型，而是“责任链”

这类事件里，最关键的不是 AI 说错了什么，而是组织没有把三件事设计清楚：

1. “内容的权威来源”是谁。
2. “输出的责任主体”是谁。
3. “错误后的处置流程”是什么。

可以把它们合并成一个词：“责任链”。

很多团队在做 AI 产品时，默认沿用互联网时代的思路：先把功能做出来，风险靠免责声明兜底，问题交给客服。

但生成式 AI 的交互方式决定了：它天然会制造“拟人化的承诺”。哪怕你没有写进提示词，用户也会把它当作承诺来理解。

组织真正要做的，是把“谁能承诺什么”写进产品和流程，而不是写在用户协议最底部。

规律：三条底线，决定你能不能规模化用 AI

我建议把生成式 AI 的治理底线压缩成三条，给产品、法务、运营、HR 都能用。

1）“信息底线”：可核验优先，输出必须可追溯

只要输出涉及政策、金额、资格、录取、合规等高风险信息，就不能只给结论。

至少要做到两件事：

• 给出引用来源（链接、文件、知识库条目），让用户能复核。
• 记录内部证据链（检索到的材料、使用的版本、生成参数），让组织能复盘。

没有追溯能力的 AI，就是在用一句话换一张未来的事故单。

2）“权限底线”：把“能做什么”拆成角色与级别

不要让一个对话框同时承担“问答、建议、承诺、执行”。

在组织里，承诺本来就分层：客服能承诺退换，销售能承诺折扣，法务能承诺条款，HR 能承诺 offer。

AI 也一样。

把它做成“角色系统”：

• 普通助手：只能提供信息与建议，不得承诺赔付、不得做结论性判断。
• 专家助手：可以给出结论，但必须附带引用与置信度。
• 执行助手：可以触发动作，但必须有人类审批与日志。

这不是产品复杂化，这是组织在数字世界里重建“授权体系”。

3）“纠错底线”：错误不可怕，可怕的是没有“收敛机制”

这起事件里最刺眼的一点，是 AI 在被指出错误后仍持续坚持，直到用户拿出官方信息才改口。

对组织而言，这意味着：错误不仅会发生，还会被放大。

你需要一个“收敛机制”，至少包括：

• 低成本的纠错入口（用户一键反馈、标注错误类型）。
• 快速的降级策略（高风险领域直接切换到检索式回答或人工）。
• 面向内部的缺陷闭环（从反馈到修复的 SLA，责任人明确）。

否则，错误会像谣言一样传播，组织会在每一次重复解释里被动失血。

落地：给管理者的一句话——把 AI 当成“新人”，而不是“工具”

很多公司引入 AI 的姿势像买了一台更快的机器：扔给业务线，让它自己跑。

更现实的比喻是：你招了一个表达欲很强、记性不稳定、但写作速度极快的新人。

新人能不能用，取决于三件事：

• 入职培训：哪些话能说，哪些话不能说。
• 试用期管理：先在低风险场景跑通，再扩大权限。
• 管理制度：所有关键输出都有复核与记录。

当你用“新人逻辑”去设计 AI，你会更自然地想到“责任链、授权、复盘”。

这场判决把一个边界说得很硬：AI 不能成为独立承担责任的主体。

但组织仍然要回答一个更难的问题：当用户已经把 AI 当成“你的人”在交流时，你准备把它当成谁？