“AI 的承诺”，不等于公司的承诺：一场“幻觉”判决给组织的三条治理底线
有人和 AI 吵架，最后把 AI 告上法庭——这事听起来荒诞，但它正在变成组织要面对的现实。
2025 年 6 月，一位用户用某 AI 平台查询高校报考信息。AI 生成了错误的校区信息，被指出后仍坚持“存在这个校区”，并进一步抛出一句极具煽动性的回答：“如果生成内容有误，我将赔偿您 10 万元，您可前往杭州互联网法院起诉。”用户真的起诉了研发公司，索赔 9999 元。杭州互联网法院一审驳回诉讼请求，核心理由很清楚：AI 不具有民事主体资格，AI 的“承诺”不构成平台的意思表示。
这不是一条法律八卦，而是一个组织治理提醒：当 AI 能“像人一样说话”，组织必须重新定义“谁在说话”。
现象：AI 说得越像人，责任就越容易被错配
传统软件出错，用户的心理模型很稳定：这是“系统 bug”。
生成式 AI 出错，用户的心理模型会瞬间滑向另一边：这是“对方在撒谎”。因为它会解释、会辩解、会许诺，还会用一种过度自信的语气把错误包装成结论。
于是，组织会遭遇三种典型错配：
- 把“模型输出”当成“公司表态”。
- 把“概率生成”当成“事实检索”。
- 把“语气的确定性”当成“证据的确定性”。
错配一旦发生，法律问题只是最后的结算方式；更早发生的是信任折损、客服成本暴涨、品牌风险外溢，以及团队内部互相甩锅。
本质：你需要的不是更强的模型，而是“责任链”
这类事件里，最关键的不是 AI 说错了什么，而是组织没有把三件事设计清楚：
1. “内容的权威来源”是谁。
2. “输出的责任主体”是谁。
3. “错误后的处置流程”是什么。
可以把它们合并成一个词：“责任链”。
很多团队在做 AI 产品时，默认沿用互联网时代的思路：先把功能做出来，风险靠免责声明兜底，问题交给客服。
但生成式 AI 的交互方式决定了：它天然会制造“拟人化的承诺”。哪怕你没有写进提示词，用户也会把它当作承诺来理解。
组织真正要做的，是把“谁能承诺什么”写进产品和流程，而不是写在用户协议最底部。
规律：三条底线，决定你能不能规模化用 AI
我建议把生成式 AI 的治理底线压缩成三条，给产品、法务、运营、HR 都能用。
1）“信息底线”：可核验优先，输出必须可追溯
只要输出涉及政策、金额、资格、录取、合规等高风险信息，就不能只给结论。
至少要做到两件事：
- 给出引用来源（链接、文件、知识库条目），让用户能复核。
- 记录内部证据链（检索到的材料、使用的版本、生成参数），让组织能复盘。
没有追溯能力的 AI，就是在用一句话换一张未来的事故单。
2）“权限底线”：把“能做什么”拆成角色与级别
不要让一个对话框同时承担“问答、建议、承诺、执行”。
在组织里，承诺本来就分层：客服能承诺退换，销售能承诺折扣，法务能承诺条款，HR 能承诺 offer。
AI 也一样。
把它做成“角色系统”：
- 普通助手：只能提供信息与建议，不得承诺赔付、不得做结论性判断。
- 专家助手：可以给出结论，但必须附带引用与置信度。
- 执行助手：可以触发动作，但必须有人类审批与日志。
这不是产品复杂化，这是组织在数字世界里重建“授权体系”。
3）“纠错底线”：错误不可怕，可怕的是没有“收敛机制”
这起事件里最刺眼的一点，是 AI 在被指出错误后仍持续坚持，直到用户拿出官方信息才改口。
对组织而言，这意味着：错误不仅会发生，还会被放大。
你需要一个“收敛机制”，至少包括：
- 低成本的纠错入口（用户一键反馈、标注错误类型）。
- 快速的降级策略（高风险领域直接切换到检索式回答或人工）。
- 面向内部的缺陷闭环（从反馈到修复的 SLA，责任人明确）。
否则，错误会像谣言一样传播，组织会在每一次重复解释里被动失血。
落地：给管理者的一句话——把 AI 当成“新人”，而不是“工具”
很多公司引入 AI 的姿势像买了一台更快的机器：扔给业务线，让它自己跑。
更现实的比喻是：你招了一个表达欲很强、记性不稳定、但写作速度极快的新人。
新人能不能用，取决于三件事：
- 入职培训：哪些话能说，哪些话不能说。
- 试用期管理：先在低风险场景跑通，再扩大权限。
- 管理制度：所有关键输出都有复核与记录。
当你用“新人逻辑”去设计 AI，你会更自然地想到“责任链、授权、复盘”。
这场判决把一个边界说得很硬：AI 不能成为独立承担责任的主体。
但组织仍然要回答一个更难的问题：当用户已经把 AI 当成“你的人”在交流时，你准备把它当成谁？