最近两年，企业 AI 落地的失败案例越来越多呈现出一个共同模式：不是模型能力不够，而是 Agent 在不该自主判断的地方自主判断了。 这背后有一个被严重低估的工程问题——大多数 AI 系统的设计哲学，本质上还是在追求「更聪明的模型」，而不是「更可控的系统」。

自主性是一把双刃剑

LLM 的核心能力之一，是在模糊指令下做出合理推断。给它一个方向，它能填补中间所有的细节。这在 To C 场景里是优势，用户说「帮我写一封道歉邮件」，模型发挥空间越大，结果往往越好。 但在企业场景里，这种「填补细节」的能力会造成系统性风险。 以医疗行业为例：一个辅助诊断 Agent，在问诊流程里漏掉了「既往用药史」的采集环节，直接跳到了建议阶段。从对话逻辑上看，模型认为已有足够信息；从临床规范上看，这是一个严重的流程缺失。漏问一个步骤，不是对话质量问题，是医疗事故的潜在风险。 类似的案例在金融、法律、HR 场景里大量存在。Agent 越聪明，它绕过流程约束的能力就越强——它会用「合理推断」来跳过它认为「多余」的步骤。问题不在于模型判断错了，而在于模型不知道哪些判断它根本没有资格做。

企业规则的本质是「不可协商的边界」

在讨论技术方案之前，有必要先澄清一个认知问题：企业流程规则和用户偏好是两种完全不同的东西。 用户偏好是可以优化的——用户说「我喜欢简洁的回答」，模型应该适应。但企业规则不是偏好，它是边界——「这个审批必须有两个 VP 签字」不是一个建议，是一个不可协商的硬约束。 当前主流的对齐方案，设计上是为了处理偏好优化问题的，不是为了处理硬约束问题的。 RLHF 通过人类反馈调整模型行为，适合让模型「更符合人类价值观」，但企业规则的颗粒度远超 RLHF 能学到的泛化层次。你没办法通过强化学习让模型记住某家公司内部的 47 条合规要求，更别说这些要求每季度都在更新。 RAG + 规则知识库 解决了「让模型知道规则」的问题，但知道不等于执行。模型在检索到规则后，仍然需要自主判断是否适用、如何应用——这个判断本身就是一个潜在的失控点。 Output Guardrails 是目前最常见的工程解法，在输出端做拦截和校验。问题是它本质上是补丁逻辑：先让 Agent 自由生成，再用规则过滤不合规的输出。不仅效率低，而且存在漏网风险——规则校验的覆盖率永远是不完整的。 这三种方案都在尝试用「更好地约束输出」来解决问题，但根本原因在架构侧：设计上给了 Agent 它不应该有的自由度。

重新思考架构：确定性与不确定性的分离

一个更可靠的设计思路，是在架构层面就把「需要 LLM 的部分」和「不需要 LLM 的部分」彻底分开。 LLM 擅长处理的是不确定性——自然语言理解、意图识别、开放域推理、内容生成。这些任务的特点是：没有唯一正确答案，需要语义层面的灵活判断。 但企业流程里有大量任务是确定性的——这一步完成后必须触发下一步，这个字段的值必须落在某个枚举范围内，这个操作必须在特定角色授权后才能执行。这些任务用 LLM 来处理，不是能力不足的问题，是方向错误的问题。确定性任务用不确定性系统来执行，本身就是在引入不必要的风险。 在实际工程上，这意味着 Tool 的设计哲学需要转变： 当前大多数 Agent 框架里，Tool 是能力的载体——搜索工具、数据库查询工具、API 调用工具。LLM 决定调用哪个 Tool，以及传什么参数。这个设计在探索性任务里没问题，但在企业流程里，Tool 应该同时是规则的执行单元—— 每个 Tool 内部应该内置：前置条件校验（这个操作在当前上下文是否允许执行）、参数合法性校验（不只是类型校验，还有业务语义校验）、后置流程触发（这个操作完成后必须联动哪些下游节点）、审计日志（不可篡改的操作记录，满足合规留存要求）。 LLM 的职责，是决定「做什么」；Tool 的职责，是决定「怎么做」以及「能不能做」。这两个层次的职责混在一起，是当前大多数企业 AI 系统不稳定的根本原因。

规则本身也需要被工程化管理

最后一个被严重忽视的问题：规则不是静态的。 一家公司的合规要求会随着监管政策更新；产品的审批流程会随着组织架构调整；数据权限规则会随着安全事件重新收紧。规则的变化频率，远高于大多数 AI 系统的更新频率。 如果规则以 Prompt 的形式存在，变更就意味着人工修改提示词，没有版本管理，没有变更审计，没有灰度发布。一个错误的规则更新，可能在生产环境里造成大规模的错误输出，而且几乎不可追溯。 更好的实践是把规则作为独立的配置层来管理，和业务代码完全解耦——规则有自己的版本号，变更走 review 流程，支持按业务线或用户群做差异化规则，回滚成本接近于零。这不只是工程问题，也是企业把 AI 系统引入关键业务流程的必要前提。 在企业环境里，可预测性是比能力更稀缺的属性。一个能力一般但行为完全可预测的系统，可以被放进关键业务流程；一个能力很强但行为不可控的系统，只能在边缘场景做辅助。聪明是起点，可控才是终点。