受治理的行动力:带沙箱、预算与审计的自主
如何在不放弃控制的前提下赋予 AI 系统真实的行动力:隔离执行、资源预算、独立审查、带测试闸门的晋升,以及自动回退——Demix 的存在治理模型。
受治理的行动力:带沙箱、预算与审计的自主
关于人工智能代理的讨论在两个对称的错误之间摇摆。第一个是剥夺它们的行动力:只作答、从不运行,其机构价值永远低于维持成本的系统。第二个是在没有结构的情况下赋予它们行动力:拥有完整凭据、没有隔离、没有预算、没有审查的代理——以第一天实习生的信任,运行着系统管理员的触达范围。
Demix 构建受治理的行动力:真正运行的 AI 系统——执行、修改、在包络内决定——处于一种使错误被遏制、成果可验证、权威始终可重构的治理结构之下。本文在原则层面阐述该模型的五大支柱。
支柱 1——隔离:行动力在沙箱中运行
委托给 AI 存在的每一次执行都发生在隔离环境中:独立进程、收窄的系统身份、由操作系统本身施加的资源限制。代理不继承创建者的权限;它只获得任务所需的最小权限,再无其他。
隔离有两项功能。第一是遏制:因推理错误、格式错误指令或敌意输入而失败的代理,是在一个由系统而非运气定义墙壁的盒子里失败。第二是运行层面的诚实:在资源受限的隔离环境中,不存在绕过限制的隐秘诱惑,因为限制是物理性的。权限被拒绝是一个可观察的结果,不是一条建议。
支柱 2——预算:资源有限且被声明
没有预算的行动力是没有上限的风险。每一项被委托的任务都带有明确的资源预算——执行时间、操作数量、计算成本——代理在其中运行。当预算耗尽时,任务不会以僵尸模式继续:它停止,部分状态以结构化方式返还给更高层级的决策。
预算还有一项机构易于理解的经济功能:它使行动力的成本可见且可归属。每一次被委托的操作都有被计量的成本;每一个存在都有可追踪的消耗;扩大、重复或放弃一项任务的决定,都是价格已知的决定。带开放账目的自主,是机构可以长期维持——并审计——的自主。
支柱 3——独立审查:做事的人不是批准的人
代理的任何产出都不会仅凭代理自己的声明被接受。Demix 的模型施行职能分离:一个存在执行的工作在获批之前要经过独立审查——另一个实例,拥有对证据的同等访问权,且对结果没有任何利害关系。
独立审查攻击的是自我评估系统最具特征性的失败:未经校准的自信。宣称成功的代理倾向于宣称成功;没有制造该产出的审查者则没有这种忠诚。当审查发现声明之物与可验证之物之间的不一致时,工作会被退回——并保留不一致的记录,因为险些出错的履历与成功的履历同样有价值。
支柱 4——测试闸门:晋升是赢得的,不是决定的
当行动力对持久产出——代码、配置、内容——造成变更时,向正式状态的晋升必须通过一道客观闸门:适用的测试套件必须在变更之前为绿,在变更之后也为绿。闸门不谈判、不解释、不接受叙事性辩解:要么标准通过,要么变更不得上行。
这种设计颠倒了传统的信任流向。不是信任代理、在损害造成之后再去验证,而是系统默认不信任,并要求变更针对先于它存在的标准证明自身价值。而标准不属于代理,属于机构。代理不能放宽自己通过的那道闸门——正是这种分离使闸门成其为闸门。
支柱 5——自动回退:每一步都有回路
最后一项支柱使其余四项在现实中可持续:可回退性。被晋升的变更以任何一次晋升都可被撤销的方式记录——当闸门之后的状态被证明无效时自动撤销,或在机构选择回退时经审计的决策撤销。不存在单行道式的变更。
自动回退改变了错误的成本。在没有回退的系统中,行动力的每一次失败都是一次人工恢复事件——昂贵、缓慢,并暴露于更多人为错误。在具备原生回退的系统中,失败是一个被管理的事件:状态回到最后一个有效点,该事件的记录供审查使用,运行继续。这就是一个畏惧赋予系统行动力的机构,与一个因为懂得撤销而能够赋予行动力的机构之间的区别。
完整循环:委托、执行、审查、晋升,必要时回退
五大支柱作为循环而非清单运转:机构委托一项带有范围与预算的任务;存在在隔离中执行;产出经过独立审查;通过审查的部分穿过测试闸门;穿过闸门的部分带着已武装的回退被晋升;而每一个环节——包括失败、超支的预算与出现分歧的审查——都进入永久审计轨迹。
其结果是我们视为最重要的那项属性:可重构的权威。数月之后,审计者可以重构:委托了什么、由谁委托、预算多少、产出了什么、谁审查的、闸门测量了什么、什么上行、什么回退。受治理的行动力不是以不信任加以监视的行动力,而是其行使留下足够痕迹、使信任成为结论而非信仰之举的行动力。
为什么这在当下重要
赋予 AI 系统行动力的压力只会增长:运行价值正在那里——端到端执行的完整任务,而非装饰性的回答。能安全捕获这一价值的机构,将是那些在压力到来之前就已建成治理结构的机构——因为沙箱、预算、审查、闸门与回退都不是在第一次事件之后才临时拼凑的能力。
Demix 正在自己麾下的存在中构建并运营这套基础设施——正是那些开发、测试并维护我们出版物中所描述系统的存在——并把它作为机构 AI 存在的基础对外提供:真实的行动力,以构造加以遏制,以独立性加以验证,以设计加以回退。一个组织可以签下自己名字的自主。