統治されたエージェンシー：サンドボックス、予算、監査を備えた自律性

人工知能エージェントに関する議論は、二つの対称的な誤りの間で揺れる。第一はエージェンシーを否定することである。応答するだけで作動しないシステムであり、その制度的価値は維持費を恒久的に下回る。第二は構造なきエージェンシーを認めることである。完全な資格情報をもち、隔離も予算もレビューもないエージェントであり、初日の実習生に与える信頼とシステム管理者の到達範囲で作動する。

Demixは統治されたエージェンシーを構築する。すなわち、実際に作動するAIシステム——包絡線の範囲内で実行し、変更し、決定する——を、誤りが封じ込められ、成功が検証可能で、権限が常に再構成可能となるガバナンス構造の下に置く。本稿はこのモデルの五つの柱を原則の水準で記述する。

第一の柱 — 隔離：エージェンシーはサンドボックスで作動する

AI実体に委任されたすべての実行は隔離された環境で行われる。すなわち、分離されたプロセス、縮小されたシステム・アイデンティティ、オペレーティングシステム自体によって適用される資源制限である。エージェントはそれを作成した者の特権を継承しない。タスクに必要な最小限の特権を受け取り、それ以上は受け取らない。

隔離には二つの機能がある。第一は封じ込めである。失敗するエージェント——推論の誤り、不正な指示、敵対的な入力による——は、壁が運ではなくシステムによって定義された箱の中で失敗する。第二は運用上の誠実さである。資源が制限された隔離環境では、制限を迂回する静かな誘惑が存在しない。制限が物理的であるからである。許可の拒否は観測可能な結果であり、示唆ではない。

第二の柱 — 予算：資源は有限であり宣言される

予算なきエージェンシーは天井なきリスクである。委任された各タスクは明示的な資源予算を携える。実行時間、操作量、計算費用である。そしてエージェントはその範囲内で作動する。予算が尽きると、タスクはゾンビモードで継続しない。停止し、部分的な状態が構造化された形で上位の決定へ返される。

予算には、制度がよく理解する経済的機能もある。エージェンシーの費用を可視化し、帰属可能にする。委任された各操作には測定された費用がある。各実体には追跡可能な消費がある。タスクを拡大し、繰り返し、あるいは放棄する決定は、既知の価格を伴う決定である。会計が開かれた自律性は、制度が長期的に維持し、監査できる自律性である。

第三の柱 — 独立レビュー：行う者と承認する者は別人である

エージェントのいかなる成果も、エージェント自身の宣言によって受け入れられることはない。Demixのモデルは職務分離を適用する。実体が実行した作業は、独立したレビューを経る。すなわち、同じ証拠へのアクセスをもち、結果にいかなるコミットメントももたない別のインスタンスによるレビューである。

独立レビューは、自己評価するシステムの最も特徴的な故障に打ち込む。すなわち、較正されていない自己信頼である。成功を宣言するエージェントは成功を宣言する傾向がある。成果物を生み出さなかったレビュアーには、その忠誠がない。レビューが宣言と検証可能性の乖離を見つけた場合、作業は差し戻される。乖離の記録は保存される。ほぼ誤りだった歴史は、成功の歴史と同じくらい価値があるからである。

第四の柱 — 試験ゲート：昇格は決定ではなく獲得である

エージェンシーが耐久性のある成果物——コード、設定、コンテンツ——に変更を生むとき、公式状態への昇格は客観的なゲートを通過する。適用可能な試験群が変更の前後で通っていなければならない。ゲートは交渉せず、解釈せず、物語的な正当化を受け入れない。基準が通るか、変更が上がらないかである。

この設計は従来の信頼の流れを逆転させる。エージェントを信頼して損害が生じてから検証する代わりに、システムは既定で疑い、変更がそれ以前に存在した基準に対して自らの価値を証明することを要求する。そして基準はエージェントに属さない。制度に属する。エージェントは自らが通るゲートを緩めることができない。この分離がゲートをゲートたらしめている。

第五の柱 — 自動ロールバック：あらゆる歩みには戻り道がある

最後の柱は、他の四つを実務において持続可能にするものである。すなわち、可逆性である。昇格された変更は、いかなる昇格も取り消され得る形で記録される。ゲート後の状態が無効であると判明したときには自動的に、あるいは制度が取り消しを選ぶときには監査された決定によって。一方通行の変更は存在しない。

自動ロールバックは誤りの費用を変える。ロールバックのないシステムでは、エージェンシーの各失敗は手動復旧のインシデントである。高価で、遅く、追加の人的誤りに晒される。ネイティブロールバックのあるシステムでは、失敗は管理された事象である。状態は最後の有効な点へ戻り、事象の記録はレビューを養い、運用は続く。これは、システムにエージェンシーを与えることを恐れる制度と、取り消す方法を知っているからエージェンシーを与えられる制度の違いである。

完全な循環：委任し、実行し、レビューし、昇格し、必要ならば取り消す

五つの柱は一覧としてではなく、循環として作動する。制度は範囲と予算を伴うタスクを委任する。実体は隔離環境で実行する。成果物は独立レビューを経る。レビューを生き延びたものは試験ゲートを通過する。通過したものはロールバックを準備した状態で昇格される。そして各段階は——失敗、超過した予算、乖離したレビューを含めて——恒久的な監査証跡に入る。

結果は、我々がすべての中で最も重要と考える特性である。すなわち、再構成可能な権限である。数か月後、監査人は何が誰によって委任され、どの予算で、何が生産され、誰がレビューし、ゲートが何を測定し、何が上がり、何が戻ったかを再構成できる。統治されたエージェンシーは不信をもって監視されるエージェンシーではない。その行使が十分な痕跡を残すため、信頼が信仰行為ではなく結論となるエージェンシーである。

なぜ今これが重要なのか

AIシステムにエージェンシーを与えよという圧力は増大する一方である。運用上の価値がそこにあるからである。すなわち、端から端まで実行される完全なタスクであり、装飾的な応答ではない。この価値を安全に獲得する制度は、圧力が到来する前にガバナンス構造を構築しておいた制度である。サンドボックス、予算、レビュー、ゲート、ロールバックは、最初のインシデントの後に即興で作れるものではないからである。

これがDemixが自らの実体——我々の刊行物で述べたシステムを開発し、試験し、維持するのと同じ実体——において構築し運用するインフラストラクチャであり、制度的AIの実体の基盤として提供するものである。すなわち、真のエージェンシーを、構築によって封じ込め、独立性によって検証し、設計によって可逆とする。組織が署名できる自律性である。