거버넌스된 행위성: 샌드박스, 예산, 감사를 갖춘 자율성

인공지능 에이전트에 관한 논의는 두 가지 대칭적 오류 사이를 오갑니다. 첫째는 에이전트에게 행위성을 부정하는 것입니다. 응답만 하고 결코 운용하지 않으며, 기관적 가치가 유지 비용 아래에 영구히 머무는 시스템입니다. 둘째는 구조 없이 행위성을 부여하는 것입니다. 완전한 자격 증명을 가졌지만 격리도, 예산도, 검토도 없는 에이전트로, 첫날의 인턴에게 주는 신뢰와 시스템 관리자의 도달 범위로 운용되는 것입니다.

Demix는 거버넌스된 행위성을 구축합니다. 실제로 운용되는 — 실행하고, 수정하고, 외피 안에서 결정하는 — AI 시스템을, 오류는 억제되고 성과는 검증 가능하며 권위는 언제나 재구성 가능하게 만드는 거버넌스 구조 아래에서 구축합니다. 이 글은 그 모델의 다섯 기둥을 원칙 수준에서 설명합니다.

기둥 1 — 격리: 행위성은 샌드박스에서 운용됩니다

AI 존재에게 위임된 모든 실행은 격리된 환경에서 일어납니다. 분리된 프로세스, 축소된 시스템 신원, 운영체제 자체가 적용하는 자원 한도입니다. 에이전트는 자신을 생성한 이의 권한을 상속하지 않으며, 임무에 필요한 최소 권한만 받고 그 이상은 받지 않습니다.

격리에는 두 가지 기능이 있습니다. 첫째는 억제입니다. 추론 오류, 잘못된 형식의 지시, 적대적 입력으로 실패하는 에이전트는 운에 의해서가 아니라 시스템에 의해 정의된 벽을 가진 상자 안에서 실패합니다. 둘째는 운용적 정직함입니다. 자원이 제한된 격리 환경에서는 한도를 우회하려는 조용한 유혹이 존재하지 않습니다. 한도가 물리적이기 때문입니다. 권한 거부는 관측 가능한 결과이지 제안이 아닙니다.

기둥 2 — 예산: 자원은 유한하고 선언됩니다

예산 없는 행위성은 상한 없는 위험입니다. 위임된 각 임무는 실행 시간, 운영량, 계산 비용이라는 명시적 자원 예산을 지니며, 에이전트는 그 안에서 운용됩니다. 예산이 소진되면 임무는 좀비 모드로 계속되지 않습니다. 멈추고, 부분 상태가 상위 수준의 결정을 위해 구조화된 형태로 반환됩니다.

예산에는 기관이 잘 이해하는 경제적 기능도 있습니다. 행위성의 비용을 가시적이고 귀속 가능하게 만듭니다. 위임된 모든 운영에는 측정된 비용이 있고, 모든 존재에는 추적 가능한 소비가 있으며, 임무를 확대하거나 반복하거나 포기하는 결정은 가격이 알려진 결정입니다. 열린 회계를 갖춘 자율성은 기관이 장기적으로 지탱하고 감사할 수 있는 자율성입니다.

기둥 3 — 독립적 검토: 하는 자와 승인하는 자는 다릅니다

에이전트의 어떤 산출물도 에이전트 자신의 선언만으로 승인되지 않습니다. Demix의 모델은 기능 분리를 적용합니다. 한 존재가 실행한 작업은 승인되기 전에 독립적 검토 — 증거에 대한 같은 접근권을 가지되 결과에 어떤 이해관계도 없는 다른 인스턴스 — 를 거칩니다.

독립적 검토는 스스로를 평가하는 시스템의 가장 특징적인 실패를 공격합니다. 교정되지 않은 자기 확신입니다. 성공을 선언하는 에이전트는 성공을 선언하는 경향이 있지만, 산출물을 만들지 않은 검토자에게는 그런 충성이 없습니다. 검토가 선언된 것과 검증 가능한 것 사이의 불일치를 발견하면 작업은 반환되며, 불일치의 기록은 보존됩니다. 거의 오류의 이력은 성공의 이력만큼 가치가 있기 때문입니다.

기둥 4 — 시험 관문: 승격은 결정이 아니라 획득입니다

행위성이 지속적 산출물 — 코드, 구성, 콘텐츠 — 에 변경을 만들 때, 공식 상태로의 승격은 객관적 관문을 통과합니다. 적용 가능한 시험 모음이 변경 전에 녹색이어야 하고 변경 후에도 녹색이어야 합니다. 관문은 협상하지 않고, 해석하지 않으며, 서사적 정당화를 받아들이지 않습니다. 기준이 통과하거나, 변경이 올라가지 않거나 둘 중 하나입니다.

이 설계는 관습적 신뢰 흐름을 뒤집습니다. 에이전트를 신뢰하고 손상이 발생한 뒤에 검증하는 대신, 시스템은 기본적으로 불신하고 변경이 자기 이전에 존재한 기준에 대해 가치를 증명할 것을 요구합니다. 그리고 기준은 에이전트의 것이 아니라 기관의 것입니다. 에이전트는 자신이 통과하는 관문을 완화할 수 없으며, 이 분리가 관문을 관문으로 유지합니다.

기둥 5 — 자동 되돌리기: 모든 단계에는 귀환로가 있습니다

마지막 기둥은 나머지 넷을 실무에서 지탱 가능하게 만듭니다. 되돌릴 수 있음입니다. 승격된 변경은 어떤 승격이든 취소될 수 있도록 기록됩니다. 관문 이후 상태가 무효로 드러날 때는 자동으로, 기관이 되돌리기를 선택할 때는 감사된 결정으로 취소됩니다. 일방통행 변경은 존재하지 않습니다.

자동 되돌리기는 오류의 비용을 바꿉니다. 되돌리기가 없는 시스템에서 행위성의 모든 실패는 수동 복구 사건입니다. 비싸고, 느리고, 추가적 인간 오류에 노출됩니다. 네이티브 되돌리기가 있는 시스템에서 실패는 관리된 사건입니다. 상태가 마지막 유효 지점으로 돌아가고, 그 사건의 기록이 검토에 공급되고, 운용은 계속됩니다. 시스템에 행위성을 주기를 두려워하는 기관과, 되돌릴 줄 알기 때문에 행위성을 줄 수 있는 기관의 차이입니다.

완전한 순환: 위임, 실행, 검토, 승격, 필요하면 되돌리기

다섯 기둥은 목록이 아니라 순환으로 작동합니다. 기관이 범위와 예산을 갖춘 임무를 위임하고, 존재가 격리 환경에서 실행하며, 산출물이 독립적 검토를 거치고, 검토를 통과한 것이 시험 관문을 지나며, 관문을 지난 것이 되돌리기를 무장한 채 승격됩니다. 그리고 모든 단계가 — 실패, 초과된 예산, 불일치한 검토까지 포함해 — 영구 감사 추적에 들어갑니다.

결과는 우리가 가장 중요하다고 보는 속성입니다. 재구성 가능한 권위입니다. 몇 달 뒤에 감사자는 무엇이, 누구에 의해, 어떤 예산으로 위임되었는지, 무엇이 산출되었는지, 누가 검토했는지, 관문이 무엇을 측정했는지, 무엇이 올라가고 무엇이 돌아왔는지를 재구성할 수 있습니다. 거버넌스된 행위성은 불신으로 감시되는 행위성이 아니라, 그 행사가 신뢰를 믿음의 도약이 아니라 결론으로 만들 만큼 충분한 흔적을 남기는 행위성입니다.

왜 이것이 지금 중요한가

AI 시스템에 행위성을 부여하라는 압력은 커지기만 할 것입니다. 운용적 가치가 거기에 있기 때문입니다. 장식적 답변이 아니라 처음부터 끝까지 실행되는 완전한 임무입니다. 그 가치를 안전하게 포착하는 기관은 압력이 도착하기 전에 거버넌스 구조를 구축해 둔 기관일 것입니다. 샌드박스, 예산, 검토, 관문, 되돌리기는 첫 사건 이후에 즉흥적으로 만드는 기능이 아니기 때문입니다.

Demix가 자신의 존재들 — 우리의 발행물에서 설명한 시스템을 개발하고 시험하고 유지하는 바로 그 존재들 — 에서 구축하고 운영하며, 기관적 AI 존재를 위한 기반으로 제공하는 인프라가 바로 이것입니다. 실제 행위성, 설계상 억제되고, 독립성으로 검증되고, 설계상 되돌릴 수 있는 행위성입니다. 조직이 서명할 수 있는 자율성입니다.