Управляемая агентность: автономность с песочницей, бюджетом и аудитом

Дискуссия об агентах искусственного интеллекта колеблется между двумя симметричными ошибками. Первая — отказать им в агентности: системы, которые только отвечают, никогда не действуют, и чья институциональная ценность навсегда остаётся ниже стоимости их содержания. Вторая — дать им агентность без структуры: агенты с полными учётными данными, без изоляции, без бюджета и без проверки, — работающие с доверием, которое оказывают стажёру в первый день, и с охватом системного администратора.

Demix строит управляемую агентность: системы ИИ, работающие по-настоящему — исполняющие, изменяющие, решающие в пределах контура, — под структурой управления, делающей ошибку ограниченной, успех проверяемым, а полномочия всегда реконструируемыми. Эта статья описывает пять опор этой модели на уровне принципа.

Опора 1 — Изоляция: агентность работает в песочнице

Всякое исполнение, делегированное сущности ИИ, происходит в изолированной среде: отдельный процесс, сокращённая системная идентичность, лимиты ресурсов, применяемые самой операционной системой. Агент не наследует привилегии того, кто его создал; он получает минимальные привилегии, необходимые для задачи, — и ничего сверх.

У изоляции две функции. Первая — сдерживание: агент, отказывающий из-за ошибки рассуждения, искажённой инструкции или враждебного входа, отказывает внутри коробки, стены которой определены системой, а не удачей. Вторая — операционная честность: в изолированной среде с ограниченными ресурсами нет молчаливого соблазна обойти лимиты, потому что лимиты физичны. Отказанное разрешение — наблюдаемый результат, а не рекомендация.

Опора 2 — Бюджет: ресурсы конечны и объявлены

Агентность без бюджета — риск без потолка. Каждая делегированная задача несёт явный бюджет ресурсов — время исполнения, объём операций, вычислительная стоимость, — и агент работает внутри него. Когда бюджет исчерпан, задача не продолжается в зомби-режиме: она останавливается, а частичное состояние возвращается структурированно для решения более высокого уровня.

У бюджета есть и экономическая функция, хорошо понятная институциям: он делает стоимость агентности видимой и атрибутируемой. У каждой делегированной операции измеренная стоимость; у каждой сущности прослеживаемое потребление; решения о масштабировании, повторении или отказе от задачи — решения с известной ценой. Автономность с открытой бухгалтерией — это автономность, которую институция способна поддерживать — и проверять аудитом — вдолгую.

Опора 3 — Независимая проверка: кто делает, тот не утверждает

Никакая продукция агента не принимается по простому заявлению самого агента. Модель Demix применяет разделение функций: работа, исполненная сущностью, проходит независимую проверку — другой инстанцией, с тем же доступом к доказательствам и без каких-либо обязательств по отношению к результату, — прежде чем быть принятой.

Независимая проверка бьёт по самому характерному отказу систем, оценивающих себя сами: некалиброванной самоуверенности. Агент, объявляющий успех, склонен объявлять успех; у проверяющего, не производившего артефакт, такой лояльности нет. Там, где проверка находит расхождение между заявленным и проверяемым, работа возвращается — с сохранённой записью расхождения, потому что история почти-ошибок столь же ценна, как история удач.

Опора 4 — Ворота испытаний: продвижение есть завоевание, а не решение

Когда агентность производит изменения в долговечных артефактах — код, конфигурация, содержание — продвижение в официальное состояние проходит через объективные ворота: применимый набор испытаний должен быть зелёным до изменения и зелёным после него. Ворота не торгуются, не интерпретируют и не принимают нарративных обоснований: либо критерии проходят, либо изменение не поднимается.

Эта конструкция переворачивает обычный поток доверия. Вместо того чтобы доверять агенту и проверять после того, как ущерб нанесён, система по умолчанию не доверяет и требует, чтобы изменение доказало свою ценность против критериев, существовавших до него. И критерии не принадлежат агенту: они принадлежат институции. Агент не может ослабить ворота, через которые проходит, — это разделение и делает ворота воротами.

Опора 5 — Автоматический откат: у каждого шага есть обратный путь

Последняя опора делает остальные четыре устойчивыми на практике: обратимость. Продвинутые изменения регистрируются так, что любое продвижение можно отменить — автоматически, когда состояние после ворот оказывается недействительным, или по проверяемому аудитом решению, когда институция выбирает откат. Не существует изменений в одну сторону.

Автоматический откат меняет стоимость ошибки. В системах без отката каждый отказ агентности — инцидент ручного восстановления: дорогой, медленный и подверженный дополнительной человеческой ошибке. В системах с нативным откатом отказ — управляемое событие: состояние возвращается к последней действительной точке, запись эпизода питает разбор, и операция продолжается. Это разница между институцией, боящейся дать агентность своим системам, и институцией, которая может дать агентность, потому что умеет отменять.

Полный цикл: делегировать, исполнить, проверить, продвинуть, откатить при необходимости

Пять опор работают как цикл, а не как список. Институция делегирует задачу с охватом и бюджетом; сущность исполняет в изоляции; продукция проходит независимую проверку; то, что пережило проверку, проходит через ворота испытаний; то, что прошло, продвигается с взведённым откатом; и каждый этап — включая отказы, исчерпанные бюджеты и разошедшиеся проверки — входит в постоянный аудиторский след.

Результат — свойство, которое мы считаем важнейшим из всех: реконструируемые полномочия. Месяцы спустя аудитор может восстановить, что было делегировано, кем, с каким бюджетом, что произведено, кто проверял, что измерили ворота, что поднялось и что вернулось. Управляемая агентность — не агентность, за которой следят с недоверием, а агентность, чьё осуществление оставляет достаточно следа, чтобы доверие было выводом, а не актом веры.

Почему это важно сейчас

Давление в сторону наделения систем ИИ агентностью будет только расти: именно там операционная ценность — целые задачи, исполняемые от начала до конца, а не декоративные ответы. Институции, которые захватят эту ценность безопасно, будут теми, кто построил структуру управления до того, как давление пришло, — потому что песочница, бюджет, проверка, ворота и откат не относятся к средствам, которые импровизируют после первого инцидента.

Именно эту инфраструктуру Demix строит и эксплуатирует в собственных сущностях — тех самых, что разрабатывают, тестируют и поддерживают системы, описанные в наших публикациях, — и предлагает как основу для институциональных сущностей ИИ: реальная агентность, сдержанная по построению, проверенная независимостью и обратимая по конструкции. Автономность, под которой организация может подписаться.