Инфраструктура знаний: семантический поиск в масштабе

Системы искусственного интеллекта ровно настолько хороши, насколько хорошо знание, которое они способны извлечь в момент решения. Изощрённая модель без доступа к нужному массиву в нужный момент выдаёт беглые и беспочвенные ответы — образец, который отрасль научилась бояться. Поэтому за каждым серьёзным применением ИИ стоит слой, редко получающий публичное внимание и молча определяющий качество всего, что над ним: инфраструктура знаний.

Demix строит и эксплуатирует этот слой — и эта статья описывает на уровне метода, что он требует: гибридное извлечение, масштаб с проверенной целостностью и миграции, которые не доверяют сами себе.

Гибридный поиск: лексический, векторный и по графу

Зрелое извлечение знаний не выбирает одну парадигму — оно сочетает их, потому что каждая отвечает на свой класс вопросов.

Лексический поиск точен и буквален: находит термин, аббревиатуру, идентификатор. Он отказывает, когда вопрос использует слова, отличные от слов документа. Векторный поиск улавливает смысл: находит документ, отвечающий намерению, даже при иной лексике. Он отказывает в хирургической точности — и может принести правдоподобных, но неверных семантических соседей. Поиск по графу улавливает связи: находит то, что соединено с найденным, следуя структуре знания — документы, которые цитируют, системы, которые зависят, решения, которые предшествуют.

Инфраструктура Demix ведёт все три парадигмы интегрированно по одному и тому же массиву: сотни тысяч проиндексированных фрагментов знания, с комбинированной оценкой и переранжированием по релевантности. Практический результат — извлечение, одновременно точное (точный идентификатор находится), семантическое (намерение понимается) и структурное (связанный контекст приходит вместе). Для применений ИИ, потребляющих это извлечение, разница между одной парадигмой и тремя есть разница между цитированием и пониманием.

Масштаб с целостностью: у каждого фрагмента есть адрес

Масштабировать поиск — не просто накапливать документы, а сохранять свойства при росте. Три из них в инфраструктуре Demix не подлежат обсуждению.

Первое — происхождение: каждый извлечённый фрагмент несёт свой источник — из какого документа пришёл, когда был проиндексирован, под какой версией. Ответ ИИ, построенный на извлечении без происхождения, неаудируем по построению; с происхождением каждое утверждение прослеживается до источника, и оператор может проверить, а не поверить.

Второе — проверенная целостность: массив поддерживается под проверкой согласованности на уровне объектов — недостаточно считать записи, нужно проверять содержимое. Молчаливое повреждение индекса — один из самых опасных отказов, какие бывают, потому что система продолжает уверенно отвечать по деградировавшим данным. В инфраструктуре Demix целостность массива проверяется независимо и периодически, и любое расхождение трактуется как инцидент, а не как шум.

Третье — измеренная непрерывность: резервные копии с проверкой восстановления. Копия, никогда не восстановленная, есть обещание; копия, восстановление которой отработано и измерено, есть свойство. Demix поддерживает режимы ежедневного копирования с заданным хранением и испытаниями восстановления — та же дисциплина, описанная в нашей публикации о проверенной непрерывности, применённая теперь к слою знаний.

Миграции, которые не доверяют сами себе

Инфраструктура знаний растёт через миграции: целые массивы меняют движок, схему, сервер по мере эволюции масштаба и требований. Момент миграции — момент наибольшего риска, и распространённая практика «мигрировать и надеяться» в нашей трактовке недопустима для критически важных нагрузок.

Метод Demix трактует миграцию как операцию с проверкой в три этапа. До: полная инвентаризация и контрольная сумма исходного состояния — точно известно, что существует, в каком количестве и содержании. Во время: передача с подсчётом и проверкой по партиям, никогда за один раз. После: сверка объект за объектом между источником и назначением, с повторной проверкой целостности на назначении и сохранением источника нетронутым до утверждения финальной проверки. Миграция объявляется завершённой только тогда, когда назначение доказывает — подсчётом, контрольной суммой и выборочным извлечением, — что содержит источник.

Этот метод уже отработан на реальных крупномасштабных операциях в инфраструктуре Demix, включая перенос массивов в сотни тысяч фрагментов между движками векторного поиска и специализированными платформами данных, с полной сверкой и нулевой подтверждённой потерей. Мы приводим эти числа не как маркетинг, а как доказательство того, что метод работает в реальном масштабе — единственной среде, где методы непрерывности что-либо доказывают.

Невидимый слой применений ИИ

Почти вся публичная дискуссия об ИИ идёт на видимом слое — модели, ответы, интерфейсы. Инфраструктура знаний — противоположность: невидима, когда работает, катастрофична, когда отказывает. Деградировавшее извлечение не обрушивает систему; хуже — система продолжает работать, выдавая уверенные ответы по неполному, повреждённому или отсутствующему знанию. Это тот класс отказов, который культура наблюдаемости Demix трактует с наивысшим приоритетом: молчаливые отказы требуют активной проверки, потому что никогда не объявляют о себе.

Поэтому этот слой получает ту же инженерную обработку, что мы посвящаем всему критическому: независимую проверку целостности, происхождение по каждому фрагменту, миграции с доказанной сверкой, непрерывность с измеренным восстановлением. Операционное знание — не склад; это живая система со свойствами, которые нужно поддерживать каждый день работы.

Суверенитет знания

Есть последнее измерение, и для Demix оно основополагающее. Знание институции — её документы, её решения, её техническая память — суверенный актив. Индексировать его, извлекать его и питать им системы ИИ через иностранные сервисы значит передавать за пределы национальной юрисдикции ровно то, к чему ИИ институции нуждается в доступе больше всего. Инфраструктура знаний Demix работает целиком по принципам, опубликованным нами в материале о суверенной инфраструктуре: вычисления и данные под национальной юрисдикцией, с детерминизмом и аудитом как свойствами.

Институциональное послание просто: Demix строит слой знаний, на котором работает суверенный искусственный интеллект, — с реальным масштабом, проверенной целостностью и той дисциплиной доказательности, что отделяет инфраструктуру критической миссии от добросовестного эксперимента.