知識インフラストラクチャ：大規模な意味検索

人工知能システムは、意思決定の瞬間に検索できる知識と同じ程度にしか良くない。適切な文書群に適切な瞬間にアクセスできない洗練されたモデルは、流暢でありながら根を欠いた答えを生む。産業界が恐れることを学んだパターンである。したがって、あらゆる真剣なAI応用の背後には、公の注目をほとんど受けることなく、その上位にあるすべての品質を静かに決定する層が存在する。すなわち、知識インフラストラクチャである。

Demixはこの層を構築し運用する。本稿は方法の水準でそれが要求するものを記述する。ハイブリッド検索、検証された完全性を伴う規模、そして自らを信頼しない移行である。

ハイブリッド検索：語彙、ベクトル、グラフ

成熟した知識検索は一つのパラダイムを選ばない。それらを組み合わせる。それぞれが異なるクラスの問いに応えるからである。

語彙検索は正確で字義的である。用語、略語、識別子を見つける。問いが文書と異なる語を用いるときに失敗する。ベクトル検索は意味を捉える。語彙が異なっても意図に応える文書を見つける。外科的な精度で失敗する。もっともらしいが誤った意味的隣人をもたらし得る。グラフ検索は関係を捉える。見つかったものに接続されたものを見つけ、知識の構造を辿る。すなわち、引用する文書、依存するシステム、先行する決定である。

Demixのインフラストラクチャは三つのパラダイムを同一の文書群上で統合的に運用する。数十万件の知識断片が索引され、統合されたスコアと関連性による再順位付けが行われる。実務上の結果は、同時に正確（正確な識別子が現れる）で、意味的（意図が理解される）で、構造的（関連する文脈が一緒に来る）な検索である。この検索を消費するAI応用にとって、一つのパラダイムと三つの差は、引用することと理解することの差である。

完全性を伴う規模：各断片には住所がある

検索を拡張することは文書を蓄積することだけではない。成長の下で特性を維持することである。Demixのインフラストラクチャでは、そのうち三つが譲れない。

第一は出所である。検索された各断片は自らの起源を携える。どの文書から来たか、いつ索引されたか、どのバージョン下でか。出所のない検索の上に構築されたAIの答えは、構築によって監査不能である。出所があれば、各主張は出典まで辿ることができ、運用者は信じる代わりに検証できる。

第二は検証された完全性である。文書群はオブジェクト単位の一貫性検証の下で維持される。記録を数えるだけでは足りない。内容を検証する必要がある。索引の静かな破損は、存在する最も危険な故障の一つである。システムが劣化したデータについて自信をもって応答し続けるからである。Demixのインフラストラクチャでは、文書群の完全性が独立的かつ定期的に検証され、いかなる不一致もノイズではなくインシデントとして扱われる。

第三は測定された継続性である。復元検証を伴うバックアップである。一度も復元されたことのないバックアップは約束である。復元が演練され測定されたバックアップは特性である。Demixは定義された保持期間をもつ日次コピー体制と復元試験を維持する。検証された継続性に関する我々の刊行物で述べたのと同じ規律を、今度は知識層に適用したものである。

自らを信頼しない移行

知識インフラストラクチャは移行によって成長する。規模と要件が進化するにつれ、文書群全体がエンジン、スキーマ、サーバーを変える。移行の瞬間は最もリスクの高い瞬間であり、「移行して祈る」という一般的な慣行は、我々の読みでは、ミッションクリティカルな負荷に対して許容できない。

Demixの方法は移行を三段階の検証を伴う運用として扱う。事前：完全な棚卸しと移行元状態のチェックサム。すなわち、何が存在するかが量と内容において正確に分かる。最中：バッチごとの計数と検証を伴う転送。決して一度にすべてではない。事後：移行元と移行先のオブジェクト単位の照合。移行先での完全性の再検証と、最終検証が承認されるまでの移行元の無傷な保持を含む。移行は、移行先が計数、チェックサム、検索のサンプリングによって移行元を含むことを証明したときにのみ、完了と宣言される。

この方法は、Demixのインフラストラクチャにおける大規模な実運用で既に演練されている。数十万件の断片からなる文書群を、ベクトル検索エンジンと専用データプラットフォームの間で転送し、完全な照合と検証されたゼロ損失を達成した事例を含む。これらの数値をマーケティングとして引用するのではない。方法が実規模で機能することの証拠として引用する。実規模こそ、継続性の方法が何かを証明する唯一の環境である。

AI応用の見えない層

AIに関する公の議論のほとんどは可視の層で起こる。モデル、答え、インターフェースである。知識インフラストラクチャはその反対である。機能するときは見えず、失敗するときは破滅的である。劣化した検索はシステムを倒さない。さらに悪いことに、システムは作動し続け、不完全で、破損し、あるいは欠落した知識について自信に満ちた答えを生み続ける。これはDemixの可観測性文化が最優先で扱う故障のクラスである。静かな故障は能動的な検証を要する。決して自らを告げないからである。

だからこそこの層は、我々がすべての重要なものに捧げるのと同じ工学的扱いを受ける。独立した完全性検証、断片ごとの出所、証明された照合を伴う移行、測定された復元を伴う継続性である。運用知識は倉庫ではない。毎日の運用において維持されなければならない特性をもつ生きたシステムである。

知識の主権

最後の次元があり、Demixにとってそれは創設的なものである。制度の知識——その文書、その決定、その技術的記憶——は主権的資産である。それを索引し、検索し、外国のサービスを通じてAIシステムに供給することは、制度のAIが最もアクセスする必要とするものを国家管轄の外へ移すことである。Demixの知識インフラストラクチャは、主権インフラストラクチャについて我々が公表した原則の下で全面的に運用される。すなわち、計算資源とデータを国家管轄下に置き、決定性と監査を特性とすることである。

制度的メッセージは単純である。Demixは、主権的人工知能が作動する知識層を構築する。実規模、検証された完全性、そしてミッションクリティカルなインフラストラクチャを善意ある実験から分ける証拠の規律をもって。