知识基础设施:规模化语义搜索
把档案转化为运行知识的层次:面向数十万份文档的混合检索——词汇、向量与图——以对象级验证的迁移和可审计的完整性为支撑。
知识基础设施:规模化语义搜索
人工智能系统的好坏,取决于它能在决策当下检索到多少知识。一个无法在正确时刻访问正确档案的精巧模型,只会产出流利而无根的答案——一个产业已学会畏惧的模式。因此,在每个严肃的 AI 应用背后,都有一层很少获得公众注意、却悄然决定其上一切质量的层次:知识基础设施。
Demix 构建并运营这一层次。本文在方法层面阐述它需要什么:混合检索、带经验证完整性的规模,以及不信任自身的迁移。
混合检索:词汇、向量与图
成熟的知识检索不选择单一范式,而是把它们结合起来——因为每一范式回答的问题类别不同。
词汇检索精确而字面:它找到术语、缩写、标识符。当提问用词与文档不同时,它会失败。向量检索捕捉语义:它找到用词不同、却回应意图的文档。它会在精确性上失败,可能带回看似合理却错误的语义邻居。图检索捕捉关系:它沿着知识的结构,找到与所找到之物相连的东西——引用它的文档、依赖它的系统、先于它的决策。
Demix 的基础设施在同一份档案之上统一运营三种范式,对数十万个已索引的知识片段施加组合评分与相关性重排。实际结果是一种同时精确(精确标识符会出现)、语义(意图被理解)且结构(相关语境随行)的检索。对于消费这一检索的 AI 应用而言,单一范式与三种范式的差别,就是引用与理解之间的差别。
带完整性的规模:每个片段都有地址
扩展检索不只是堆叠文档:它是在增长中保持属性。在 Demix 的基础设施中,有三件事不可让步。
第一是出处。每个被检索到的片段都有自己的来历:它出自哪份文档、何时被索引、当时处于哪个版本之下。建立在无出处检索之上的 AI 答案,在设计上就是不可审计的。有了出处,每一句陈述都能追溯到源头,运营者可以验证,而不必相信。
第二是经验证的完整性。档案在对象级一致性验证之下维护:记录计数不够,内容必须被核实。索引的静默损坏是存在的最危险故障之一——因为系统会继续在退化数据之上自信作答。在 Demix 的基础设施中,档案完整性被独立且周期性地验证;任何不一致都被当作事件处理,而不是噪声。
第三是经测量的连续性。被验证过恢复的备份。从未被恢复过的备份是一句承诺;恢复被演练并被测量的备份才是一项属性。Demix 以明确的保留期维持每日副本体制与恢复演练——把我们在关于经验证连续性的出版物中的同一套纪律,应用到知识层次。
不信任自身的迁移
知识基础设施靠迁移成长:随着规模与需求的变化,整个档案会更换引擎、模式与服务器。迁移时刻是最危险的时刻,“先迁移再祈祷”这一常见做法,在我们的理解里,对关键任务负载是不可接受的。
Demix 的方法把迁移当作带有三个验证时刻的操作。迁移前:对源状态做完整清单与校验和——确切知道存在什么、有多少、内容是什么。迁移中:按批次而非一次性传输,并伴随计数与验证。迁移后:源与目标之间的对象对对象核对、在目标上的完整性复验,并在最终验证被批准之前保持源完好无损。只有当目标被证明——通过计数、校验和与检索抽样——包含源时,迁移才被宣布完成。
这套方法已在 Demix 基础设施的大规模真实运行中经过演练:包括在向量检索引擎与专用数据平台之间迁移数十万片段的档案,以完整核对和经核实的零损失完成。我们引用这个数字,不是当作营销,而是当作方法在真实规模上有效的证据——真实规模是连续性方法能证明什么的唯一环境。
AI 应用的隐形层次
几乎所有关于 AI 的公开讨论都发生在可见层:模型、答案、界面。知识基础设施恰恰相反:工作时隐形,失败时灾难性。退化的检索不会让系统崩溃——更糟:系统继续运转,在不完整、被损坏或缺失的知识之上产出自信的答案。这是 Demix 的可观测性文化优先处理的故障类别:静默失败要求主动验证,因为它不会自我报告。
因此这一层次获得我们对一切重要事物所给予的同等待遇:独立完整性验证、片段级出处、核对被证明的迁移、恢复被测量的连续性。运行知识不是一座仓库,而是一个活系统——其属性必须每天都在维持。
知识的主权
还有最后一个维度,对 Demix 而言它是立身之本。机构的知识——文档、决策、技术记忆——是主权资产。把它索引、检索并供给 AI 系统于境外服务,等于把机构 AI 最需要的东西移出国家管辖。Demix 的知识基础设施完全遵循我们就主权基础设施公开发布的原则:计算与数据处于国家管辖之下,确定性与审计作为属性存在。
机构信息很简单。Demix 构建主权人工智能赖以运行的知识层次——以真实规模、经验证的完整性,以及把关键任务基础设施与善意实验区分开来的证据纪律来构建。