以证据文化驱动工程:构建能够证明自身主张的系统
专用基准测试、将验证与审计作为原则:每一项能力主张都附带其证明。这正是我们吸引要求严谨的客户与重视严谨的工程师的方式。
在技术领域,最危险的一句话是"它应该能工作"。当无人测量、测试被跳过、一次演示成功便被固化为信念时,这句话就会出现。关键任务系统不能建立在信念之上,必须建立在证据之上。
在 Demix,证据文化不是墙上的标语,而是一种工作方法:每一项能力主张都附带支撑它的证明,任何能力在被验证之前都不会被宣布。这一原则组织着一切——从决定构建什么,到我们与客户的沟通方式。
证据文化在实践中的面貌
证据文化始于顺序的颠倒。我们不是先构建、再宣布、然后试图证明,而是先构建、先证明,然后才宣布。这听起来差别不大,实际上却改变了产品的本质。
第一个要素是测量先于意见。当关于性能、连续性或决策质量的问题出现时,答案不来自房间里资历最深的人——而来自为回答该具体问题而设计的实验。意见对于选择测量什么是有用的,但不能用来替代测量。
第二个要素是可复现性。只发生一次的结果不是证据,而是一次有记录巧合。因此,我们所主张的一切都必须能在声明的条件下复现——并且我们必须能够精确陈述这些条件。
第三个要素是记录留存。未被保存的证据会随着产生它的人一同消失。保留关于测试了什么、结果如何、在何种背景下取得的记录,能将一次性努力转化为机构知识。
专用基准测试:未被测量的,便不予宣布
构建自己的基准测试之所以罕见,是因为它费时费力。即使公共指标并不能代表真正的问题,采用它也颇具诱惑。我们选择了更艰难的道路:在我们自己的领域内定义什么才算好的结果——并以一致且可重复的方式加以测量。
这一选择带来三个结果。第一是内部诚实:用一个专为你要解决的问题而设计的指标来欺骗自己是困难的。第二是可比较性:来自同一组测量、随时间追踪的结果,揭示的是真实进展而非主观印象。第三是客户沟通:我们呈现的是方法——测量了什么、如何测量、在何种条件下——而非形容词。
一个构建良好的基准测试不是营销,而是证明工程。
将验证与审计作为常规
仅有文档不能证明任何事。需要一个独立机制来确认系统对自身的声称——某个人,或某个事物,能够在官方记录出错时予以反驳。
正因如此,验证与审计程序是运营的一部分,而非年度报告。密码学签名确认制品与其声称的一致。可审计记录允许重建发生了什么、何时发生、经谁授权。独立验证实践防止系统成为自身事业的裁判。
收益不仅在于外部信任。在内部,知道一切都会被验证会改变文化:质量门槛提高,因为最快的路径不再是那条最草率的路径。
为何这能吸引合适的客户与合适的人才
运营关键基础设施的客户购买的不是热情,而是可预测性。当有人必须为一份防务或连续性合同签字时,问题不是"你们优秀吗?",而是"你们如何证明?"。一家拥有证据文化的公司以方法而非辞令回答这个问题——而这个回答正是将兴趣转化为持久关系的关键。
同样的逻辑也适用于吸引人才。标准高的工程师往往对晋升取决于曝光度而非成果的环境持怀疑态度。一个重视测量、验证与记录的文化,会吸引那些真正喜欢解决问题的人——并过滤掉那些偏好叙事的人。对于一家构建要求精确的系统的公司而言,这正是它想要的筛选。
这一文化内部有一条重要界线:证明能力并不意味着暴露运营细节。基准测试可以公布方法与结果,而不泄露内部架构。验证实践可以被描述,而不必记录实现细节。区别在于展示严谨,与向任何寻找薄弱点的人交出地图。
这种审慎本身就是文化的一部分。每一份技术材料在发布前都经过同一道过滤:对手会从中获得有用的信息吗?如果答案是肯定的,就删去。如果是否定的,就发布——因为在信任难以建立的环境中,方法的透明正是维系信任的关键。
这种严谨是有代价的,值得明确指出:先测量再宣布会使某些周期更长,并要求机构具备耐心。回报在后期到来——当经过验证的能力可以无需返工地复用,当一次回归由一个数字而非一位不满的客户发现时。在关键任务系统中,及早付出这一代价,总是比晚期才发现要便宜。
技术潮流会过去。留下来的是在压力之下、随时间推移证明系统兑现其承诺的能力。构建起这种能力的公司,会积累一项难以复制的资产:一份可验证的业绩记录。
这就是 Demix 的承诺。我们构建关键任务基础设施,并将证明视为产品的一部分。每一项主张都附带其证据——正因如此,我们的主张才经得起追问、检验与维护。