想衡量您的企业AI计划吗？

自从本系列开始探讨企业AI的关键误解以来，我已经解决了组织方面的挑战，AutoML加剧影子AI 的潜力，以及最近出现的将ModelOps作为DevOps扩展的陷阱。同样在这段时间里，世界被冠状病毒所颠覆，我们所有人都面临着挑战，其中包括花一点时间进行优先排序。

对我而言，冠状病毒危机的众多影响之一是深信，我们作为AI从业者所做的工作具有巨大的潜力，可以帮助我们在存在威胁的情况下生存和发展。反过来，这更加迫切需要确保我们的组织有足够的能力来部署AI，以应对可能应用的所有挑战。因此，由于您的放纵，我将离开我有关企业AI的误解的系列文章，以解决显然已经成为企业AI的核心问题（即模型债务问题）的问题，这是我在上一篇文章中简要谈到的。

人们越来越意识到，数据科学家创建模型的能力与在生产中部署模型的能力之间的差距越来越大。这推动了人们对ModelOps的兴趣，ModelOps是企业范围内的一门学科，使组织能够通过管理模型及其从创建到退役的生命周期来扩展和管理其AI计划。但是到目前为止，几乎没有客观指标可供组织用来评估其ModelOps计划或实际上是其AI计划的有效性。债务范本的概念有助于解决这一需求。

债务模型是一种表达效率低下和瓶颈的业务对组织的ModelOps绩效的业务影响的方法，最好根据以下观察结果进行理解：

1.未在生产中部署的模型没有价值。

2.模型的价值随时间下降。随着世界的变化（并且总是如此），馈送到模型中的数据将不再反映在部署之前用于训练模型的数据中所反映的现实或“运行状况”。由于生产数据中反映的实际操作方式与收集培训数据时存在的方式不同，因此模型的预测能力将下降。根据模型类型和状态更改的速率，模型可能在几周甚至几天内损失其价值的50％或更多。在某些情况下，如果模型根据客户提供的运营制度中的数据做出预测（例如，客户取消保留的可能性，贷款违约率或油价），则实际上可以做出负贡献。不再存在。

3.无法轻易维护或解释的模型是责任。即使在不受监管的行业中，组织也要挑战以证明其模型没有偏见。如果由于可解释性或其他监管问题而在审核过程中必须停止使用某个模型，则该模型将不再构成收益和底线。

这些观察结果表明，与传统软件相比，使用模型在很大程度上要花费时间。在重新培训后或审核期间延迟初始部署或重新部署的成本非常高。

模型债务提供了一种跟踪这些成本并使它们可见的方法，这是识别和解决ModelOps程序中问题的第一步。有许多因素可以导致债务模型化，并且通过使用正确的工具，可以测量和跟踪许多不同的参数。

以下两个指标为围绕模型债务建立KPI提供了一个良好的起点：

•模型生产债务跟踪模型的运行状态，例如“正在生产”或“不在生产中”，并将其与模型的目标运行状况进行比较。通常以“生产天数”为单位进行度量，但可以根据模型的性质和用例以小时或周为单位进行度量。

•模型价值损失将模型生产债务转化为对业务的影响。这可以用美元或模型要影响的任何其他业务KPI来衡量。

计算模型生产债务所需的输入应该相当简单：模型应该在生产中就应该在生产中，或者不是。对于某些类型的模型而言，计算模型价值损失可能比其他模型更为棘手，但是同样，由于模型表面上是为业务目的服务的，因此应该有一些与其性能相关的业务指标，可以针对模型的整个生命周期进行评估和计算。