2021年AI供应商的主要问题

文章 (14) 2021-03-25 15:24:47

人工智能的发展速度似乎并不会很快放缓。有了每一个新的突破,企业AI市场将变得越来越聪明。这个不断增长的市场的一个症状是“ AI清洗”的趋势,我预计这种趋势将持续到2021年。营销人员继续使用“ AI”一词来包装看起来像AI的产品,但实际上是“如果这样,那么那个基于规则的系统。

为了使买家感到困惑,第一批决策者通常不是AI专家。他们可能很难理解幕后的情况,尤其是在拥挤的市场中,看似相似的解决方案。

如果您不熟悉AI,请确保在下次必须审查AI供应商时提出这四个问题。

1.入职期间需要多少用户精力?定期进行中的用户互动如何?

最好的AI产品经过预培训,旨在提供开箱即用的性能和可扩展性。

询问供应商产品是否已准备好在第一天投入使用,而无需用户进行任何编程即可提供准确的结果。寻找描述快速入职过程的答案。如果供应商真正提供了经过预先培训的AI,则只需几天或几周的时间即可启动并运行该平台。

可靠的AI产品需要最少的持续用户交互。用户需要参与的唯一方式是他们是否定期希望帮助AI变得更聪明。尽管AI应该开箱即用,但拥有一个反馈循环使用户可以轻松调整自己的模型仍然很有帮助。经过精心设计的AI产品将提供一个内置的反馈循环,使用户可以验证某些输出或使误报或误报无效。

随着AI变得更加准确,应该减少涉及的调整,并且产品应始终限制可能对用户造成影响的可能性。用户可能会通过错误的方向对其进行训练而无意间降低了模型的质量,从而导致AI返回越来越不准确的预测。这称为“模型漂移”,通常发生在模型对新数据过度拟合并停止处理以前可以正常使用的数据时。

您无需担心精心设计的AI产品的模型漂移。同类产品中的佼佼者将能够以不破坏历史数据的方式平衡旧数据和新数据,同时仍可改进新变量。

2.随着时间的推移,人工智能会变得更智能,更准确吗?

当您处于反馈循环这一主题时,这是一个很好的时机,以了解该产品是使用高级机器学习还是基于规则的或RPA系统。

基于规则的系统基本上使用“ if-then”逻辑。您可以完善规则,使它们变得更复杂或更复杂,但这始终是确定性的方案。您无法向基于规则的系统提供反馈,这意味着该模型不会变得更加智能。

相比之下,深度学习AI产品预计会随着时间的推移而学习和改进,因为它们的模型会不断地进行训练和再训练。

AI供应商应执行对准确性指标的实时监控,以确保模型保持在某些基准之上,这会因行业而异。例如,在我工作的合同管理空间中,从合同中提取关键信息的AI模型的精度和召回率应始终高于90%或95%。

当用户使用解决方案(例如更新数据或覆盖AI)时,供应商应继续监视该准确性。如果下降,则该软件应触发对新数据进行用户模型的重新训练,以将其提升回原始的成功指标。

3.人工智能会处理以前从未训练过的数据吗?

寻找答案来说明他们的系统如何与用例或从未见过的内容一起使用,或如何在不同行业和行业中使用。例如,在合同管理中,最好的解决方案在所有合同类型中都能很好地工作。这包括第三方票据或新型合同。

进行现场演示,并带上自己的内容以实时判断数据提取。如果他们提前太多天询问内容,请保持警惕,这表明可能存在数据输入场,而不是真正的AI解决方案。

4.我对AI有多少可见度?

好的供应商使您可以轻松地验证数据或AI输出的质量。向您显示提取数据来自何处的平台使您的团队可以更快地查看并判断输出是否正确。放弃QC流程首先就失去了使用AI的目的-您仍然必须手动检查所有材料以验证AI的准确性。

结论

如果您没有其他文章,请记住现场演示的价值。您有机会将供应商置于热门位置,以证明他们可以满足您的特定要求。您还将获得有关产品在用例中的性能的良好快照。

最棒的是,现场演示将向您展示AI如何实时分析以前从未见过的数据。如果它不能当场工作,则可能是它比“真实” AI更依赖于手动训练的信号。

THE END

发表评论