雄心勃勃的AI应用程序的关键是高质量和准确的数据

文章 (15) 2021-03-26 11:03:00

为了保证这些AI创新的有效性,技术领导者必须确保为技术提供动力的数据是高质量的。借助无偏的算法和干净的数据集,人工智能的可能性是无限的。

那么,成功解锁AI的关键是什么?领导者需要考虑几件事。

首先是有效利用机器学习辅助注释。我的公司使用ML辅助注释工具,通过这种经验,我发现该技术可以使公司创建可扩展的高质量反馈循环,该过程首先需要人工培训机器,然后进行机器辅助,然后再进行重复。这些应用程序还可以帮助减少算法偏差的危险。

为了确保有效性,业务主管应在合并ML辅助注释时考虑一些最佳实践。我发现优先发展和培养ML产品团队是最有益的。人工检查准确性是AI算法质量和性能的关键组成部分。考虑到这一点,产品负责人和经理应始终举行培训课程和全体团队会议,以鼓励持续的学习和技能改进。

除了使用ML辅助注释外,领导者还可以使用特定策略来抵消训练数据中的偏见。其中之一是避免样本偏差并确保代表现实。获取和选择培训数据时要牢记最终结果,这对于避免样本偏差和班级不平衡至关重要。例如,如果要识别行人,请显示显示所有人口统计信息中的人员的城市街道数据。很少有人参与的高速公路数据将无法帮助您确保算法中数据的公正性。并且随着世界的变化,每年刷新几次数据。

此外,在训练数据集测试之前,请务必先测试算法是否有偏差。这包括执行交叉数据集一般化之类的工作,其中您测试了在一个数据集上训练到另一个数据集上的模型。这最适合对象检测模型。另外,您应该执行负偏差测试,在该测试中,使用来自其自身集合的正分类器但使用来自许多数据集的负分类器来测试集合。这显示了正片是否在特定对象上起作用,而不是在整个场景上起作用。

另一个解决方案是将问题或算法划分为子问题。为此,您可以轮流训练一些本地化的类,而不是一次训练数据中的所有对象。例如,如果您正在训练一种算法来识别零售在线站点中的图像,则可以先训练所有类型的鞋子,然后再穿上裤子等,而不是一次训练整个目录。

THE END

发表评论