如何通过数字集成中心使您的数字转型成为现实

文章 (161) 2021-01-30 19:12:54

如今,相对较低的RAM成本和开源软件的可用性使各种规模的公司都可以利用内存计算的性能和可扩展性优势来进行数字转换。内存计算是强大的功能,其中包括数字集成集线器(DIH)架构和混合事务/分析处理(HTAP),它们是企业实施实时业务流程的基础。

数据集成中心架构

驱动实时业务流程的主要挑战是企业在多个内部和外部系统,数据仓库和基于云的数据湖中收集数据,这些数据无法立即用于处理。将这些数据用于实时业务流程通常意味着针对每个操作对多个数据源进行API调用。对于大多数组织来说,这使得实时处理变得极为困难或不可能。

数字集成中心架构是一种可以帮助解决这一挑战的新方法。DIH体系结构创建一个通用的数据访问层,该层可以聚合来自多个本地和基于云的源的数据,并使多个面向客户的业务应用程序可以访问此聚合的数据以进行实时处理。

DIH体系结构利用API服务层,该服务层通过捕获更改数据自动将数据与后端源同步,从而无需业务应用程序直接对每个数据存储进行API调用。内存数据网格已被证明是DIH体系结构的关键组成部分。利用统一的API,内存数据网格可以缓存来自许多基础数据存储的数据,包括数据库,SaaS应用程序和传入的数据流。然后,面向客户的网站和后台应用程序等业务线应用程序可以直接访问缓存的数据以进行实时处理。

GridGain客户24 Hour Fitness 在最近的一次行业会议上描述了一个用例,该案例中它使用内存数据网格创建了DIH架构。该系统缓存来自公司SaaS计费系统的数据,每15分钟更新一次缓存。缓存的数据可用于多个业务应用程序,这些业务应用程序可以同时查询缓存,而无需为每个操作都对SaaS计费系统进行API调用。这可以确保客户,员工和业务分析师快速访问所需的当前信息,从预定约会到会员费状态。可以轻松编写其他功能来处理数据,并且大大减少了对SaaS系统的API调用。

使用DIH架构,金融服务公司可以创建360度客户视图来提高销量和交叉销量,零售商可以将当前的购买数据与库存和网页访问数据结合起来,以增强实时推荐引擎。此外,部署物联网平台的公司可以创建一个通用数据层,以此为基础,他们可以处理和查询当前和已归档的传感器数据,以提高实时系统的意识。

HTAP带来实时性能

内存中计算可以支持数字转换的速度和规模需求的另一种重要方式是启用混合事务/分析处理(HTAP),也称为混合操作/分析处理(HOAP)。HTAP使您能够在不影响性能的情况下,对公司的交易数据集(例如投资记录簿)执行实时分析(例如计算总体投资组合风险和资本需求)。

数十年来,公司已将其在线分析处理(OLAP)系统与其在线事务处理(OLTP)系统分离开来,以确保性能SLA。但是,此拆分需要耗时的提取,转换和加载(ETL)过程,才能将数据从OLTP系统定期复制到OLAP系统。由于ETL周期之间存在延迟,因此定期ETL成为实时分析处理的障碍。但是,对交易数据进行实时分析对于驱动实时业务流程并响应诸如实时法规要求之类的需求至关重要。

可以将所有相关数据保存在RAM中并支持大规模并行处理(MPP)的内存中计算平台可以提供HTAP所需的规模性能。HTAP还消除了IT人员构建和维护单独的昂贵OLAP系统的需要。

内存中的计算基础

支持DIH架构和HTAP的关键技术是内存数据网格,该网格通常作为内存计算平台的一部分提供。这些平台汇集了可用RAM和服务器群集的计算,将所有数据保留在RAM中,从而消除了访问基于磁盘的数据库中存储的数据时产生的延迟。通过MapReduce方法的MPP可以进一步提高性能。

如果组织的数字化转型基于对来自多个数据源的数据的实时处理,则应考虑探索内存计算技术的潜力,以支持数据集成中心架构或混合事务/分析处理。

福布斯技术委员会(Forbes Technology C

THE END

发表回复