云平台的现代数据管理

云通过简化技术和工具，改变了数据世界及其使用方式。这种变化不仅是技术上的，而且是文化上的。云为数据市民和应用程序用户提供了一个更强大，更敏捷的模型，以“及时”模型执行其任务。

尽管云带来了简单性，但由于缺乏敏捷性和可伸缩性，并且受传统技术的限制，传统的数据管理方法变得无关紧要。许多云实施和迁移项目受到影响，因为实施这些项目的人继续依赖于数据管理或治理的旧模型。

比较我们今天要去的地方：

•IT通过IT治理将数据控制为自助服务。

•刚性基础架构可扩展和灵活。

•基础架构到完全托管服务的管理开销。

•购买固定设备按使用付费。

•用于按需使用任何服务的预定工具和系统。

•数据孤岛通过统一的数据湖进入数据市场。

•基于直觉的决策，以数据为依据的业务决策。

考虑到上述更改，我将讨论如何将遗留数据管理框架现代化为基于自助数据管理的框架，以利用新的工作模型。

公司可能决定现代化其数据管理框架的一些常见原因包括：

•新的合规要求。

•法规增加或更改。

•数据和网络安全性增强。

•网络攻击。

•组织目标-“数据驱动”。

•新型用户-数据科学家。

•采用开源软件。

•诸如现代数据库之类的技术差异不支持数据约束。

迫切需要将遗留数据管理现代化为自助数据管理模型。它使企业能够在内置的安全性和数据质量模型下轻松访问数据。

自助数据管理的好处包括：

•端到端自动化（消耗土地）。

•所需的最低限度的协调和协作。

•责任和知识在企业级共享和分发，不仅限于数据管理团队。

•涵盖数据治理的所有象限，例如技术，业务，运营，治理和安全性。

•主动而不是被动。

•成为自助服务分析的基础。

•优化的平台成本（降低云成本）。

数据管理支柱及其现代化

以下是数据管理的支柱，这些是花哨的，复杂的问题，即使在小型数据世界中也难以解决，并且不足以管理云。让我们仔细研究一下更改内容和更改方法。

数据目录：将数据目录从技术元数据扩展到不同类别，例如业务，运营，安全和治理元数据。使用自然语言处理（NLP）和知识图技术来丰富业务元数据并自动执行数据资产的标记和分类法分类。云带来的新资产很少，例如云存储，新的数据管理生命周期和新的报告工具。

数据沿袭：不仅在数据实体级别而且在属性级别自动捕获端到端数据沿袭。属性级别的沿袭信息有助于得出许多与法规遵从性相关的用例，例如属性可追溯性（数据从原始到消耗），敏感数据使用情况，任何非法数据使用情况等等。使用图形数据库来整理和维护血统。这有助于更好地查询链接，以进行数据审核用例。

审核和日志记录：使用审核日志，而不要进行访问审查。建立一个自动管道，从审计日志中提取相关信息，并用数据资产标记它们，从而将其转变为可用资产。“谁在做什么，何时何地以及如何做”是审计日志所期望的非常流行的用例之一。但是，建议对安全审计以外的其他用例使用“对审计日志的洞察”。它有助于获得与分析用例相关的访问模式和见解，例如暗数据问题，费用分摊模型，数据集的分类，降低使用成本的机会以及识别冗余工作负载，数据集和活动并尝试统一它们。

数据安全性和保护：应该通过从登陆层自动识别敏感数据，并跟踪所有其他层的访问，来仔细处理所有敏感信息。自动化应涵盖整个范围，例如敏感数据的标识，标记，为这些标记应用策略以及开始跟踪这些实体的使用。云平台提供了许多工具来管理数据保护。它涵盖了广泛的范围，例如身份验证，访问控制，备份和灾难恢复，加密，屏蔽和擦除。

数据分析和质量：由于云数据库中的技术限制，传统数据管理需要现代化。例如，现代数据库都没有关系约束检查（例如主键，外键和其他约束）从批处理模式更改为实时。这些要点带来了各种各样的挑战，以评估数据的质量并清理数据。但是好消息是，云可伸缩性使我们几乎可以在整个数据集上（如果需要）开发和执行复杂的规则，而不会影响任何其他使用者。

数据体系结构：评估使用者的数据访问模式，并使用这些推断来构建新的数据模型。由于去规范化和规范化都需要权衡取舍，因此请以充分了解的方式现代化数据模型。对于较老的企业，很有可能将数据模型转换为推断的数据模型（基于访问模式分析构建的数据模型）。所有现代数据库在管理存储，文件格式，压缩和提供可伸缩性方面在技术上都不同。通过对访问模式进行适当的评估来现代化数据模型，有助于优化和降低成本。

结论

为了适应数据驱动的文化，企业必须首先对其数据管理生态系统进行现代化。考虑到所有合规性和质量，这可以使数据轻松便捷地获得高质量。