为什么这对数据工程师来说意味着麻烦
数据工程师的数字化转型
数据工程师的数字化转型集中在对数据传递的操作上，无论它起源于何处和需要什么地方。为了操作数据流，数据工程师必须能够与不同的角色协作，重用对等资产，支持生产中的数据管道并随着数据平台和业务需求的变化而充满信心地快速发展。
从数字化转型的角度来看，这可能意味着要完全重新评估工具和集成，这会带来更大的问题。对于数据工程师（乃至整个公司）而言，一个迫在眉睫的问题是，当前的解决方案是否能够处理快速变化的数据管道的复杂性，或是否准备好进行扩展以满足快速更好的分析需求。如果答案是否定的，那么团队需要重新评估公司在数字化转型领域的实际位置。
管理数据集成系统
对于数据工程师而言，去年为适应现代企业的需求而发生的快速变化激发了人们对数据大规模迁移和更多决策者的支持的新关注。
这种转变并不新鲜。在过去的十年中，数字化转型已逐渐对数据行业以及实际上对每个行业产生影响，因为专用应用程序已变得功能强大，足以取代旧版软件。结果就是数字系统依靠集成来连接数据传递中各种应用程序之间的点。随着数据架构中成千上万个集成的挑战，这些现代系统可能变得脆弱，不断变化并且缺乏管理数据漂移所需的纪律。
数据问题看起来像什么
考虑IP地址的更改，该更改中断了到具有数千条数据管道的跨国公司的决策仪表板的关键数据流。六个月未发现中断。这意味着该公司基于包含错误数据的仪表板做出决策。对于没有计划更改的数据工程师和必须发现问题的工程师来说，这是麻烦的。数据工程师面临的最常见（也是最具破坏性的）挑战归结为数据质量和数据管道，尽管此处的IP地址示例是特定的，但在无数其他情况下，数据质量也会完全使分析脱轨。一些企业将花费资源尝试清理数据，但现实是：您应该去找源头。
在其他情况下，工程师可能会面临集成挑战。大多数领先的大数据公司已开始将各种操作集成到数据管道中，包括DevOps，AIOps，MLOps，DataOps等。有许多可能的解决方案可以很好地解决其中的一两个问题，但是开发的系统可以成功将所有必要的组件组合在一起可能是一个挑战，需要真正的思考。面对这一挑战的工程师必须考虑如何成功地统一这些操作，这一点很重要，其中可能包括将DevOps，ITOps和SecOps的利益相关者召集在一起，并对能够全面帮助提升操作水平的解决方案投以全面而批判的眼光。
为数据工程师转移脚本
用马修·卢恩（Matthew Luhn）在他的著作《最佳故事获胜》中的话说，“创新需要从不同的角度审视世界，发现意外的障碍，并以意外的方式解决它们。”
随着公司对新数据平台和云集成投资进行双重或三重故障处理，数据工程师有责任确保不遗留任何数据。展望近期数字化转型将继续对企业产生的影响，考虑未来创新所需的基础非常重要。
