什么是数据完整性?– 数据完整性详解 – AWS

什么是数据完整性?– 数据完整性详解 – AWS

在 AWS 云中实现逻辑完整性时请考虑以下措施。

实现对象数据完整性

大多数云数据操作都从 Amazon S3 存储桶开始,它可以将任何数据类型存储为对象。您可能经常在 Amazon S3 存储桶、数据库和其他云服务或本地存储之间迁移数据。Amazon S3 提供内置校验和机制,以降低上传、下载和复制期间的数据完整性风险。

校验和是使用特定算法从数据中生成的唯一、固定长度的值。它创建了唯一的数字指纹,便于系统检测数据损坏或意外修改。复制对象时,Amazon S3 会计算源对象的校验和并将其应用于目标对象。如果不匹配,就会发出提醒。Amazon S3 支持用于分段上传的完整对象校验和与复合校验和。完整对象校验和覆盖整个文件,而复合校验和则聚合各个段级校验和。

请按以下说明使用校验和功能。

上传

Amazon S3 支持多种安全哈希算法(SHA)和循环冗余校验(CRC)算法,包括 CRC-64/NVME、CRC-32、CRC-32C、SHA-1 和 SHA-256。如果使用 AWS 管理控制台,请在上传期间选择校验和算法。如果未指定校验和,Amazon S3 会默认选择 CRC-64/NVME。

下载

下载对象时,应请求存储的校验和值以验证数据完整性。根据上传是已完成还是仍在进行中,使用 GetObject、HeadObject 或 ListParts 操作检索校验和值。

复制

如果使用 CopyObject 操作复制对象,Amazon S3 会为整个对象生成直接校验和。如果对象最初是通过分段上传完成的,则即使数据保持不变,其校验和值也会在复制时发生改变。

实现数据管道完整性

另一个常见使用案例是将数据迁移至云数据湖、数据仓库或托管数据库服务。在此类数据管道中设置数据完整性检查容易出错、繁琐且耗时。您必须手动编写监控代码和数据质量规则,以便在数据质量下降时提醒数据使用者。

迁移期间

AWS 数据库迁移服务(DMS)通过多种内置的保护和验证机制,在数据迁移至 AWS 云数据库期间保护其完整性。DMS 会执行自动验证以比较源数据和目标数据,并通过数据重新同步来别和解决差异。

DMS 包含检查点和恢复功能,可在发生中断时从最后一个已知良好状态恢复迁移,同时提供全面的监控和日志记录功能以跟踪迁移进度。此外,DMS 通过对传输中数据进行 SSL 加密以及与 AWS 安全服务集成来确保数据安全性。

数据库基础设施

AWS 数据库通过多种全面的机制和功能保护数据完整性,包括自动备份和多可用区部署,可确保数据持久性和一致性。这些数据库通过内置约束强制执行引用完整性,保持 ACID 合规性以实现事务一致性,并提供时间点恢复功能。借助托管式数据库服务,例如 Amazon Relational Database Service(RDS)和 Amazon Aurora,您可以设置特定的数据完整性控制措施。例如,Aurora 允许您在 OLTP 数据库上设置不同的事务隔离级别。

为了增强保护,AWS 数据库支持通过多区域部署进行灾难恢复,即在地理位置分散的区域复制数据。与 Amazon CloudWatch 集成有助于在潜在的数据完整性问题影响运营之前,识别和解决这些问题。

数据集成

AWS Glue 是一项无服务器数据集成服务,用于在 AWS 云中准备和合并数据。AWS Glue 数据质量自动监测功能将手动数据验证工作从数天缩短至数小时。它会自动推荐质量规则、计算统计数据,进行监控并在检测到不正确或不完整的数据时发出提醒。它与数据质量定义语言(DQDL)结合使用,后者是一种用于定义数据完整性规则的特定域语言。

在从 OLTP 系统收集用于分析的数据时,您可以使用 AWS Glue 管道将数据从数据库推送到分析服务。

您还可以进一步将指标发布到 Amazon CloudWatch 以进行监控和提醒。

实现数据备份完整性

大型企业项目可能有不同的团队进行数据备份并从不同的位置访问 Amazon S3 存储。在此类分布式数据备份操作中,数据治理成为一项挑战。 请注意,AWS 数据库具有内置备份功能。

AWS Backup 是一项完全托管式服务,能够跨 AWS 服务 [例如 Amazon Simple Storage Service(S3)、Amazon Elastic Compute Cloud(EC2)、Amazon FSx] 和 VMware 中的混合工作负载集中、自动进行数据保护。您可以集中部署数据保护策略,以便治理、管理和配置跨 AWS 资源和账户的备份活动。

AWS Backup 旨在在整个数据生命周期(从传输、存储到处理)内维护数据完整性。它对所有存储的数据(无论其类型如何)实施严格的安全措施,从而确保对未经授权的数据访问提供较高保护。您可以完全控制数据分类、存储位置和安全策略,因而能够根据自身需求对数据进行管理、存档和保护。

AWS Backup 与其他 AWS 服务合作,通过多种机制保持数据完整性。其中包括:

持续进行校验和验证,以防止数据损坏。

通过内部校验和来验证传输中数据和静态数据的完整性。

发生磁盘故障时自动恢复冗余。

数据以冗余方式存储在多个物理位置上,此外,网络级检查也有助于检测数据传输期间发生的损坏。

相关推荐