备份与容灾之CDM技术

一、背景

数据是企业的重要资产,为了更好的对数据进行保护,企业往往要进行数据备份系统和容灾系统的建设。在《备份与容灾之概念解析》一文中,我们提到备份系统可以满足数据丢失或数据破坏时的数据恢复的目的,而当下数据量持续快速增长已成趋势,尤其对于大型业务系统,其数据量极速增长,因此数据备份和管理的效率变得愈发重要。备份系统的高效、低TCO、以及如何利用数据创造价值已成为客户迫切的需求。相对于传统的数保护技术,业界普遍推出了CDM技术,即复制数据管理技术,也叫副本数据管理技术,当然不同的数据保护厂商叫法或有不同,但原理实现大都一致。

二、CDM技术特性

快速备份

一般来说,传统备份方案备份10TB数据需要5.5小时,且每一周或每个月需要执行一次完全备份,备份时间较长,如果设备在备份过程中出现故障,势必对数据的完整性和安全性造成重大影响。而基于CDM技术的备份,每次可以只备份增量的数据,整体备份效率提升90%,且每个增量时间点均为完整副本,任意增量时间点损坏,不影响其他时间点的恢复。

低TCO

在企业的IT系统中存在多份生产数据的副本数据,如备份数据,开发测试数据等,据统计,平均需要10个以上的数据副本,这些数据占据了总数据的80%,消耗了比生产数据多5倍甚至更多的基础设施和管理成本,所以亟需通过一种方式去减轻存储压力。CDM技术只需要一个原始副本,它可以通过虚克隆技术,生成多个虚拟副本,用以备份恢复,开发测试等,虚拟副本不占用额外存储空间,存储资源可节约80%以上。

数据利用

备份数据如果只用来进行灾难时的恢复,那么在灾难发生前将毫无价值,所以备份系统在建设完后99.9%的时间可能都没有发挥作用。CDM技术不仅可以提供数据保护,还可以激活“暗数据”,即企业日常业务中不常用的数据,通过副本数据管理功能,生成多份虚拟的可读写的副本数据供企业在不同场景下的使用,如开发测试、查询分析、灾备演练等,大大提升了数据价值。

分钟级恢复

当数据库发生灾难时,以往的数据库恢复往往需要耗费较多的时间。据统计,一般恢复10TB数据需要10小时以上,而组织核心应用宕机1小时的损失高达数百万人民币甚至更多。在此期间,设备资源占用也较多,因此需要通过高效的恢复技术,在确保数据快速恢复的基础上,减轻在此期间的资源消耗。CDM技术具有即时恢复的特点,可实现分钟级恢复所需数据,且具有数据量无关性,即无论数据量有多大,均可实现分钟级恢复。

三、CDM技术原理

相较于传统的基于定期完全备份和增量备份结合的备份方式,采用CDM技术的备份方式在备份效率和存储利用率两个层面,都具有比较大的优势,究其本质,主要是CDM技术的两个关键思想。一是采用永久增量备份的方式来替代传统的周期性完备结合增备的方式,即第一次进行完全备份后,后续所有备份均为增量备份,每个增量时间点在逻辑上均为完整副本,可直接提供出来使用,任意增量时间点逻辑上的损坏,都不影响其他时间点的使用。之所以每个增量时间点可以逻辑上看作完整副本,是因为每次增量备份后会形成一个新的快照,这样每个增量时间点都是一个快照,可以直接用来挂载恢复。二是采用CBT(变化块追踪)技术,无需与原始数据进行比对,就能快速识别并获取到自上一次备份后业务系统变化的数据块,针对发生变化的数据块进行增量备份,极大地缩短了备份时间窗口。

四、CDM副本数据使用

即时挂载

CDM技术可以通过快照技术和存储虚拟化技术对副本数据进行管理。首先将磁盘进行虚拟化,通过池化的方式将所有磁盘存储资源进行管理,形成契合副本数据管理业务需求的存储池,然后动态从存储池中分配出一个个虚拟卷,提供给副本数据管理任务使用。同时,结合无限快照技术,满足副本数据历史时间点保留及使用的需求。

即时挂载本质上是将指定历史时间点的快照通过iSCSI或FC数据访问协议提供给主机访问,该过程中不涉及到原始数据的移动,也不会改变指定历史时间点的快照。因此,一份副本数据(时间点快照)可以通过生成多份虚拟数据,同时挂载给多个不同的主机使用,以满足快速恢复、开发/测试、分析查询等不同的业务需求。

克隆

克隆是CDM技术支持的有别于即时挂载的副本数据访问方式。克隆基于指定时间点的副本数据(时间点快照)生成克隆卷,通过指定的SAN协议(如iSCSI-SAN或FC-SAN)映射LUN到目标主机,在目标主机上可直接访问副本数据。克隆操作会生成一份全新的备份数据副本,并且与原时间点副本数据完全独立。主要用于企业内部要求基于独立的副本搭建开发测试环境的场景。

数据脱敏

CDM技术可以结合企业内部的脚本或第三方数据脱敏工具,对副本数据进行处理,以屏蔽敏感数据。通过这些控制措施,客户不仅可以加速以数据主导的流程,加强信息治理,同时保护数据免遭泄露和盗取。

五、CDM技术全景图和企业IT架构

CDM技术全景图如下:

备份与容灾之CDM技术

? 数据捕获:对文件系统、数据库、VM整机进行数据捕获。

副本管理:一个原始副本,虚克隆出多个虚拟副本,冷热数据分离管理。

? 副本应用:随时随地数据访问和保护,副本数据可用作恢复、容灾、查询、分析、开发、测试等。

现在企业的IT系统中存在多份生产数据的副本数据,如备份数据,开发测试数据等,它们占据了80%的存储空间。

CDM技术的目标就是将多份相同的数据缩减成一份,减少存储容量的开销,以此来提升存储利用率,降低TCO。当涉及到副本数据使用需求时,可通过底层存储系统的快照技术,创建一份虚拟的可读写的副本数据,直接挂载给业务系统使用。CDM采用了基于索引的快照技术,快照只占用极少部分的空间(例如,对于10TB大小的LUN执行快照,在不对快照写入新的数据的前提下,也就占用约几GB的空间,非常节省存储成本和时间),特别是对于开发测试的场景,需要针对同一份数据创建N份副本数据(例如,针对一个5TB数据库提供20个副本的场景,传统方法需要100TB的存储空间占用,而且需要消耗至少数以天计的时间;而通过CDM技术,只需要占用近乎零TB的额外存储空间,更重要的是可以立即提供这20个虚拟副本,而无需繁琐冗长的审核和等待,大大缩短了开发测试时间,进而缩短产品发布周期。

通过CDM技术,不仅能极大地削减存储容量开销,提升存储利用率,还可以极大地优化企业IT架构,在采用CDM技术之前,企业内部依赖于业务数据的流程(如备份、容灾、开发/测试、分析等),都需要从生产系统获取数据,大大增加了生产系统的复杂度和操作风险。而在采用CDM技术之后,这些流程都可以缩减成CDM技术提供的副本数据管理功能的一个步骤,从而极大地降低生产系统的复杂度和操作风险。

采用CDM技术前的企业IT架构

备份与容灾之CDM技术

该IT架构由多套系统组成:备份系统、容灾系统、开发测试系统,各系统的存储之间互相孤立,存储利用率低,总体建设成本较高、管理复杂、运维成本较高。

采用CDM技术后的企业IT架构

备份与容灾之CDM技术

通过在企业IT架构中引入CDM技术可以极大地提高企业数据存储利用率、降低总体建设成本、降低管理复杂度、支持弹性扩展。一个基于CDM技术的备份数据存储节点提供的多个虚拟副本可以满足备份、开发/测试、分析等需求。多个基于CDM技术的备份数据存储节点之间还可以做远程复制,从而实现备份数据的异地保存和容灾。

作者:李许飞

?

?

国产数据库调研

Log4j远程代码执行漏洞分析

网络I/O简介

云计算时代-选择适合业务的云负载均衡

EBCloud

赶快扫码关注我们吧!

第一时间了解技术干货!

原创文章,作者:EBCloud,如若转载,请注明出处:https://www.sudun.com/ask/32530.html

Like (0)
EBCloud的头像EBCloud
Previous 2024年4月2日 下午3:29
Next 2024年4月2日 下午3:29

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注