随着互联网、云计算等新兴技术被广泛使用，数据呈爆炸式增长，存放于二级存储中的非生产数据逐年累积占比高达80%，且涉及大量隐私信息，从数据使用与安全管理上暴露出存储资源浪费、硬件成本上升、数据交付效率低下的问题，直接威胁着各市场主体在数据使用方面的安全性。

同时，实际的数据使用场景中企业数据需经过上中下游的流转，各个环节都面临着不同的管理难度和安全威胁，其中上游数据来源于生产环境，主要面临着数据丢失与数据安全问题，为此企业需要建立完备的数据备份方案，保障业务持续；中游数据处在中间环节需要进行脱敏，保障提供到下游的数据安全可靠，严防隐私数据泄露；下游环节则亟需一种快速分发与流转的方式交付测试数据，提高开发测试等辅助业务场景的处理效率。整个数据使用的管理应具备集中的流程、统一的管理，而不是多个方案的拼凑缺乏一致性。与此同时，为贯彻落实数据安全法规，帮助企业实现对数据安全与效率的双重管控，本期发布牛品推荐——上讯信息：敏捷数据管理平台ADM产品。

标签

数据存储、虚拟库独立操作、分钟级交付、数据可视化、数据分类分级、数据仿真脱敏

用户痛点

当前企业信息化建设的重点是推进产业数字化转型，面对企业信息化建设体系中最为重要的数据资产，不仅要保证生产数据得到可靠的保护，也要保证非生产数据得到有效的管控。企业为了满足开发测试、容灾、备份、数据分析等次级工作负载的需求，往往需要复制多份数据副本。冗余的数据副本虽然满足了企业对数据全方位管理的需求，但是其在经济性、效率和安全性等方面也遇到了一些问题：

第一，需要投入更多不必要的存储开支，以满足数据冗余副本的存储需求，因此产生了大量的数据孤岛，影响数据的回收；

第二，数据准备时间周期长，传统方式依靠人工拷贝需要3人以上、耗费数天甚至月余时间准备数据；

第三，数据安全存在风险，生产数据往往包含了用户的敏感信息，如身份证号码、联系方式、地址等，这些数据一旦泄露，将给组织和用户带来负面影响。

因此，企业用户需要一套针对数据的采集、传输、存储、使用、流转等各个关键环节进行管理的整体方案，其中数据采集可结合传统的数据库备份技术，但针对已有备份数据的恢复尚缺乏工具支持；针对副本数据缺乏快速、节约存储的交付方式；针对数据脱敏的解决方案缺乏与数据交付相结合的快速分发功能。

解决方案

敏捷数据管理平台（Agile Data Management）简称ADM，是国内副本数据管理（CDM）领域的首创产品，重点攻克数据库虚拟化等核心技术，主要针对企业上中下游数据提供高效使用与安全管控的综合数据治理解决方案。在保证数据使用安全的同时，提高了数据使用效率并降低了数据存储成本。ADM由生产数据管理、备份数据管理、测试数据管理以及敏感数据管理四大功能组成，实现了数据推送管理、数据分组管理和数据审计管理等辅助功能，通过自动化的方式达到了数据使用的成本控制、灵活管理与高效应用的目标。

生产数据管理继承传统数据库实时持续备份的技术，实现本机、异机快速恢复，突破首次全量，后续持续增量合成的备份方式，达到分钟级的恢复时间、秒级的恢复粒度，实现数据库的应用级保护与备份数据有效性的自动校验，对于上游生产数据的获取提供了快捷的方式。

备份数据管理是一种通过对接企业用户现有备份系统如NBU/CommVault等，获取已有备份数据进行快速恢复、利用恢复数据交付下游非生产数据的功能。该功能主要是通过集中管理存储资源、恢复服务器资源和恢复任务，保证存储空间、恢复服务器和恢复任务的自动调度，从而实现备份数据有效性验证的全自动化，并且根据验证结果生成详细的恢复验证报告。ADM自动恢复备份数据可充分盘活备份数据，实现对备份数据的二次利用，降低生产数据获取对核心业务造成的影响，同时内置数据压缩存储池压缩比高达4:1，大大节约了获取数据存储的后续成本。

敏感数据管理是该产品在中游进行数据处理的关键功能，提供敏感数据的自动识别与仿真脱敏，针对敏感数据识别提供通用数据特征库、全库与子集自动扫描，数据内容、字段类型、约束关系均可以实现自动识别，并依据类型特征加以分类分级；内置丰富脱敏算法对敏感数据进行随机化、模糊化、高仿真度替换，保证脱敏后数据的完整性、仿真性以及数据间逻辑性。

测试数据管理是该产品针对数据使用流转和交付环节的核心功能，上讯通过自研的专利技术——数据库虚拟化，体现了副本数据管理（CDM）的技术先进性，将生产数据管理与备份数据管理以及数据按需上传等多途径获取的原始黄金数据库副本，经过虚拟化技术的转换，创建成多份虚拟数据库。虚拟数据库的特点在于对来源于原始黄金副本90%的相同数据不占用存储空间，仅对新增写操作计入存储占用，即对存储资源的虚拟占用；而对多个同时在线的虚拟数据库操作独立，互不干扰；同时虚拟数据库创建速度非常快，TB量级的数据库几分钟完成交付。借助ADM集中的数据使用流程，通过跟踪数据流向，识别虚拟数据库使用状态，实时拍摄快照，实现数据版本的保留，进而快速回退或切换版本，以此实现对测试数据版本的灵活管理。

通过ADM产品的部署应用解决了企业在IT建设方面对数据上中下游的集中管控问题，上游既可以防护数据丢失和保障业务持续，也可以为下游提供原始数据，通过ADM一体化平台减少了操作复杂性和步骤繁琐度；备份数据管理提供了一种对现有备份数据的二次利用的手段，彻底盘活了这部分“暗数据”，通过自动化流程摆脱了大量人力、设备以及存储资源的投入，一次恢复任务成功后可建立周期性恢复任务，简化了工作难度。

敏感数据管理提供对隐私数据的自动识别和仿真脱敏，避免了人为发现不彻底的现象，丰富了脱敏算法，使脱敏后的“假数据”更能满足真实的场景验证需求。测试数据管理规范了《网络安全法》颁布实施以来的数据申请流程，既保证了数据申请到使用的流程安全也加快了程序升级的业务周期，使数据孤岛变为有迹可循的数据分支，通过可视化资源拓扑图对数据使用流转情况一目了然，同时创新的数据压缩存储池大大减少了对数据使用过程中存储的占用，显著降低了数据存储成本。ADM集中管理数据的采集、传输、存储、使用、流转的方式，解决了企业数据使用全流程安全管控的实际需求。

产品部署拓扑图：

企业用户通过部署应用ADM产品能够实现以下的收益：

（1）满足产品的国产化，保证技术自主可控

ADM产品完全自主研发，全面掌握数据的获取、存储、数据库虚拟化、脱敏技术，确保针对上中下游数据的应用系统完全自主可控，减少依赖外部技术带来的潜在风险。

（2）实现资源绿色节能，降低存储成本

持续优化的数据库虚拟化技术解决了数据使用过程速度和频率问题，避免了底层过度占用存储资源的现象，缓解了存储容量的压力。

（3）数据监控跟踪，提升数据流转效率

数据库使用过程中可监控、可追溯，根据相应管理制度释放占用的服务器与内存资源，实现集中统一的管理。

（4）数据使用流转可视化监控

将数据脱敏和数据流转无缝结合，数据流转以树状拓扑图动态展示，监控数据分支情况。

用户反馈

中国铁塔在云上管理的应用系统达到130多套，虚机5千多台，整体存储容量7PB，数据规模超过700TB，存在冗余数据副本管理困难、测试数据交付慢等问题。在引入上讯的ADM产品之后，铁塔的测试数据交付以自动化、智能化的方式替代了落后的人工拷贝数据方式，测试数据交付效率提高了15倍，存储空间占用降低了约一半。其具体应用于中国铁塔的两个工作场景中：一个是测试数据的极速交付，一个是备份数据自动化恢复与有效性验证。不但提高了铁塔的业务开发和测试效率，还让IT部门有更多的时间和精力用在创新方面，加速助力我公司的IT部门由原来单纯的支撑部门真正变成企业业务发展的核心部门。

 ——中国铁塔

ADM解决方案大幅提高了中信银行在开发测试环境中的工作效率，使数据环境准备时间缩短到原来的20%以下。

而且ADM产品解决了中信银行在实际应用场景下，在数据管理效率、安全性和经济性等方面的一系列问题，ADM解决方案的新技术与传统银行业务的融合迸发出创新力，加速推进了中信银行的产业化数字转型，提升了中信银行在新业态背景下金融领域的核心竞争力。

——中信银行

东海证券通过对信息部门业务网络中存在风险的现状进行梳理，发现数据使用流程缺乏统一的管理入口，下游测试数据交付速度慢，非生产环境中存在大量的数据孤岛，极易受到安全威胁。在采用了敏捷数据管理平台ADM产品后，大大提升了东海证券的网络安全攻防能力，保证了敏感数据的测试准确性和检测效率，同时，灵活的全流程管控方式保证了我们自身数据资产的完整性和可恢复性。

——东海证券

推荐理由

2021年6月10日，《中华人民共和国数据安全法》正式公布，将于9月1日开始实施。《数据安全法》强调了企业在保护数据安全中应承担的责任：企业需要制定相关制度来保障数据安全，补救数据安全风险，上报数据安全事件。企业数据使用安全有两个重点工作：一是数据交付效率，保证数据使用过程中流转和分发的效率，提高辅助决策业务的高效性；二是防止敏感数据泄露。

上讯信息敏捷数据管理平台ADM这款产品针对的是数据使用交付效率及敏感数据泄露的安全防护，使数据使用过程中兼具效率和安全性的双重保障，节省了人力资源、降低存储成本并减少了企业的数据安全风险。