返回大厅
上讯信息基于CDM技术的测试数据自动化安全交付方案
投票数量:225 票
助力海报
解决方案介绍
技术框架及优势
应用场景
荣誉及资质
当前,随着移动互联网、云计算、大数据为代表的新一代信息技术高速发展,企业经营业务发生了创新变革,以互联网业务为首的新兴服务为各行业带来巨大竞争的同时,也为各行业业务发展创造了机遇,如何在业务发展中寻求快速的业务创新,如何解决业务创新环节服务的敏捷供应和持续交付,成为影响各行各业业务创新发展的关键因素。因此,通过数据的持续交付实现敏捷开发,保证上层业务和服务的快速迭代,是各个行业普遍的选择,这一过程中,测试环境和数据成为了对敏捷开发最重要的挑战之一,同时,作为开发测试流程中显著影响效率的环节,自动化测试也需要快速提供测试环境和数据,如何创建稳定可预期、可重用的测试环境和测试数据,将直接影响自动化测试的水平,综上所述,测试已经成为保障业务创新成果质量的重要环节,因此,企业的开发测试部门亟需一套既能提升数据管理效率,又能保证测试环境和数据安全性的解决方案,通过集中统一的数据管理流程节省各项资源,提升数据管理和业务发展的综合效能。
具体到金融行业具有大型数据中心、软件开发测试中心的企业,测试环境庞大复杂,每个生产环境都对应若干套测试环境包括主测环境、投演环境等,每套测试环境对应多台测试数据库,测试数据经由上游生产环境的备份数据恢复获取,随着经营业务的不断发展,信息系统变更日益频繁,对测试数据的使用频率提高,测试环境存量数据版本众多,在测试数据交付和使用上存在很多痛点问题,具体如下:
(1)测试基准数据准备时间长,测试数据主要通过上游生产环境的备份数据恢复获取,由于生产业务数据库数据量大,且一份业务数据需要恢复到多套测试环境,因此,测试基准数据的准备需要耗费大量时间,通常以“天”为计时单位;
(2)测试数据的版本迭代速度慢,测试场景每日测试需求不断,测试数据变更频繁,需要及时保留版本应对迭代测试,如遇测试需求启用版本回退时,往往需要重新导入或恢复数据,等待时间较长,严重拖延了开发测试进度;
(3)测试数据存储资源过度占用,测试业务频繁更新导致数据版本众多,大量分散存放的测试数据由于疏于管理,最终形成了僵尸数据,消耗了大量的存储资源,也为数据泄露带来了一定的风险。
基于CDM技术的测试数据自动化安全交付方案是针对企业软件开发测试中心提出的应对方案,尤其适合大型软件开发中心复杂测试环境的快速搭建,解决测试环境搭建中数据准备与交付这一环节的瓶颈问题,实现测试基准数据的统一获取、分钟级交付、测试数据版本快速切换、测试数据的高可用。该解决方案平台的部署采用分布式集群部署,方便节点扩展,且具备在数据快速增长时对存储容量扩容的能力。
基于CDM技术的测试数据自动化安全交付方案采用敏捷数据管理平台(Agile Data Management)简称ADM产品,利用专有的数据库虚拟化技术实现了对测试基准数据集中的获取、存储、使用以及版本管理的全生命周期管理,通过获取一份基础数据快速创建多份虚拟副本,直接挂载到测试环境使用,虚拟副本相互独立,可读可写,且几乎不占用物理存储空间,仅对新增变量计入存储资源消耗,显著降低了数据存储成本,针对虚拟副本设置灵活的快照模式,及时记录虚拟数据状态,便于数据的灵活打版,满足回归测试等多种测试场景。
基于CDM技术的测试数据自动化安全交付方案主要采用了ADM产品的备份数据恢复功能、数据副本管理功能,为企业上中下游数据的高效使用、安全管控提供了一套综合数据安全治理解决方案,在保证数据使用安全的同时,提高数据使用效率、降低数据存储成本。
功能框架:
(一)备份数据恢复功能
其中,备份数据恢复功能主要通过集中管理存储资源、恢复服务器资源和恢复任务,实现存储空间、恢复服务器和恢复任务的自动调度,从而完成备份数据有效性验证的全自动化。当前支持NetBackup/CommVault/NetWorker等备份系统的对接。
备份校验管理可以满足用户对当前备份数据的可恢复性验证、恢复后的完整性验证两方面的需求,能够覆盖用户全部业务系统的备份数据恢复验证需求,实现跨操作系统平台的数据恢复(如AIX到Linux),实现了验证工作的高覆盖率,提高了有效性验证的频率。
(二)数据副本管理功能
基于数据库虚拟化技术对测试基准数据进行获取、存储、使用以及版本管理的副本数据管理CDM功能,能够通过基准数据获取、数据副本存储、虚拟数据库挂载,达到快速交付测试数据、集中管理测试数据存储与传输的目标,满足企业软件开发测试部门的供数需求、版本管理等测试场景。
(1)ADM内置独有的高效压缩存储池,压缩比高达3:1,存储即压缩,显著降低了基础数据源获取的存储成本;
(2)ADM的数据库虚拟化技术(专利申请号ZL201610182044.X),能够做到只需一份基础数据源,即可快速拉起多份虚拟数据库,拉起时不占用物理存储空间,节约了存储成本10倍以上;
(3)ADM将TB量级数据库拉起时间控制在分钟级,响应速度快,可满足开发测试、查询分析、合规审计、应急恢复等场景对数据交付效率的要求;
(4)数据库虚拟化技术实现了数据副本间的独立读写,完全满足测试环境多场景同步测试的需求。ADM内置的智能读写缓存机制,能够满足压力测试的性能要求;
(5)高效的虚拟数据库管理功能,通过可视化的虚拟数据库拓扑结构图对系统全局数据使用关系进行预览,有助于完善测试数据的组织关系,优化测试数据的资源分配;通过虚拟数据库资源的分组管理实现了同组人员的操作权限共享。
(6)测试数据版本管理,通过可视化的数据使用流程拓扑,及时掌握数据流向,识别虚拟数据库使用状态,实时在线或定时拍摄快照,保留数据版本,通过对数据版本的灵活管理,满足回归测试等业务场景。
技术亮点与效果:
(一)提升数据交付效率
上讯信息敏捷数据管理平台产品是国内首个发布的副本数据管理(CDM)产品,该产品领先国内CDM厂商率先应用在大型头部金融机构和运营商企业,主要通过获取一份具有应用一致性保证的数据,在非生产存储上生成“黄金副本”,依据“黄金副本”分钟级创建多个副本直接挂载到目标服务器使用,相较于传统的数据导出导入方式,CDM数据交付效率明显得到提升,在实际的应用场景下,数据环境准备时间缩短到原来的20%;
(二)节约数据交付存储成本
对外挂载的虚拟数据副本只消耗极小的存储资源(几乎为0),且各个虚拟副本可读可写、操作独立,读写产生的变量数据会消耗一定的存储资源,但变量数据一般不会超过数据总量的10%,因此,虚拟副本创建越多存储成本节约的越明显,从而减少了存储资源开销和管理成本。
(三)数据版本回滚灵活
该产品采用纯国产化技术自主研发,充分发挥网络远程映射技术对数据进行快速的分发,结合创新的数据快照技术,跟踪文件系统的更改记录成索引,用于虚拟数据副本的版本保留,主要应用于测试数据版本回退等场景,在回归测试场景下数据版本的回滚时间从原来按天计算提升到按分钟计算,测试业务工作得到了全面提高,该技术持续被用户应用在一线的测试项目上进行版本管理。
基于CDM技术的测试数据自动化安全交付方案为企业建立了一套数据全生命周期管理平台,该解决方案基于对企业开发测试中心测试环境现状和管理的要求,严格把控产品质量和技术支持服务,借助新兴技术CDM(Copy Data Management,副本数据管理)技术,分钟级创建虚拟副本用于测试环境数据提供,解决了敏捷开发流程中针对测试环境与测试数据交付的瓶颈问题,同时,结合虚拟副本对存储资源极少占用的技术特点,优化了测试环境数据副本的管理模式,将管理大量分散存放的数据副本进化为零数据副本的闭环式数据管理流程,解决了上下游数据管理的效率、安全性与经济性问题。系统在运行后能够明显提升开发测试部门的工作效率,保证了业务创新过程中服务的迭代,提升自动化测试水平,通过降低存储资源的采购减少企业TCO(总体拥有成本)。
基于CDM技术的测试数据自动化安全交付方案经过不断在客户现场的实施与推广,符合国家技术产品发展政策,项目软件平稳运行,存储成本节约,符合国家提倡的节能环保要求,应用领域广泛覆盖金融行业的各类机构,市场潜力巨大。数据交付效率的提升与人工维护成本的节约有利于节约管理成本,纾解了数据安全管控的负荷,优化产业结构调整。与此同时,针对大型企业开发测试部门的实际需求,开展了定制化开发业务,使产品能够针对行业特殊性提供数据安全治理服务,公司不断优化产品功能、改进产品推广方式,以期更好地为金融行业提供专业化的数据安全治理方案和服务,实现金融行业在数字化转型过程中数据安全基础设施的基础保障。
1、已取得软件著作权证书1件、网络安全产品认证证书1件、国密检测证书1件
2、已取得发明专利证书6件
1)、数据库快速恢复方法及设备专利证书
2)、一种数据库还原的方法及设备专利证书
3)、一种远程命令执行方法及设备专利证书
4)、一种程序数据库虚拟化插拔的方法及设备专利证书
5)、一种用于数据容灾恢复的方法与设备专利证书
6)、一种DB2数据库恢复的方法及设备专利证书
3、已取得荣誉8件
1)、2020中国IT服务创新技术方案Top100
2)、2020中国IT服务创新行业实践Top100
3)、安全管理与服务、数据安全获安全牛2020中国网络安全企业100强
4)、上讯信息敏捷数据管理平台荣获“2020新基数安天下榜中榜数安产品、解决方案TOP20
5)、鑫智奖·2022金融数据智能数据治理与数据平台创新优秀解决方案
6)、2021ADM金融行业解决方案入选“中国好技术”项目库(B类)并授予“中国好技术”称号
7)、2021上讯ADM金融行业解决方案荣获中国好技术(中国生产促进中心协会颁发)
8)、2023年网信自主创新“尖锋榜”优秀产品奖