ADM敏捷數據管理解決方案-

需求場景
需求分(fēn)析
解決方案
方案優勢

需求場景

金融業作爲資(zī)金密集型行業，數據具有高敏感性和高價值性的特征，因此對數據的安全使用有着極高的要求，如何安全地使用數據、最大(dà)程度地發揮其價值，是金融業一(yī)直以來研究的課題，開(kāi)發測試業務作爲數據使用頻(pín)繁的典型應用場景，受到金融用戶重點的關注，如何滿足開(kāi)發測試環境對數據的申請要求、如何提升數據交付的效率、如何管理數據使用的版本等，是開(kāi)發測試部門常見的工(gōng)作需求，金融用戶通過滿足開(kāi)發測試人員(yuán)日常面臨的數據使用與管理需求，達到顯著縮短業務上線周期的目标。

需求分(fēn)析

要求縮短測試數據的交付時間項目的開(kāi)發及測試是有時間周期的，由于數據量較大(dà)、數據申請較爲頻(pín)繁，一(yī)般一(yī)份數據的準備時間在一(yī)周左右，等待數據的時間較久，此問題不解決，将會成爲開(kāi)發測試提升效率的瓶頸。所以，如何提升數據副本的交付效率，是開(kāi)發測試場景中(zhōng)首先要考慮的需求。
要求滿足不同的數據申請需求對于開(kāi)發測試業務而言，數據的需求是多樣的，有的要求某個時間點的數據，有的要求當天或前一(yī)天的數據；針對新上線的業務系統，還會有造數需求。針對不同數據申請需求，要求全部滿足，需要考慮多種數據獲取方式。
要求敏感數據使用前進行脫敏在使用數據的時候，既要考慮到敏感數據的安全性問題，又(yòu)要考慮到工(gōng)作效率問題，因此，在對數據交付使用前，需要對敏感數據做相應的處理工(gōng)作。要做到最大(dà)程度發現敏感信息，确保敏感數據不遺漏，還需要做到對敏感數據的仿真脫敏，以使得敏感數據脫敏後滿足校驗要求。
要求數據使用流程閉環開(kāi)發測試使用的數據，多爲從生(shēng)産系統中(zhōng)獲取的數據，基于安全和效率考慮，需要将數據獲取、數據存儲、數據交付、數據管理、數據回收實現全流程的閉環管理。
要求對副本數據進行高可用保護交付到開(kāi)發測試環境的數據，雖說是經過處理的副本數據，但對于開(kāi)發測試人員(yuán)來講，該數據爲測試基準數據，需要考慮到副本數據的保護問題，一(yī)旦發生(shēng)故障，能夠快速恢複副本數據，不影響副本數據的正常使用。

解決方案

考慮到數據的多種獲取方式及數據的閉環管理，在生(shēng)産域、備份域和測試域分(fēn)别部署一(yī)台敏捷數據管理平台ADM Server：生(shēng)産域的ADM Server用于直接備份生(shēng)産數據，以獲取實時性的副本數據；備份域的ADM Server用于從NBU/CommVault備份系統中(zhōng)獲取備份數據，以獲取任意時間點的副本數據；測試域的ADM Server用于接收生(shēng)産域或備份域處理後的副本數據，用于測試環境的數據交付域。
生(shēng)産域、備份域均屬于生(shēng)産網絡，而測試域屬于測試網絡，兩個網絡是獨立的，考慮到安全性與數據的傳輸效率，需要将生(shēng)産網絡與測試網絡單向打通。
生(shēng)産域的ADM Server可用于實時備份有頻(pín)繁交付數據需求的業務系統，可實現備份集備份、原格式備份兩種備份方式。
備份域的ADM Server可用于從NBU/CommVault備份系統中(zhōng)獲取任意時間點的備份數據，并且在獲取數據的同時，也可以幫助用戶解決備份數據恢複校驗的問題。
測試域的ADM Server可用于滿足研發/測試環境的數據交付、副本數據版本管理、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快速交付

敏捷數據管理平台ADM采用創新型技術——數據庫虛拟化技術幾分(fēn)鍾内創建完成虛拟數據庫，快速将已經脫敏過的數據作爲黃金副本傳輸到開(kāi)發測試網，有效減少開(kāi)發測試場景中(zhōng)測試數據的準備時間，提高了開(kāi)發測試環境搭建的效率；
多份虛拟數據庫讀寫操作獨立，完全滿足測試環境多場景同步測試的需求。

2.測試數據存儲節約

ADM内置獨有的高效壓縮存儲池，壓縮比達3:1，顯著降低了基礎數據源獲取的存儲成本，一(yī)份基礎數據源，可挂載多份虛拟數據庫，節約了存儲成本10倍以上，快照共享降低了持續增長的副本數據存儲成本。

3.測試數據動态快照版本管理

ADM快照功能，可以靈活對虛拟數據庫的狀态進行管理和維護，便于開(kāi)發測試的數據版本叠代。動态快照的使用保證了虛拟數據庫持續對外(wài)提供服務，不影響測試業務的連續性。

4.測試數據集中(zhōng)統一(yī)管理

測試數據具有數據副本多、數據版本多的特性，人爲管理容易形成較多的僵屍數據，造成存儲資(zī)源的浪費(fèi)，通過ADM管理測試數據，可以形成閉環流程，集中(zhōng)統一(yī)管理測試數據的交付與版本管理，提升數據管理效率的同時，杜絕了僵屍數據的産生(shēng)。

5.測試數據系統可視化管理

測試環境的數據，版本繁多，傳統人爲創建副本保存的測試數據，很難形成有效的數據血統管理，通過ADM的部署，利用可視化的結構拓撲圖，可以清晰展現數據版本間的血統關系，對數據的使用一(yī)目了然。

6.數據脫敏保證金融數據安全

ADM平台具備數據脫敏管理模塊，可實現自動掃描識别敏感數據，精準定位敏感數據源，提供豐富的仿真脫敏算法，保證脫敏後的數據關系一(yī)緻，異構和并發脫敏提升了數據脫敏的效率，降低了數據洩露的風險。 ADM的數據副本管理與數據脫敏管理可以實現良好的聯動，不僅能夠快速準備脫敏數據源，還能實現脫敏數據的快速分(fēn)發。