吉林銀行數據倉庫全棧國產化替換解決方案
吉林銀行數據倉庫全棧國產化替換解決方案
1、項目背景
在吉林銀行的金融業務場景中,數據倉庫系統大部分都涉及到多種渠道采集來的不同數據來源和數據類型,在系統中,需要對不同數據進行定制化的處理和計算。目前原有的系統無法滿足后續業務持續發展,客戶決定構建全國產化的分布式部署的新數據倉庫。
2、建設目標
本方案的核心目的,就是基于全國產技術路線的基礎環境,解決目前數據倉庫業務中所大量使用的國外數據庫的替換問題。對新建系統平臺的目標包括:
1、采用國產芯片服務器、國產操作系統和國產數據庫建設,建成全國產化的數倉平臺。
2、處理海量結構化數據的平臺來提升系統整體性能和處理效率。
3、對金融業務的關鍵要素和業務進行梳理、規范、治理,構建基礎服務組件,實現業務流程化和規范化、數據標準化和集中化、應用組件化和服務化;
4、對應用提供標準接口、遷移工具和方法,幫助用戶快速便捷的完成數據倉庫整體遷移;
5、提供高可用、高可靠能力,保證業務不中斷、可持續提供服務滿足業務增長需求;
6、保證各業務系統性能處于同一水平;
7、提供可視化監管運維能力,幫助用戶實時了解運行狀態、快速定位解決問題。
3、實施方案
吉林銀行數倉國產化項目于2020年7月15日開始實施,采用GBase 8a MPP Cluster大規模分布式并行數據庫集群系統替代原oracle數據庫建設新的數據平臺以滿足業務需求,并帶來更高的價值。到2020年9月22日完成系統上線工作。項目采用全國產環境,“海光7280芯片+中標麒麟v10操作系統+南大通用GBase 8a MPP Cluster v9數據庫”。
本項目已經運行了700余天。相比原系統,批量數據處理類性能提升30%;存儲空間節省50%以上;軟硬件投資節省50-90%,節電30%-50%。
平臺共部署20節點,數據總量近千TB,每日增量近百GB,1.5萬余張表,最大表超過百億行,每天運行超10000個庫內加工作業。同時為銀行內部6萬余員工提供7*24小時服務。
在數據裝載方面,完成數倉主表加工,原Oracle數據庫需1小時35分鐘,GBase 8a MPP Cluster只需要15分鐘。
日常業務數據跑批性能提升:借助MPP數據庫的多表關聯查詢速度快的優勢,模型跑批平均耗時縮短5-10倍。原Oracle數據庫需8小時以上,GBase 8a MPP Cluster只需要3小時即可完成。數據批量處理時間縮短一半以上。
數據同步時效性提升:借助GBASE數據同步工具,實現與業務系統事務數據庫的高效同步,數據同步由1小時縮短到12分鐘,大大提高了數據分析的效能。
4、項目價值
該項目構建了一套完整的國產數據倉庫系統,大幅降低建設成本,并為金融行業數據倉庫系統建設提供了國產替代方案。
新系統全面支撐外部監管、資產負債、業務管理、以及風險管理等各項業務領域應用,面向全行6大業務系統提供高效、及時、準確的海量數據服務,為業務經營發展提供了創新引擎。