江西銀行審計平臺替代升級項目
江西銀行審計平臺替代升級項目
1項目概況
項目背景
近年來,利率市場化進程加快,互聯網金融發展迅速,傳統銀行受到新興互聯網金融沖擊較大。而大數據技術越來越成熟,有著更高的性價比、更強的計算存儲能力和更易于擴展的數據處理能力,能夠充分發揮全量數據的價值,是各銀行適應互聯網金融及大數據時代的必備基礎平臺。眾多銀行正在或已經完成大數據平臺建設,以充分利用先進的IT技術促進業務的發展,并已經開發了很多較好的應用,創造出了巨大的價值。
江西銀行歷史審計操作系統采用了緊耦合的部署架構,數據庫使用DB2,存在的問題主要為:
數據庫性能、存儲瓶頸和成本
采用傳統集中式數據庫DB2,存在性能和容量的瓶頸上限問題,并且高度依賴高端設備,一般需要小型機和大型存儲來保證數據庫的性能和系統的穩定,采購成本、維護成本較高。
彈性伸縮的能力普遍缺乏
隨著模型量和數據量的增長,系統整體吞吐量會遇到硬件或技術的瓶頸。尤其在支持多個模型運行時,不能有效處理高并發查詢,制約了業務分析審計數據效率。
自主可控信息化創新
目前行內使用的基礎軟硬件核心技術存在“卡脖子”的隱患,對未來的信息化發展、數字化轉型存在制約。實現以操作系統、芯片、數據庫、中間件等為核心的國產化替換,解決“卡脖子”隱患,實現信息技術的可靠性、可用性、可控性、安全性。
2解決方案
江西銀行審計平臺,作為大數據平臺架構對結構化數據進行存儲和計算并提供數據匯總結果的審計數據集市為前端提供數據查詢服務。采用GBase 8a MPP Cluster大規模分布式并行數據庫集群系統替代原有DB2,實現由傳統的集中式向分布式集群架構升級,實現超預期效果。
審計平臺,依托于GBase 8a MPP Cluster與于Hadoop的高效融合方案,數據經Hadoop粗加工后進入主倉,主倉由GBase 8a MPP Cluster承載,提供面向多租戶的模型設計、表樣開發、版本發布、調度管理、權限管理等功能。GBase 8a MPP Cluster通過列式存儲、數據分區存儲、智能索引、高效數據壓縮,有效減少磁盤I/O訪問量;高可用容錯機制設計、高性能數據加載、高并發處理等優秀特性,滿足復雜計算分析、高并發查詢、即席查詢等特殊場景需求,其在線擴容機制設計,未來可以根據具體業務需求來部署更多的數據分析、營銷業務模塊。
江西銀行數據平臺架構圖
3應用效果
江西原有的審計數據集市架構采用的是DB2 DBF產品,采用GBase 8a MPP Cluster后,新的審計數據集市能夠提供更大的吞吐,同時性能達10倍左右提升,可以支撐用戶未來高并發和大數據量的業務場景。
高并發:單交易負載測試過程,通過設置不同的并發用戶數、使用不同的模型對系統發起壓力,系統均運行正常;
響應能力:除數據分析模型運行功能外,其他系統功能項2秒內響應;滿足審計人員運行數據分析模型,實現億級數據秒級響應;
分析能力:滿足業務發展對系統性能要求,改造后比原有系統有10倍左右的性能提升,復雜統計分析秒級響應;
高吞吐量:實現平臺登陸用戶數量保持在50以上;
高穩定性:使用至今,資源使用率無異常波動,交易響應時間和系統處理能力表現穩定。