福建某商業銀行數據平臺替換項目
項目概況
項目背景
福建某市商業銀行成立于1996年,是經福州市政府同意,由中國人民銀行總行批準,具有獨立法人資格的地方性股份制商業銀行。2009年由中國銀行業監督管理委員會批準同意更名為福建某銀行。截至目前該銀行下轄1家營業部,漳州、龍巖、寧德、泉州、溫州、莆田6家分行和41家支行,網點覆蓋福建某市轄內各區域。實行“總行—分行(直屬行)---支行”扁平式經營管理模式。
關注問題
該銀行現有數據倉庫運行在Oracle上,存在著下游數據應用共性數據邏輯不一致、海量數據查詢緩慢、批處理時間長、關鍵經營指標展示方式單一等問題。為保證監管報送質量要求以及行內應用分析需求,實現數倉模型整合、質量改善、批處理關鍵路徑優化,并基于整合模型建立業務指標分析、大數據寬表查詢、移動端關鍵經營指標分發等應用,因此建議新建大數據平臺,以滿足行內日漸復雜的業務需求。
建設要求
結合該銀行實際情況,新大數據平臺的建設包括以下幾個目標:
高性能:新大數據平臺處理能力較現有數據倉庫顯著提升;
高擴展性:新大數據平臺需具備較高的可擴展性,能夠根據業務需求對系統進行擴容。
高可用性:新大數據平臺基于國產服務器,在滿足自身高可用性的同時,又能符合行內國產信創要求;
服務保障:需具備本地原廠技術服務,及時響應客戶使用過程中遇到的所有問題。
解決方案
本項目大數據平臺采用 GBase 8a MPP Cluster構建,前期規劃11個節點,采用虛擬集群的方式將資源分割,對接客戶不同業務系統的使用需求。通過 GBase 8a MPP的并行運算、列存儲、智能索引、高效壓縮等技術,提升客戶跑批作業及查詢效率,同時支持即席查詢和多維分析、支撐各種復雜的BI應用分析展示。
福建某銀行大數據平臺架構圖
應用效果
實施情況
該大數據平臺2023年上線共計部署11個節點,總數據量約90T。
效果及價值
性能顯著提升:借由GBase 8a MPP Cluster集群在大規模并行計算、列存儲、智能索引、高效壓縮的特性,滿足客戶數據處理及查詢效率的要求,整體效率較原有數倉提升了5倍以上;
降低成本:GBase 8a MPP Cluster集群經客戶長期驗證,可穩定運行與低成本的國產服務器上,有效節省硬件投入成本,且滿足銀行對國產信創的要求;
動態擴展:GBase 8a MPP Cluster 數據庫節點的水平橫向擴展模式,動態擴展無須停止服務,保證業務服務的連貫性;
高可用:GBase 8a MPP Cluster 集群的多副本冗余策略,能夠保證節點在發生故障時,數據庫服務的連續性。