GBase新聞
架構升級!GBASE深度賦能河北銀行“湖倉一體”數據平臺建設
近年來,隨著5G、大數據、人工智能、物聯網等技術的飛速發展,各類數據呈現大規模、多樣性的指數級增長,企業需要同時處理海量結構化數據、半結構化數據以及非結構化數據。相較其他行業,商業銀行在智能時代更依賴數據要素對業務的支撐,業務流程亟待更豐富、更準確、更高效的數據服務,通過挖掘數據價值,推動業務創新。
面對愈發強烈的數字化轉型需要,河北銀行在數據應用建設中,結合行內原數據湖,引入南大通用GBase 8a MPP數據庫對數據平臺升級遷移,形成了MPP+Hadoop技術棧的湖倉一體數據服務體系。
傳統數據平臺遇到的挑戰
河北銀行原數據平臺基于Netezza一體機搭建,是行內重要的基礎平臺類系統。2019年,IBM宣布停止該款一體機所有支持,同時,行內原有的數據平臺面臨著諸多問題和挑戰。主要體現在:
數據完整性不夠
原數據平臺存儲空間不夠,導致關鍵分析結果和整合后的數據無法長期保存,難以滿足使用周期較長的數據服務。而數據平臺與大數據平臺作為全行數據基礎平臺,二者相互獨立、缺少融合,現有數據架構和技術體系無法實現多樣數據的采集,全域數據匯聚能力不足。
數據規范性不高
數據標準方面,源系統數據標準不一,數據平臺缺乏數據標準的間接落標,導致未能形成可見、易用、好用的數據資產。數據模型方面,缺少針對數據模型的有效管理,數據開發不規范,數據使用低效,數據資產化能力不足。
數據時效性不強
數據平合資源使用率觸及容量瓶頸且無法擴展,算力不足,無法按時完成分析任務,處理時間較上線初期已延遲7小時,嚴重影響關鍵報表的時效性。此外,由于缺少輔助工具支撐,數據研發周期長,進而導致交付效率低。
結合監管要求,河北銀行綜合考量行內數字化轉型對數據能力建設需要,選擇引入南大通用GBase 8a MPP數據庫,建設新一代“湖倉一體”數據平臺,以應對原數據倉庫技術支持難以為繼,且數據能力方面存在的不足。
引入GBase 8a搭建高性能、可拓展數據平臺
行方的數據平臺主要用于存儲來自核心系統、個貸系統、網銀系統、零售系統等各業務系統的數據。新一代數據平臺由Netezza一體機升級為支撐海量復雜業務數據、可水平拓展的分布式架構,采用完全自研的國產分布式邏輯數據倉庫GBase 8a以適應各業務系統數據量的不斷增長和數據類型的復雜化。
“湖倉一體”數據平臺總體建設方案圖
整個數據平臺基于16臺物理機構建,GBase 8a承載所有結構化數據的存儲和計算任務,實現了數據抽取工具的無縫對接,保證了原系統所有的功能替代。同時,同上層應用廠商配合,順利完成業務遷移任務。GBase 8a進行數據的加工、處理并為生產高價值數據提供可靠、穩定保證。依靠GBase 8a自身特性,與現有Hadoop系統無縫對接,承載全行數據模型落標與統一數據整合集成,形成各個數據層的數據組織與模型。新一代數據平臺和數據湖有效融合,基于兩套數據生態,進行合理的數據分層,形成一套完整的采、管、存、用的數據全流程管理體系。
項目成效
新一代“湖倉一體”技術平臺以南大通用GBase 8a分布式數據庫為計算引擎,以數據湖為主存儲,支持平臺資源彈性擴展,實現了大規模、多類型數據快速接入和存儲,形成全域、完整的數據資源,集“湖倉”優勢,整合海量存儲和高性能計算能力,以更低成本滿足了全行多層次敏捷用數需求;新平臺以更符合業務人員使用習慣的方式重建數據模型,提煉業務條線共性數據需求,構建一站式數據研發交付體系;此外,新系統重構了標準數據體系,建立數據架構、模型設計、數據開發的系統性規范,形成數據標準管理及數據質量管控的長效機制,完成了數據全生命周期管理及治理的有效閉環。
結語
基于GBase數據庫構建的“湖倉一體”數據平臺在河北銀行的成功落地,不但解決了數據完整性、數據規范性、數據時效性等方面的問題,還通過大數據與MPP技術的充分融合,大大提升業務的智能化水平,為行方的數據化轉型提供了關鍵驅動力,同時也為后續管理應用系統的建設打下堅實的數據基礎和技術基礎。