北農商項目-數(shù)據(jù)倉庫平臺替換項目
項目概況
隨著信息技術的發(fā)展和進步,數(shù)據(jù)資源已經成為企業(yè)的核心資源。整合數(shù)據(jù)資源,發(fā)現(xiàn)數(shù)據(jù)價值,成為企業(yè)經營的新趨勢和迫切訴求,數(shù)據(jù)倉庫平臺是企業(yè)的重要數(shù)據(jù)分析系統(tǒng),在數(shù)據(jù)收集、數(shù)據(jù)整合、數(shù)據(jù)分析、數(shù)據(jù)應用等方面發(fā)揮了核心作用。在此背景下,北農商行為推進數(shù)字化轉型發(fā)展,提升信息技術體系自主可控水平,確保信息技術產品供應鏈安全,決定進行數(shù)據(jù)倉庫平臺信息技術應用創(chuàng)新改造。
我行數(shù)據(jù)倉庫平臺2.0從2018年上線以來,已運行6年時間,目前可基本保持平穩(wěn)運行。隨著業(yè)務發(fā)展,數(shù)據(jù)規(guī)模迅速增長,下游數(shù)據(jù)接口、報表、監(jiān)管報送等業(yè)務應用不斷增加,使得我行建立在Oracle Exadata一體機上的數(shù)據(jù)倉庫系統(tǒng)在容量和性能等方面面臨更大的問題和挑戰(zhàn),這些問題已直接影響數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)服務能力,也制約著數(shù)據(jù)倉庫的進一步發(fā)展。
目前Oracle Exadata一體機已使用空間95T左右,接近100T的數(shù)據(jù)備份限制,隨著數(shù)據(jù)量的持續(xù)增長,數(shù)據(jù)備份面臨一定的風險。另外隨著業(yè)務量的增加,跑批時長也在逐漸增長,很難滿足下游系統(tǒng)以及報表等的時效性要求。
解決方案
新平臺基于MPP大規(guī)模并行計算框架,采用南大通用GBase 8a分析型數(shù)據(jù)庫。數(shù)據(jù)分布在多個節(jié)點上,可以并行執(zhí)行計算;節(jié)點內具有列存儲技術,可以創(chuàng)建智能索引、列并行處理、高效壓縮,提高批量效率;Shared Nothing架構,可以進行在線擴展以及透明的數(shù)據(jù)分布;管理節(jié)點實例多活冗余、計算節(jié)點實例冗余,具有高可用性;可以根據(jù)數(shù)據(jù)資源以及計算資源動態(tài)擴展,適應未來業(yè)務需求。
采購數(shù)據(jù)倉庫信創(chuàng)數(shù)據(jù)庫產品授權,部署在我行生產環(huán)境、測試環(huán)境、開發(fā)環(huán)境上,生產環(huán)境15臺計算節(jié)點、測試環(huán)境3臺計算節(jié)點、開發(fā)環(huán)境3臺計算節(jié)點。
應用效果
新系統(tǒng)體現(xiàn)完善的性能和本地服務優(yōu)勢。
1、高可用能力
提供完善的高可用機制,確保各數(shù)據(jù)中心之間的數(shù)據(jù)能夠同步,并提供高可用系統(tǒng)架構、環(huán)境部署、環(huán)境搭建、資源分析、系統(tǒng)設計等技術方案支持。
2、資源復用能力
支持多租戶使用,而且不同租戶之間的資源使用完全隔離。
3、圖形化及自動化管理能力
擁有圖形化數(shù)據(jù)庫監(jiān)控管理工具和自動化運維工具,具備數(shù)據(jù)庫資源分配、容量管理、安全控制、性能監(jiān)控、故障報警、數(shù)據(jù)備份、主從切換、災備切換等功能。
4、在線資源管理能力
具備數(shù)據(jù)庫資源的在線擴容、縮容等功能。
5、數(shù)據(jù)保護能力
提供多種數(shù)據(jù)備份方式,至少包括物理備份和邏輯備份兩種,并支持在線驗證備份數(shù)據(jù)準確性和可用性。