GBase新聞
國產(chǎn)數(shù)據(jù)庫創(chuàng)新實踐:GBASE在某國有大行的應用實踐
某國有大行的大數(shù)據(jù)體系依托GBASE數(shù)據(jù)庫構(gòu)建,回顧整個大數(shù)據(jù)體系的建設歷程:2013年8月該行大數(shù)據(jù)平臺正式立項;2015年主庫投產(chǎn);2018年大數(shù)據(jù)平臺獲得人民銀行銀行科技發(fā)展一等獎;2019年大數(shù)據(jù)平臺建成,形成主庫+8大集市。2020年數(shù)據(jù)中臺建成,同期入選工信部《2020年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點示范項目名單》;2022年,面向鄉(xiāng)村振興的智能數(shù)據(jù)服務云搭建成功,獲得人民銀行金融科技發(fā)展二等獎;當前,行方正著力圍繞大數(shù)據(jù)平臺構(gòu)建“面向未來的新一代大數(shù)據(jù)能力體系”,夯實數(shù)據(jù)底座,建立運營體系,全面開放賦能。
在大數(shù)據(jù)平臺建設的技術路線選擇上,行方采用分析型數(shù)據(jù)庫與開源分布式數(shù)據(jù)處理相結(jié)合的技術架構(gòu)。其中,分析型數(shù)據(jù)庫路線與GBASE戰(zhàn)略合作,選用南大通用分布式邏輯數(shù)據(jù)倉庫GBase 8a MPP Cluster,通過與Hadoop搭建融合架構(gòu),圍繞國產(chǎn)、開源,構(gòu)建全棧式數(shù)據(jù)服務技術架構(gòu),從而實現(xiàn)數(shù)據(jù)應用的自主創(chuàng)新、安全可控。
GBase數(shù)據(jù)庫在行方得到了長期且深入的應用,相繼打造了一批重點標桿案例。
GBase 8a MPP Cluster作為行方重要的MPP基礎設施,主要應用于結(jié)構(gòu)化模型數(shù)據(jù)存儲及加工領域,大數(shù)據(jù)平臺承載數(shù)據(jù)占比超過70%;系統(tǒng)包括大數(shù)據(jù)平臺主庫BDS/GDS、八大集市等,構(gòu)建了銀行大數(shù)據(jù)基礎數(shù)據(jù)底座,為數(shù)據(jù)中臺服務層AI、BI平臺提供數(shù)據(jù)支撐。
數(shù)據(jù)存儲
大數(shù)據(jù)平臺主庫GBase承載數(shù)據(jù)量60PB、節(jié)點數(shù)3000+;Hadoop承載數(shù)據(jù)量23PB,節(jié)點數(shù)1500+
行內(nèi)總行入庫數(shù)百個系統(tǒng),實現(xiàn)主要業(yè)務系統(tǒng)全覆蓋
數(shù)據(jù)處理
PB級結(jié)構(gòu)化數(shù)據(jù)
每日幾十萬個批量作業(yè)
每日全量批量大部分上班前完成處理
ms級延遲流數(shù)據(jù)實時分析
數(shù)據(jù)服務
累計開展數(shù)百項AI建模專題
為8大業(yè)務領域,應用場景提供服務
批量文件接口上萬個
日均訪問量上億
除大數(shù)據(jù)平臺主庫外,GBase應用規(guī)模最大的場景為分行數(shù)據(jù)集市,目前該系統(tǒng)擁有10個GBase集群,節(jié)點數(shù)達638個,可承載數(shù)據(jù)量10PB。2021-2023年,行方以數(shù)據(jù)中臺和分行數(shù)據(jù)集市為基礎,推進分行用數(shù)場景上云,并構(gòu)建完備的分行數(shù)據(jù)服務云(DaaS),做到了三統(tǒng)一、一共享、一安全。
行方的監(jiān)管報送數(shù)據(jù)服務云系統(tǒng)采用GBase云數(shù)倉關鍵技術,承擔了面向監(jiān)管部門的十余項報送任務的批量加工工作。隨著明細報送數(shù)據(jù)量的不斷增加,監(jiān)管報送人工干預環(huán)節(jié)同時存在高并發(fā)聯(lián)機操作和海量數(shù)據(jù)分析場景,混合事務和分析處理(HTAP)數(shù)據(jù)庫相關的預研,結(jié)合GBase云數(shù)倉聯(lián)合適配,實現(xiàn)存儲運算資源的有效隔離和彈性擴展,提升了聯(lián)機并發(fā)支撐能力。
GBase還廣泛應用于聯(lián)機查詢服務領域,在行方數(shù)據(jù)中臺BI報表中心、靈活查詢中心等系統(tǒng)中,GBase查詢庫承接加工后的數(shù)據(jù),為上層應用及報表提供聯(lián)機數(shù)據(jù)查詢,可以做到千萬級數(shù)據(jù)查詢秒級響應。
未來,GBASE南大通用將與行方在信創(chuàng)轉(zhuǎn)型、安全增效、云原生、數(shù)據(jù)友好型等四大方向進一步深度合作,共同構(gòu)建面向未來的MPP及大數(shù)據(jù)生態(tài)架構(gòu)。