本項(xiàng)目采用GBase 8a MPP大規(guī)模分布式并行數(shù)據(jù)庫(kù)集群系統(tǒng)，搭建14節(jié)點(diǎn)集群（5個(gè)集群節(jié)點(diǎn)+9個(gè)數(shù)據(jù)節(jié)點(diǎn)）存儲(chǔ)整合明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)。

● 準(zhǔn)實(shí)時(shí)同步，準(zhǔn)確高效：GBase RTSync實(shí)現(xiàn)增量抽取、增量加載的數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步功能，高達(dá)秒級(jí)同步效率；而且確保同步數(shù)據(jù)一致；

● 海量數(shù)據(jù)，高速初始化：實(shí)現(xiàn)高速加載數(shù)據(jù)，同時(shí)提供高壓縮比入庫(kù)從而提升性能，海量存儲(chǔ)能力，整合多業(yè)務(wù)數(shù)據(jù)，并可根據(jù)需求在線(xiàn)動(dòng)態(tài)擴(kuò)展；

● 全量初始化，無(wú)需停機(jī)：新業(yè)務(wù)新表接入國(guó)網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心的源端數(shù)據(jù)庫(kù)不需要停機(jī)，也不需要暫停原業(yè)務(wù)運(yùn)行，GBase RTSync實(shí)現(xiàn)歷史數(shù)據(jù)和增量數(shù)據(jù)無(wú)縫結(jié)合，保障源庫(kù)正常運(yùn)行下，高效加載至整合數(shù)據(jù)庫(kù)中。

GBase RTSync+GBase 8a MPP組合。搭建GBase RTSync前置服務(wù)器，對(duì)接前端貼源歷史庫(kù)和后端全域模型的數(shù)據(jù)明細(xì)層及輕度匯總層。RTSync完成歷史數(shù)據(jù)導(dǎo)入和源庫(kù)零停機(jī)的增量數(shù)據(jù)接入，支撐峰值源庫(kù)1.5TB/日的歸檔量的增量同步。GBase RTSync + GBase 8a MPP 集群數(shù)據(jù)庫(kù)深度優(yōu)化綁定方案，滿(mǎn)足海量數(shù)據(jù)存儲(chǔ)、大規(guī)模并行計(jì)算、準(zhǔn)實(shí)時(shí)增量流轉(zhuǎn)等功能需求和性能要求。

南大通用實(shí)時(shí)同步系統(tǒng)，簡(jiǎn)稱(chēng)：GBase RTSync，它是一款自主研發(fā)的異構(gòu)及同構(gòu)數(shù)據(jù)庫(kù)增量數(shù)據(jù)實(shí)時(shí)同步產(chǎn)品，具備實(shí)時(shí)性、一致性、精準(zhǔn)性、易擴(kuò)展性和可集成特性，適用于OLTP數(shù)據(jù)庫(kù)與OLAP數(shù)據(jù)庫(kù)聯(lián)動(dòng)向應(yīng)用系統(tǒng)提供數(shù)據(jù)管理和數(shù)據(jù)分析功能的業(yè)務(wù)場(chǎng)景，可以實(shí)現(xiàn)將OLTP數(shù)據(jù)庫(kù)的數(shù)據(jù)實(shí)時(shí)同步到OLAP數(shù)據(jù)庫(kù)，從而使得OLAP數(shù)據(jù)庫(kù)具備了實(shí)時(shí)數(shù)據(jù)分析的基礎(chǔ)，解決數(shù)據(jù)增量同步問(wèn)題，能夠有效提升數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)的數(shù)據(jù)分析效率和及時(shí)性。

GBase RTSync核心組件

● Capture：從數(shù)據(jù)源獲取并解析增量數(shù)據(jù)邏輯日志，按照特定的協(xié)議標(biāo)準(zhǔn)封裝后發(fā)送給消息隊(duì)列；

● Delivery：從消息隊(duì)列組件中獲取協(xié)議數(shù)據(jù)，并根據(jù)目標(biāo)庫(kù)的類(lèi)型，組織和優(yōu)化數(shù)據(jù)，將數(shù)據(jù)寫(xiě)入目標(biāo)數(shù)據(jù)庫(kù)；

● MQ：支持Kafka以及Rabbit MQ，兩者均可保證高可用；

● 管理模塊：啟、停和監(jiān)控Capture 、 Delivery組件，校驗(yàn)源和目標(biāo)端數(shù)據(jù)同步相關(guān)配置信息。

GBase RTSync關(guān)鍵技術(shù)

● 基于邏輯日志的解析的增量同步對(duì)源庫(kù)影響小

● 在線(xiàn)接管，減少源庫(kù)的非計(jì)劃停機(jī)

● 分布式架構(gòu)支持水平擴(kuò)展

● 與主流消息中間件兼容Kafka、rabbitMQ

● 支持高可用模式

國(guó)網(wǎng)某省份要重點(diǎn)進(jìn)行人員、財(cái)務(wù)、物資、客戶(hù)、資產(chǎn)、項(xiàng)目等10個(gè)業(yè)務(wù)主題域模型的數(shù)據(jù)整合實(shí)施工作。數(shù)據(jù)整合任務(wù)涉及物理模型有 3000+ 個(gè)，涉及來(lái)源表有 3000+ 張等。本項(xiàng)目模型多、表多、表關(guān)系復(fù)雜度高，但要求數(shù)據(jù)整合工作快速準(zhǔn)確，增量數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步到數(shù)據(jù)倉(cāng)庫(kù)中。