GBase 8a數(shù)據(jù)庫是面向大數(shù)據(jù)分析應(yīng)用的一款高性能國產(chǎn)數(shù)據(jù)庫產(chǎn)品，在數(shù)據(jù)倉庫等領(lǐng)域有著廣泛的應(yīng)用。對于此類GBase 8a集群，通常會面臨因數(shù)據(jù)庫存儲使用量快速增長而引發(fā)的數(shù)據(jù)遷移和集群擴(kuò)容等運(yùn)維問題。為了提高GBase 8a數(shù)據(jù)庫存儲資源利用率，節(jié)省服務(wù)器資源，本文結(jié)合實(shí)踐經(jīng)驗(yàn)提出了基于GBase 8a審計(jì)日志的數(shù)據(jù)存儲管理方案。

GBase 8a數(shù)據(jù)庫審計(jì)日志記錄了數(shù)據(jù)庫執(zhí)行的SQL語句，包括提交任務(wù)用戶、任務(wù)所屬數(shù)據(jù)庫名、開始時(shí)間、SQL語句、執(zhí)行狀態(tài)等信息。利用審計(jì)日志可以獲取集群各邏輯庫中SQL的執(zhí)行情況，方便進(jìn)行分析和管理。

方案

本方案主要是通過解析審計(jì)日志中SQL語句涉及的表以及Where條件中日期字段的時(shí)點(diǎn)值來構(gòu)建各表中各時(shí)點(diǎn)數(shù)據(jù)的訪問情況，然后根據(jù)系統(tǒng)業(yè)務(wù)特點(diǎn)動(dòng)態(tài)進(jìn)行數(shù)據(jù)遷移，實(shí)現(xiàn)數(shù)據(jù)庫中各表進(jìn)行時(shí)點(diǎn)級的精細(xì)化管理。具體方法如下：

1、開啟GBase 8a的審計(jì)日志和轉(zhuǎn)儲功能，定時(shí)訪問audit_log_express表，獲取SQL執(zhí)行記錄。
（1）從audit_log_express表獲取滿足以下條件的記錄：sql命令類型為insert、update、delete、create table,執(zhí)行狀態(tài)為success；
（2）獲取每條記錄中的開始時(shí)間、SQL語句等內(nèi)容。

2、根據(jù)上一步獲取的SQL語句，對其進(jìn)行語法分析，獲取涉及的表和篩選條件。
（1）對SQL語句進(jìn)行語法分析；
（2）提取SQL語句中From和Join涉及的表名，以及Where條件涉及的日期字段、日期操作符（如：=、in、between and等）、取值。

3、將上兩步獲取的結(jié)果存儲到訪問歷史表中。
（1）預(yù)先創(chuàng)建訪問歷史表，包括以下字段：表名、日期字段名、日期操作符、日期時(shí)點(diǎn)值、上次訪問日期；
（2）如果步驟2中獲取的記錄不存訪問歷史表中，則存儲到訪問歷史表；如果存在則更新對應(yīng)記錄的上次訪問日期。

4、根據(jù)應(yīng)用業(yè)務(wù)特點(diǎn)制定相應(yīng)的存儲策略，基于訪問歷史表識別冷熱數(shù)據(jù)，進(jìn)行時(shí)點(diǎn)級的數(shù)據(jù)管理。根據(jù)具體冷熱分層方案，將長期無使用記錄的時(shí)點(diǎn)數(shù)據(jù)遷移到歸檔存儲，例如對象存儲中。

效果

采用本方案可以識別表中時(shí)點(diǎn)數(shù)據(jù)的冷熱情況，對各表的時(shí)點(diǎn)數(shù)據(jù)進(jìn)行動(dòng)態(tài)遷移流轉(zhuǎn)，可以實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行時(shí)點(diǎn)級的精細(xì)管理。不但可以提高數(shù)據(jù)庫存儲利用率，節(jié)省高配物理機(jī)資源；而且進(jìn)行數(shù)據(jù)遷移后還以有效提高庫內(nèi)SQL的執(zhí)行效率，減輕運(yùn)維工作壓力。

建議

據(jù)悉GBase做了血緣分析、表訪問頻次等特性；后續(xù)可以做更多更精細(xì)化的數(shù)據(jù)管理；建議GBase增加對數(shù)據(jù)遷移到對象存儲的支持，通過配置化實(shí)現(xiàn)自動(dòng)將數(shù)據(jù)歸檔到對象存儲以及從對象存儲恢復(fù)數(shù)據(jù)，更進(jìn)一步方便用戶的使用與操作。