重慶聯通BSS詳單歷史庫改造——列存高壓縮支撐歷史數據存儲
項目背景
隨著語音和流量業務量的增大,重慶聯通以往的詳單系統逐漸無法支撐不斷增長的詳單數據的存儲壓力。重慶聯通原詳單項目由Oracle 9i進行數據的存儲和查詢支持,由于數據量逐漸增大,目前的存儲系統已經不能滿足要求,從而尋求可以實現更大數據量存儲的歷史庫解決方案。
需求分析
根據客戶提出的具體需求,期望新建歷史庫系統能滿足如下的要求:
存儲一年的數據,并保證六個月的數據是可查詢的;
查詢3秒左右響應;
壓縮比做到10倍以上;
需要在有限的預算條件下實現歷史庫系統建設。
解決方案
新建歷史庫系統能實現在Oracle系統中保持2個月的數據,GBase 8a MPP Cluster保存從當月以前的所有歷史數據。每個月1次將從Oracle把最近1個月的數據通過GBase的數據分發服務器加載數據到GBase 8a MPP Cluster,并同時在Oracle上刪除1個月前的數據。
上層應用根據檢索期間控制訪問至目標數據庫,最近1個月的數據從Oracle上檢索取得,最近1個月前的歷史的數據從GBase 8a MPP Cluster上檢索取得。
價值體現
存期延長一倍:利用GBase 8a MPP Cluster數據庫優異的列式存儲和壓縮功能,新系統下可以承載的詳單數據存儲周期由原來的6個月增長至1年;
高性能低風險:通過與現有的Oracle數據庫的集成和應用層根據期間的數據訪問控制,滿足了在數據存儲周期增長的前提下詳單查詢性能不會下降的基本需求,并且降低了詳單歷史庫遷移時的系統風險;
高可用低成本:通過安全組構成,設置1副本的數據冗余,保證歷史庫系統的高可用。由于系統基于戴爾的X86 PC Server的廉價服務器平臺建設,在保證系統對海量數據支撐的同時,實現了使用廉價方式構建高可用的運營商核心數據平臺的預期目標。