上海移動(dòng)詳單查詢系統(tǒng)云化改造——云化改造提速降成本
項(xiàng)目背景
上海移動(dòng)是中國(guó)移動(dòng)詳單查詢系統(tǒng)云化改造試點(diǎn)運(yùn)營(yíng)商之一,目前已有將近2000萬(wàn)移動(dòng)用戶,每月產(chǎn)生話單量約為30TB,原有“小型機(jī)+磁陣”的查詢系統(tǒng)已遠(yuǎn)遠(yuǎn)不能滿足詳單查詢統(tǒng)計(jì)需求。為提升客戶滿意度,提高查詢的響應(yīng)速度和擴(kuò)展能力,同時(shí)滿足業(yè)務(wù)內(nèi)部使用需求,上海移動(dòng)急需進(jìn)行系統(tǒng)平臺(tái)云化改造。
需求分析
上海移動(dòng)原詳單查詢系統(tǒng)由帳前庫(kù)、詳單庫(kù)、Ondemand等系統(tǒng)組成,應(yīng)用過(guò)程中不斷暴露出各種業(yè)務(wù)問(wèn)題,主要包括:查詢速度慢、數(shù)據(jù)統(tǒng)計(jì)慢、數(shù)據(jù)存儲(chǔ)容量有限、擴(kuò)展能力差等?;谶@些問(wèn)題,云化改造項(xiàng)目需滿足:存儲(chǔ)6個(gè)月的歷史話單+1月的當(dāng)前話單,替代原有詳單數(shù)據(jù)庫(kù),保障數(shù)據(jù)快速入庫(kù);支持各類統(tǒng)計(jì)功能,支持生成統(tǒng)計(jì)報(bào)表,為統(tǒng)計(jì)分析提供技術(shù)支持及優(yōu)化;支持詳單重處理,支持歷史詳單查詢,支持準(zhǔn)實(shí)時(shí)的復(fù)雜性詳單查詢,支持大批量詳單導(dǎo)出。
解決方案
項(xiàng)目采用基于X86 PC Server+Linux+SATA的GBase 8a MPP Cluster分布式并行數(shù)據(jù)庫(kù)集群的系統(tǒng)建設(shè)方案,替換原有系統(tǒng),建立以列存儲(chǔ)、高壓縮為核心技術(shù)的云架構(gòu)詳單查詢系統(tǒng)。目前采用新版本8611聯(lián)邦架構(gòu)集群進(jìn)行對(duì)稱性部署,12臺(tái)管理計(jì)算節(jié)點(diǎn),2臺(tái)加載服務(wù)器,存儲(chǔ)6+1個(gè)月的詳單數(shù)據(jù),對(duì)用戶資料備份數(shù)據(jù)實(shí)現(xiàn)高壓縮存儲(chǔ),實(shí)現(xiàn)詳單實(shí)時(shí)加載,查詢響應(yīng)時(shí)間降低到3s以下。詳單查詢系統(tǒng)的系統(tǒng)架構(gòu)圖如下,以云存儲(chǔ)架構(gòu)的GBase 8a MPP Cluster為基礎(chǔ),支撐了詳單查詢系統(tǒng)、計(jì)費(fèi)業(yè)務(wù)系統(tǒng)和經(jīng)分系統(tǒng)的業(yè)務(wù)應(yīng)用,實(shí)現(xiàn)了“一庫(kù)三用”,體現(xiàn)了系統(tǒng)高速度、高壓縮、高可用的優(yōu)勢(shì)。
價(jià)值體現(xiàn)
系統(tǒng)云化:詳單云化改造項(xiàng)目積極響應(yīng)中國(guó)移動(dòng)總部“積極探索云計(jì)算的建設(shè)”目標(biāo),降低了系統(tǒng)運(yùn)行維護(hù)成本,提升了業(yè)務(wù)擴(kuò)展性能;
一庫(kù)三用:系統(tǒng)利用云平臺(tái),實(shí)現(xiàn)了即席查詢、詳單類經(jīng)分統(tǒng)計(jì)、數(shù)據(jù)備份等業(yè)務(wù)功能,體現(xiàn)了“一庫(kù)三用”的應(yīng)用價(jià)值;
性能提升:即席查詢實(shí)現(xiàn)秒級(jí)響應(yīng),月數(shù)據(jù)查詢3秒以內(nèi);統(tǒng)計(jì)性能較以前提高10倍以上;高壓縮比節(jié)省了大量存儲(chǔ)空間,以前存儲(chǔ)1個(gè)月的空間現(xiàn)在能存儲(chǔ)6個(gè)月;
按需擴(kuò)展:集群節(jié)點(diǎn)根據(jù)需求可隨時(shí)增加,且保證性能隨著節(jié)點(diǎn)的增加而線性提升。