新疆移動(dòng)云經(jīng)分項(xiàng)目——低成本云化改造升級
項(xiàng)目背景
新疆移動(dòng)經(jīng)分系統(tǒng)邏輯上由獲取層、數(shù)據(jù)層和應(yīng)用層組成,其中數(shù)據(jù)層分為核心庫、信息庫和標(biāo)簽庫。標(biāo)簽庫系統(tǒng)是針對特定的營銷分析而建立的一個(gè)數(shù)據(jù)集市應(yīng)用,用以支撐業(yè)務(wù)人員進(jìn)行客戶分析、指標(biāo)統(tǒng)計(jì)等,為營銷管理提供基礎(chǔ)數(shù)據(jù)。當(dāng)前標(biāo)簽庫由DB2承載,出現(xiàn)系統(tǒng)資源緊張,數(shù)據(jù)查詢導(dǎo)出遇到性能瓶頸,急需改造升級。
需求分析
現(xiàn)有系統(tǒng)每天完成100~200次的數(shù)據(jù)查詢導(dǎo)出操作,改造后系統(tǒng)查詢導(dǎo)出性能要提升10倍以上,擴(kuò)容能力強(qiáng),支持對海量數(shù)據(jù)進(jìn)行多維復(fù)雜分析,滿足快速定位目標(biāo)客戶的需求,支撐未來5~10年的應(yīng)用需求。
解決方案
本項(xiàng)目采用GBase 8a MPP Cluster數(shù)據(jù)倉庫構(gòu)建經(jīng)分系統(tǒng)集群環(huán)境,部署14個(gè)集群節(jié)點(diǎn),2臺(tái)加載機(jī),目前數(shù)據(jù)總量為10TB,每天增量為50-80GB。通過GBase 8a MPP Cluster先進(jìn)的列存儲(chǔ)、智能索引、高效壓縮等技術(shù),支撐4個(gè)月的日數(shù)據(jù)和13個(gè)月的月數(shù)據(jù)的存儲(chǔ)和高效查詢,大幅度提升了系統(tǒng)的查詢導(dǎo)出性能。集群各節(jié)點(diǎn)間通過萬兆以太網(wǎng)交換機(jī)互聯(lián),保障數(shù)據(jù)快速加載和節(jié)點(diǎn)間高效數(shù)據(jù)交換。集群利用SafeGroup高可用機(jī)制,保障集群環(huán)境穩(wěn)定性。
價(jià)值體現(xiàn)
提速營銷:自助查詢縮短了需求流轉(zhuǎn)周期,使一線業(yè)務(wù)員工能夠定位新業(yè)務(wù)的目標(biāo)客戶,提高營銷效率;
云化改造:去IOE,降低擴(kuò)容成本,根據(jù)規(guī)模可以實(shí)現(xiàn)線性擴(kuò)容;
性能提升:加載、查詢性能提升10倍以上,滿足客戶邊加載邊查詢的需求,提升業(yè)務(wù)響應(yīng)速度。