隨著移動(dòng)互聯(lián)網(wǎng)和智能終端的發(fā)展，電信行業(yè)遇到了巨大的挑戰(zhàn)：

• 首先是市場(chǎng)需求的變化。客戶需求日益多樣化和小眾化，產(chǎn)品規(guī)模呈現(xiàn)爆發(fā)式增長(zhǎng)，客戶的接觸渠道漸趨快速豐富。傳統(tǒng)大眾化、規(guī)模化的營(yíng)銷模式，已經(jīng)越來(lái)越難以適應(yīng)現(xiàn)有的市場(chǎng)情況；

• 其次是競(jìng)爭(zhēng)方面帶來(lái)的挑戰(zhàn)。移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來(lái)，加劇了市場(chǎng)競(jìng)爭(zhēng)。運(yùn)營(yíng)商所要面臨的競(jìng)爭(zhēng)不僅來(lái)自同質(zhì)企業(yè)，也來(lái)自異質(zhì)企業(yè)。移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來(lái)使得互聯(lián)網(wǎng)公司風(fēng)起云涌，電信運(yùn)營(yíng)商過(guò)去在整個(gè)產(chǎn)業(yè)中的主導(dǎo)權(quán)正逐步被分化，生態(tài)環(huán)境的改變使得競(jìng)爭(zhēng)更加激烈；

• 最后是來(lái)自技術(shù)方面的挑戰(zhàn)。移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展使得業(yè)務(wù)支撐系統(tǒng)的數(shù)據(jù)處理量激增，數(shù)據(jù)類型不斷擴(kuò)展，涵蓋大量的網(wǎng)絡(luò)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)和位置信息等。面對(duì)海量互聯(lián)網(wǎng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)處理技術(shù)成為系統(tǒng)發(fā)展的瓶頸。

面對(duì)挑戰(zhàn)，浙江移動(dòng)需要把握大數(shù)據(jù)時(shí)代的機(jī)遇，順應(yīng)需求多樣化、行為碎片化以及海量應(yīng)用等變化趨勢(shì)，轉(zhuǎn)變傳統(tǒng)營(yíng)銷思路，以“大數(shù)據(jù)、超細(xì)分、微營(yíng)銷”為核心，驅(qū)動(dòng)資費(fèi)、渠道、營(yíng)銷、傳播能力轉(zhuǎn)型，建立適合移動(dòng)互聯(lián)網(wǎng)時(shí)代的服務(wù)體系。

• 浙江公司企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)平臺(tái)建設(shè)需要支撐5-10個(gè)內(nèi)部應(yīng)用和5-10個(gè)外部應(yīng)用上線的業(yè)務(wù)需求，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)產(chǎn)生收入；

• 構(gòu)建MPP資源池集群，主要包括核心數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市；

• 主數(shù)據(jù)倉(cāng)庫(kù)MPP集群，主要承擔(dān)B域、O域的數(shù)據(jù)建模與基礎(chǔ)數(shù)據(jù)存儲(chǔ)運(yùn)算；

• 數(shù)據(jù)集市MPP集群，主要承擔(dān)內(nèi)部應(yīng)用和對(duì)外變現(xiàn)應(yīng)用。VGOP、ESOP、創(chuàng)新應(yīng)用孵化平臺(tái)等傳統(tǒng)數(shù)據(jù)集市專題類應(yīng)用也逐步遷移到數(shù)據(jù)集市MPP集群。

本期大數(shù)據(jù)基礎(chǔ)平臺(tái)整體架構(gòu)：

• MPP集群與外部系統(tǒng)的數(shù)據(jù)交互全部通過(guò)云化ETL平臺(tái)完成。 MPP集群應(yīng)用開(kāi)發(fā)基于DACP（數(shù)據(jù)管理子系統(tǒng)）進(jìn)行。云管理執(zhí)行中心采集MPP集群相關(guān)指標(biāo)，并提供給云資源管理平臺(tái)；

• 數(shù)據(jù)倉(cāng)庫(kù)MPP集群主要承擔(dān)數(shù)據(jù)建模與基礎(chǔ)數(shù)據(jù)存儲(chǔ)的任務(wù)，業(yè)務(wù)上線后原數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)下線；GBase 8a MPP Cluster數(shù)據(jù)庫(kù)平臺(tái)采用3+12*3模式，包括3個(gè)主機(jī)的數(shù)據(jù)加載節(jié)點(diǎn)，12個(gè)數(shù)據(jù)分片組，每組做3份冗余數(shù)據(jù)，目前數(shù)據(jù)量是168TB。集群內(nèi)部采用萬(wàn)兆網(wǎng)絡(luò)進(jìn)行高速連接；

• 數(shù)據(jù)集市MPP集群主要搭載內(nèi)部應(yīng)用和對(duì)外變現(xiàn)應(yīng)用。GBase 8a MPP Cluster數(shù)據(jù)庫(kù)平臺(tái)采用3+24*2模式，包括3個(gè)主機(jī)的數(shù)據(jù)加載節(jié)點(diǎn)，24個(gè)數(shù)據(jù)分片組，每個(gè)組做2份冗余數(shù)據(jù)。

• 低成本：GBase 8a MPP Cluster數(shù)據(jù)庫(kù)運(yùn)行于低成本的X86 PC Server，有效節(jié)省硬件投入成本，新系統(tǒng)整體成本降為原來(lái)的1/10左右；

• 動(dòng)態(tài)擴(kuò)展：GBase 8a MPP Cluster數(shù)據(jù)庫(kù)能夠有效處理PB級(jí)數(shù)據(jù)，滿足基礎(chǔ)數(shù)據(jù)及應(yīng)用數(shù)據(jù)的存儲(chǔ)需求；將原有服務(wù)器的垂直縱向擴(kuò)展模式改為依據(jù)數(shù)據(jù)量的水平橫向擴(kuò)展模式，動(dòng)態(tài)擴(kuò)展無(wú)須停止服務(wù)，保證服務(wù)連貫性；

• 高可用：通過(guò)合理配置能夠有效實(shí)現(xiàn)均衡負(fù)載，充分發(fā)揮每一個(gè)節(jié)點(diǎn)的計(jì)算能力，提升整個(gè)系統(tǒng)的協(xié)同效率；基于冗余的備份策略能夠保證節(jié)點(diǎn)在發(fā)生故障時(shí)，不影響系統(tǒng)對(duì)外提供服務(wù)的連續(xù)性；

• 高性能：提升對(duì)外提供數(shù)據(jù)服務(wù)的能力，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)產(chǎn)生收入；高效的數(shù)據(jù)運(yùn)算與查詢性能，滿足各類專題分析與創(chuàng)新類應(yīng)用需求。