項(xiàng)目背景

通信管理局是省級行政區(qū)域內(nèi)通信行業(yè)的主管部門，對省內(nèi)電信業(yè)進(jìn)行集中統(tǒng)一的監(jiān)督管理。為了實(shí)現(xiàn)對基礎(chǔ)電信網(wǎng)絡(luò)安全分析和行業(yè)監(jiān)管，通管局大數(shù)據(jù)分析平臺總體定位是提供智能威脅信息的整合管理和分析功能，通過海量異構(gòu)數(shù)據(jù)的集中采集和數(shù)據(jù)集中進(jìn)行威脅分析，發(fā)現(xiàn)威脅并將相關(guān)潛在威脅信息予以挖掘呈現(xiàn)。

建設(shè)要求

本項(xiàng)目要求大數(shù)據(jù)分析平臺能夠有效支撐各類業(yè)務(wù)信息的處理和運(yùn)行，提供面向在線、離線數(shù)據(jù)存儲和處理的綜合能力，并滿足易于管理和擴(kuò)展的需要。
平臺系統(tǒng)需要支持各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的存儲，通過可擴(kuò)展性的分布式平臺技術(shù)有效支撐對各類數(shù)據(jù)的加工、檢索、統(tǒng)計(jì)、分析和數(shù)據(jù)深度挖掘的需要，并對資源與任務(wù)實(shí)現(xiàn)最優(yōu)的調(diào)配管理，最終為上層各業(yè)務(wù)系統(tǒng)提供基于標(biāo)準(zhǔn)接口方式的數(shù)據(jù)的存儲、檢索、統(tǒng)計(jì)和分析等服務(wù)能力。

平臺建設(shè)需要支撐以下功能實(shí)現(xiàn)：

• 數(shù)據(jù)的匯入存儲

采用先進(jìn)的大數(shù)據(jù)存儲查詢架構(gòu)，實(shí)現(xiàn)對各類結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)采集、預(yù)處理、日志數(shù)據(jù)標(biāo)準(zhǔn)化入庫，并實(shí)現(xiàn)高效的數(shù)據(jù)整合存儲、海量數(shù)據(jù)快速分析、實(shí)時查詢等；

• 威脅信息關(guān)聯(lián)發(fā)現(xiàn)

通過特征抽取，和大數(shù)據(jù)平臺的關(guān)聯(lián)分析能力，實(shí)現(xiàn)大數(shù)據(jù)的關(guān)聯(lián)發(fā)現(xiàn)、數(shù)據(jù)間透視分析、和威脅行為的上下文推測，為威脅分析提供數(shù)據(jù)的邏輯支撐；

• 數(shù)據(jù)的深度分析和挖掘

通過各類匯合數(shù)據(jù)為大數(shù)據(jù)的分析判定提供數(shù)據(jù)支撐，并通過大數(shù)據(jù)的逐步分析到深度分析的技術(shù)流程建立，發(fā)現(xiàn)各類威脅模式，完善安全知識庫的功能，包括但不限于自治區(qū)漏洞庫、惡意代碼庫、惡意程序庫、IP/域名信譽(yù)庫、入侵特征庫等，并通過系統(tǒng)的管理實(shí)現(xiàn)各知識庫中規(guī)則的更新、管理等功能。

• 靈活的數(shù)據(jù)共享訪問

主要實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一共享功能，其中平臺對上層服務(wù)的各類數(shù)據(jù)輸出接口，主要通過標(biāo)準(zhǔn)化接口進(jìn)行實(shí)時數(shù)據(jù)的調(diào)用輸出，非實(shí)時數(shù)據(jù)接口主要是以標(biāo)準(zhǔn)日志格式通過FTP等進(jìn)行數(shù)據(jù)傳輸。

本項(xiàng)目采用GBase UP大數(shù)據(jù)融合平臺，為用戶構(gòu)建標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)采集、數(shù)據(jù)訪問的DaaS平臺。平臺包括數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)計(jì)算層、分析服務(wù)層和大數(shù)據(jù)統(tǒng)一監(jiān)控管理。平臺架構(gòu)如下： 

說明：

• 數(shù)據(jù)采集層用于支持?jǐn)?shù)據(jù)采集、過濾、緩存、中轉(zhuǎn)分發(fā)調(diào)度；

• 數(shù)據(jù)存儲層用于支持海量異構(gòu)數(shù)據(jù)的統(tǒng)一可靠的存儲管理，對外提供標(biāo)準(zhǔn)化統(tǒng)一的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問接口；

• 數(shù)據(jù)計(jì)算層是基于支持多種計(jì)算模型的分布式計(jì)算框架，為上層業(yè)務(wù)系統(tǒng)提供專業(yè)的計(jì)算處理庫；

• 分析服務(wù)層為上層業(yè)務(wù)系統(tǒng)提供各種不同協(xié)議和標(biāo)準(zhǔn)的訪問接口，并實(shí)現(xiàn)大數(shù)據(jù)平臺內(nèi)跨引擎間的任務(wù)調(diào)度；

• 大數(shù)據(jù)統(tǒng)一監(jiān)控管理用于完成對數(shù)據(jù)分析平臺的運(yùn)維、監(jiān)控等功能，并同時提供命令行和圖形兩種管理界面。

本項(xiàng)目通過MPP及Hadoop構(gòu)建了融合平臺，累計(jì)部署上百個節(jié)點(diǎn)，實(shí)現(xiàn)了項(xiàng)目需求。

本項(xiàng)目的價值體現(xiàn)如下：

• 滿足客戶統(tǒng)一數(shù)據(jù)管理需求，提升業(yè)務(wù)上線速度

通過采用GBase UP融合大數(shù)據(jù)平臺，滿足了客戶對多模數(shù)據(jù)統(tǒng)一管理的需求，并且為上層應(yīng)用提供了標(biāo)準(zhǔn)開發(fā)接口，提高了開發(fā)效率，提升了業(yè)務(wù)上線速度。

• 有效降低成本

整個系統(tǒng)平臺基于開放架構(gòu)的軟硬件設(shè)備搭建，極大地降低了系統(tǒng)建設(shè)成本。

• 全國產(chǎn)化配置，保障系統(tǒng)安全

通管局項(xiàng)目數(shù)據(jù)保密性強(qiáng)，采用全國產(chǎn)化的技術(shù)組件，保障了用戶數(shù)據(jù)的安全可控。