中科院CNGI國(guó)家重大信息化項(xiàng)目——高并發(fā)、大流量
價(jià)值體現(xiàn)
l 海量數(shù)據(jù)存儲(chǔ)：實(shí)現(xiàn)了對(duì)TB級(jí)數(shù)據(jù)的壓縮存儲(chǔ)和管理，壓縮比達(dá)到1：3，有效節(jié)約磁盤(pán)空間和硬件投入成本；
l 高并發(fā)：1000并發(fā)下的秒級(jí)查詢(xún)；
l 統(tǒng)計(jì)分析查詢(xún)：支持復(fù)雜統(tǒng)計(jì)分析查詢(xún)秒級(jí)響應(yīng)；
l 高擴(kuò)展：支持在線線性擴(kuò)展，且保證性能隨著節(jié)點(diǎn)的增加而線性提升，滿(mǎn)足未來(lái)PB級(jí)業(yè)務(wù)的擴(kuò)展需求。
解決方案
如下圖所示，南大通用采用GBase 8a MPP Cluster作為中國(guó)科技網(wǎng)運(yùn)行維護(hù)和管理的后臺(tái)數(shù)據(jù)庫(kù)集群系統(tǒng)，將來(lái)自于CSTNET的運(yùn)維管理、互聯(lián)網(wǎng)接入服務(wù)、科研數(shù)據(jù)中心等數(shù)據(jù)源高速加載至GBase 8a MPP Cluster中，進(jìn)行按指定的源端IP計(jì)算流量、按指定的協(xié)議計(jì)算流量、按目的端IP計(jì)算流量，并進(jìn)行統(tǒng)計(jì)訪問(wèn)次數(shù)等查詢(xún)工作，同時(shí)生成網(wǎng)絡(luò)監(jiān)測(cè)分析數(shù)據(jù)。GBase 8a MPP Cluster通過(guò)Shared Nothing集群架構(gòu)，采用列存儲(chǔ)、高效壓縮、智能索引等核心技術(shù)，為全網(wǎng)網(wǎng)絡(luò)監(jiān)測(cè)等復(fù)雜查詢(xún)分析提供技術(shù)保障。
需求分析
滿(mǎn)足大規(guī)模網(wǎng)絡(luò)監(jiān)測(cè)分析系統(tǒng)等應(yīng)用，需要對(duì)百TB級(jí)流量數(shù)據(jù)進(jìn)行高效壓縮存儲(chǔ)、管理；需滿(mǎn)足支持1000以上高并發(fā)查詢(xún)，且響應(yīng)時(shí)間在秒級(jí)；需要對(duì)流量數(shù)據(jù)進(jìn)行復(fù)雜統(tǒng)計(jì)查詢(xún)分析。
項(xiàng)目背景
中國(guó)下一代互聯(lián)網(wǎng)示范工程(CNGI)是國(guó)家級(jí)戰(zhàn)略項(xiàng)目，六個(gè)主干網(wǎng)絡(luò)之一中國(guó)科技網(wǎng)（CSTNET）由中國(guó)科學(xué)院負(fù)責(zé)運(yùn)營(yíng)。中國(guó)科技網(wǎng)是由北京、上海等十三家地區(qū)分中心組成的國(guó)內(nèi)骨干網(wǎng)，擁有多條通往不同國(guó)家的國(guó)際出口，并與多個(gè)國(guó)內(nèi)主要互聯(lián)網(wǎng)運(yùn)營(yíng)商實(shí)現(xiàn)高速互聯(lián)，其業(yè)務(wù)包括CSTNET的運(yùn)維管理、互聯(lián)網(wǎng)接入服務(wù)、科研數(shù)據(jù)中心等。目前數(shù)據(jù)流量已經(jīng)達(dá)到百TB，且數(shù)據(jù)量呈爆炸型增長(zhǎng)，現(xiàn)有數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)很難有效支撐海量的互聯(lián)網(wǎng)信息存儲(chǔ)和網(wǎng)絡(luò)流量監(jiān)控等分析型應(yīng)用工作。