（2）大數(shù)據(jù)湖：存儲(chǔ)網(wǎng)絡(luò)安全大數(shù)據(jù)的平臺(tái)，相當(dāng)于人的記憶中樞。

（3）安全知識(shí)體系：包括各種威脅情報(bào)、安全資源庫、安全分析模型等等，是用于檢測(cè)、識(shí)別、分析、溯源各類網(wǎng)絡(luò)安全威脅的知識(shí)庫。

（4）智能分析系統(tǒng)：采用人工智能、數(shù)據(jù)挖掘、可視化計(jì)算等一系列分析技術(shù)，實(shí)現(xiàn)對(duì)安全威脅的分析研判和處置。

（5）智能學(xué)習(xí)系統(tǒng)：具備自我學(xué)習(xí)、自我演進(jìn)的能力，實(shí)現(xiàn)對(duì)新的網(wǎng)絡(luò)安全威脅、攻擊方法等的識(shí)別功能。

（6）人機(jī)智能交互輔助決策系統(tǒng)：利用安全專家經(jīng)驗(yàn)，通過智能人機(jī)交互方式，實(shí)現(xiàn)對(duì)安全威脅檢測(cè)、分析、溯源等的輔助決策。

安防體系架構(gòu)

安全大數(shù)據(jù)平臺(tái)架構(gòu)

在參考了上述關(guān)于安防建設(shè)體系的設(shè)計(jì)思路與建設(shè)理念后，結(jié)合實(shí)踐特性，本文有針對(duì)性地提出了安全大數(shù)據(jù)平臺(tái)的體系架構(gòu)。該體系架構(gòu)從邏輯層次上劃分為安全底座、安全中臺(tái)、服務(wù)總線、安全應(yīng)用 4 個(gè)層次。

總體而言，安全大數(shù)據(jù)平臺(tái)架構(gòu)可概括為“一腦雙核，四輪驅(qū)動(dòng)”，具體由安全數(shù)據(jù)中臺(tái)、安全資源中臺(tái)、數(shù)據(jù)治理、安全事件、國家標(biāo)準(zhǔn)和技術(shù)協(xié)會(huì)（National Institute of Standards and Technology，NIST）的網(wǎng)絡(luò)安全框架（Cyber Security Framework，CSF）、數(shù)據(jù)驅(qū)動(dòng) 6 個(gè)部分組成。其中“一腦雙核”是指以安全數(shù)據(jù)中臺(tái)和安全資源中臺(tái)為核心構(gòu)建的智能感知控制體系：數(shù)據(jù)中臺(tái)提供安全數(shù)據(jù)采集、處理、分析、組織和集成的通道；資源中臺(tái)則是以數(shù)據(jù)中臺(tái)為基礎(chǔ)，為各種安全應(yīng)用提供數(shù)據(jù)基礎(chǔ)服務(wù)能力。智能感知控制體系以資產(chǎn)為核心構(gòu)建，不斷流動(dòng)的安全事件經(jīng)過安全大腦分析判斷之后反饋給安全管控平臺(tái)，通過策略管控手段作用到資產(chǎn)上，形成了管理與控制的通道。

“四輪驅(qū)動(dòng)”是指以數(shù)據(jù)治理為手段，以安全事件為中心，以 NIST 的 CSF 為指導(dǎo)，以場(chǎng)景化驅(qū)動(dòng)豐富的安全應(yīng)用：數(shù)據(jù)治理是指構(gòu)建安全事件主數(shù)據(jù)體系，如資產(chǎn)、病毒、漏洞、行為、威脅情報(bào)庫、安全資源庫等；以安全事件為中心，持續(xù)動(dòng)態(tài)檢測(cè)和響應(yīng)，在所有感知層收集的數(shù)據(jù)進(jìn)入事件中心后，在策略管控下，在安全主數(shù)據(jù)、威脅庫和安全知識(shí)庫指引下進(jìn)行實(shí)時(shí)或離線處理，響應(yīng)系統(tǒng)會(huì)做出各種符合相應(yīng)場(chǎng)景的響應(yīng)；以 NIST CSF 框架為指導(dǎo)，構(gòu)建資源中臺(tái)，對(duì)外提供包括識(shí)別、保護(hù)、檢測(cè)、響應(yīng)、恢復(fù)在內(nèi)的完整的安全能力和功能的輸出；以數(shù)據(jù)驅(qū)動(dòng)豐富的安全應(yīng)用，通過各類安全應(yīng)用融合聯(lián)動(dòng)，促使安全從原來的被動(dòng)、割裂走向融合、場(chǎng)景化且能夠統(tǒng)一管理。

由此可以看出，安全數(shù)據(jù)管控能力的集中性，多種應(yīng)用場(chǎng)景的適應(yīng)性，以及支撐業(yè)務(wù)發(fā)展的可持續(xù)性是該架構(gòu)的核心思路。

安防體系數(shù)據(jù)架構(gòu)

在本文建立了安全大數(shù)據(jù)平臺(tái)后，安全防護(hù)問題實(shí)質(zhì)上就演變成了數(shù)據(jù)問題，如何采集、計(jì)算、存儲(chǔ)、融合分析數(shù)據(jù)，直至挖掘出安全威脅是整個(gè)安防體系需要考慮的核心問題。如圖 3 所示，安全大數(shù)據(jù)平臺(tái)的數(shù)據(jù)架構(gòu)在設(shè)計(jì)上與安全大數(shù)據(jù)平臺(tái)的體系架構(gòu)類似，主要由數(shù)據(jù)采集層、數(shù)據(jù)計(jì)算層、數(shù)據(jù)服務(wù)層和數(shù)據(jù)應(yīng)用層 4 部分構(gòu)成。

1.數(shù)據(jù)采集層

數(shù)據(jù)采集層利用大數(shù)據(jù)技術(shù)收集網(wǎng)絡(luò)安全信息 。從業(yè)務(wù)類型來劃分，接入的數(shù)據(jù)主要包括安防應(yīng)用系統(tǒng)埋點(diǎn)日志類數(shù)據(jù)、流量類數(shù)據(jù)、安全資源類數(shù)據(jù)、安全知識(shí)情報(bào)類數(shù)據(jù)和安全告警類數(shù)據(jù)等。數(shù)據(jù)抽取工具和自定義程序?qū)崿F(xiàn)對(duì)數(shù)據(jù)庫、文本文件、流數(shù)據(jù)的接入。通過構(gòu)建數(shù)據(jù)引接系統(tǒng)，支持多源異構(gòu)數(shù)據(jù)接入，引入 Kafka 數(shù)據(jù)高速傳輸組件，能夠?qū)崿F(xiàn)流量削峰，建立高效數(shù)據(jù)傳輸通道，最大化數(shù)據(jù)吞吐率，實(shí)現(xiàn)數(shù)據(jù)高速采集傳輸，減少數(shù)據(jù)時(shí)延，滿足對(duì)實(shí)時(shí)性要求更高的應(yīng)用場(chǎng)景。

2.數(shù)據(jù)計(jì)算層

對(duì)于安全數(shù)據(jù)分析場(chǎng)景，數(shù)據(jù)處理需要實(shí)現(xiàn)流批一體化。從數(shù)據(jù)處理實(shí)時(shí)性來看，對(duì)一些時(shí)延性要求不高的業(yè)務(wù)場(chǎng)景，一般采用批處理方式，而對(duì)于實(shí)時(shí)處理要求比較高的業(yè)務(wù)場(chǎng)景，較多采用流式處理引擎，其處理過程為：數(shù)據(jù)同步工具從業(yè)務(wù)系統(tǒng)庫實(shí)時(shí)增量同步數(shù)據(jù)到 Kafka；數(shù)據(jù)通過 Kafka傳輸，經(jīng)過消費(fèi)同步到安全數(shù)據(jù)平臺(tái)的數(shù)據(jù)湖中；另外數(shù)據(jù)經(jīng)過實(shí)時(shí)計(jì)算引擎 Flink 處理后，直接推送到前端數(shù)據(jù)應(yīng)用中，進(jìn)行數(shù)據(jù)可視化展示。

本層引入離線和實(shí)時(shí)數(shù)倉。數(shù)據(jù)倉庫設(shè)計(jì)采用分層的設(shè)計(jì)，這樣設(shè)計(jì)的原因是對(duì)于海量安全數(shù)據(jù)，需要對(duì)數(shù)據(jù)進(jìn)行組織規(guī)劃，使其具有清晰的數(shù)據(jù)結(jié)構(gòu)，方便數(shù)據(jù)有秩序地流轉(zhuǎn)，并且在數(shù)據(jù)開發(fā)過程中，能夠減少重復(fù)開發(fā)，統(tǒng)一數(shù)據(jù)口徑。

3.數(shù)據(jù)服務(wù)層

經(jīng)過數(shù)據(jù)計(jì)算后，主要輸出的數(shù)據(jù)服務(wù)能力包括數(shù)據(jù)資源目錄服務(wù)、主數(shù)據(jù)服務(wù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)質(zhì)量服務(wù)、數(shù)據(jù)血緣分析服務(wù)和元數(shù)據(jù)管理服務(wù)。每一類數(shù)據(jù)服務(wù)都由一組服務(wù)接口組成。

4.數(shù)據(jù)應(yīng)用層

通過數(shù)據(jù)服務(wù)層打通各類安全數(shù)據(jù)與安全應(yīng)用的通道，實(shí)現(xiàn)無縫銜接，以數(shù)據(jù)驅(qū)動(dòng)安全業(yè)務(wù)發(fā)展。