過去五年來，安全數(shù)據(jù)收集，處理和分析已經(jīng)爆炸式增長。實(shí)際上，最近通過ESG對安全分析的研究發(fā)現(xiàn)，28％的組織聲稱他們收集、處理和分析的安全數(shù)據(jù)明顯多于兩年前，而另外49％的組織正在收集、處理和分析更多的數(shù)據(jù)。

什么類型的數(shù)據(jù)？包括你的名字、網(wǎng)絡(luò)元數(shù)據(jù)、端點(diǎn)活動數(shù)據(jù)、威脅情報(bào)、DNS/DHCP、業(yè)務(wù)應(yīng)用數(shù)據(jù)等。此外，我們不要忘記來自IaaS、PaaS和SaaS的安全數(shù)據(jù)的沖擊。

大規(guī)模安全數(shù)據(jù)增長的后果

安全數(shù)據(jù)的大量增長帶來了許多后果，包括以下方面：

1、需要更好的安全數(shù)據(jù)建模和管理。根據(jù)SAS軟件，大約80%的時(shí)間花在數(shù)據(jù)分析上，用于數(shù)據(jù)建模和管理。隨著網(wǎng)絡(luò)安全數(shù)據(jù)量的增長，我注意到這方面的趨勢。組織正在花費(fèi)更多的時(shí)間來確定要收集什么數(shù)據(jù)、需要什么數(shù)據(jù)格式、在哪里以及如何路由數(shù)據(jù)、數(shù)據(jù)重復(fù)刪除、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)存儲等。

基于對數(shù)據(jù)管理的日益增長的需求，ESG的安全操作和分析平臺體系結(jié)構(gòu)（SOAPA）由一個(gè)公共分布式數(shù)據(jù)管理層來支持，該層旨在為所有安全數(shù)據(jù)提供這些類型的數(shù)據(jù)管理服務(wù)。由于大多數(shù)組織都在逐步采用SOAPA，所以應(yīng)該盡早考慮安全分析數(shù)據(jù)模型。簡單地說，考慮一下您想要完成什么，然后返回到所需的數(shù)據(jù)源。

2、尋求數(shù)據(jù)合成，豐富和語境化。所有安全數(shù)據(jù)元素都可以彼此關(guān)聯(lián)，但是說起來容易做起來難。在過去，許多組織依賴于安全人員和電子表格來關(guān)聯(lián)由不同分析工具生成的安全事件和警報(bào)。當(dāng)網(wǎng)絡(luò)流量分析（NTA）工具檢測到可疑的流量時(shí)，分析人員獲取源IP地址，調(diào)查DHCP服務(wù)器的IP租用歷史，找出涉及到哪個(gè)設(shè)備，然后挖掘該設(shè)備發(fā)出的歷史日志文件。

考慮到這些手工任務(wù)的低效性，我們已經(jīng)看到點(diǎn)對點(diǎn)分析工具集成的增加，以及對像SOAPA那樣的架構(gòu)集成的更大需求。行為分析，如用戶和實(shí)體行為分析（UEBA），通過一系列嵌套機(jī)器學(xué)習(xí)（ML）算法注入多個(gè)同時(shí)發(fā)生的安全數(shù)據(jù)事件，顯示了一些數(shù)據(jù)綜合的前景。是的，行為分析是一項(xiàng)正在進(jìn)行的工作，但我看到的最近的創(chuàng)新和進(jìn)步讓我感到鼓舞。

3、高性能的要求。大型組織正在監(jiān)視數(shù)以萬計(jì)的系統(tǒng)，每秒生成超過20，000個(gè)事件，并且每天收集TB級的數(shù)據(jù)。該數(shù)據(jù)量需要高效的數(shù)據(jù)管道和正確的網(wǎng)絡(luò)、服務(wù)器和存儲基礎(chǔ)設(shè)施來實(shí)時(shí)移動、處理和分析這些數(shù)據(jù)。為了滿足實(shí)時(shí)數(shù)據(jù)管道的需要，我看到了Kafka消息總線的廣泛應(yīng)用。不要忘記，我們需要足夠的馬力來查詢TB到PB的歷史安全數(shù)據(jù)，以用于事件響應(yīng)和回顧性調(diào)查。這種需求導(dǎo)致了基于開源（如ELK stack、Hadoop等）和商業(yè)產(chǎn)品的安全數(shù)據(jù)湖的激增。

4、AI。好消息是：所有這些數(shù)據(jù)為數(shù)據(jù)科學(xué)家提供了充分的機(jī)會，可以創(chuàng)建和測試數(shù)據(jù)模型，開發(fā)ML算法，并對其進(jìn)行高精度調(diào)整。壞消息是，我們剛剛開始合并數(shù)據(jù)科學(xué)家和安全專業(yè)知識，以開發(fā)用于安全分析的AI。進(jìn)步的首席信息安全官具有現(xiàn)實(shí)的態(tài)度。他們的希望是AI / ML可以通過提供更多背景證據(jù)，增加風(fēng)險(xiǎn)評分環(huán)境等來提高個(gè)人安全警報(bào)的保真度。換句話說，AI / ML充當(dāng)智能防御層，而不是獨(dú)立的無所不知的安全性分析神。

5、基于云計(jì)算的安全分析。毫無疑問，許多組織正在質(zhì)疑，將大量資源僅用于收集、處理和存儲TB甚至PB級的安全數(shù)據(jù)作為現(xiàn)代安全數(shù)據(jù)分析需求的先決條件是否明智。使用大規(guī)模的、可伸縮的基于云的資源不是更容易嗎？根據(jù)我對市場的觀察，答案是肯定的。IBM和Splunk報(bào)告稱，它們在基于云的SIEM方面增長強(qiáng)勁。SumoLogic聲稱擁有超過2000名客戶，而谷歌（Chronicle Backstory）和微軟（Azure Sentinel）則是基于云的安全分析領(lǐng)域的新亮點(diǎn)。期待亞馬遜也加入這個(gè)行列。隨著安全數(shù)據(jù)的不斷增長，安全分析向云的“提升和轉(zhuǎn)移”只會獲得動力。

著名科技作家杰弗里·摩爾曾說過：“沒有大數(shù)據(jù)分析，公司就會變得又瞎又聾，像高速公路上的鹿一樣在網(wǎng)上游蕩?！彪m然摩爾在談?wù)摼W(wǎng)絡(luò)的早期，但這句話同樣適用于安全分析。是的，組織可以極大地提高其降低風(fēng)險(xiǎn)、檢測/響應(yīng)威脅以及通過強(qiáng)大的安全分析自動化安全操作的能力。然而，為了實(shí)現(xiàn)這些結(jié)果，CISO必須從一開始就對安全數(shù)據(jù)建模、管道和管理進(jìn)行充分的規(guī)劃和工作。