在今天，企業(yè)的安全和風(fēng)險負(fù)責(zé)人需要判斷在研發(fā)、運維以及應(yīng)用程序安全測試中使用人工智能或機(jī)器學(xué)習(xí)是否具有實際價值。他們必須能夠意識到應(yīng)用人工智能和機(jī)器學(xué)習(xí)意味著需要相應(yīng)的大量數(shù)據(jù)和人才，必須能夠預(yù)估人工智能安全實施的速度、準(zhǔn)確性和其他潛在的現(xiàn)實問題。

▌關(guān)鍵挑戰(zhàn)

人工智能（Artificial Intelligence，簡稱AI）和機(jī)器學(xué)習(xí)是十分火爆的營銷術(shù)語，讓人難以區(qū)分是夸張的營銷還是會給用戶帶來價值。

夸張營銷使人工智能看起來很像一項偉大的新技術(shù)。面對復(fù)雜的數(shù)據(jù)分析，數(shù)據(jù)的安全性需求不斷增長，安全領(lǐng)域被譽為AI技術(shù)應(yīng)用的完美領(lǐng)域。然而，我們并不確定AI是否總是在任何情況下幫助安全專家和風(fēng)控專家，也不能確定AI是否在所有的場景下都比傳統(tǒng)安全方法更好。

企業(yè)數(shù)據(jù)治理的質(zhì)量直接影響AI安全系統(tǒng)的效果和質(zhì)量，AI系統(tǒng)供應(yīng)商往往不向用戶預(yù)先強(qiáng)調(diào)這一點，使得AI系統(tǒng)的應(yīng)用與安全很難見效。

▌建議

為了支持應(yīng)用和數(shù)據(jù)安全：

請明確是否使用AI技術(shù)的安全產(chǎn)品比傳統(tǒng)產(chǎn)品有更快的速度和更高的準(zhǔn)確性，并且效果的提升程度值得花成本更新?lián)Q代。

請定義相應(yīng)的質(zhì)量指標(biāo)基準(zhǔn)，以評估AI技術(shù)用于異常檢測和安全分析的效果。

請明確使用AI技術(shù)是否可能影響當(dāng)前業(yè)務(wù)流程。確認(rèn)本公司人員的技能是否能夠滿足AI技術(shù)應(yīng)用的要求，確認(rèn)算法模型需要重新訓(xùn)練的頻率以及數(shù)據(jù)整理的工具是否靠譜。

在購買人工智能安全產(chǎn)品前，請使用自己已有的數(shù)據(jù)和基礎(chǔ)設(shè)施運行測試，或建立一個POC系統(tǒng)用于“快速試錯”，從而確定人工智能安全產(chǎn)品的影響范圍。

AI安全系統(tǒng)評估和管理實施人員要熟悉項目所使用的數(shù)據(jù)類型以及期望的結(jié)果，給他們分配必要的資源，使他們將成為您安全流程的重要組件。

▌策略規(guī)劃預(yù)測

現(xiàn)在10％安全廠商聲稱自己是AI驅(qū)動的。到2020年，會有40％的廠商聲稱自己是AI驅(qū)動的。

▌介紹

“人工智能”是一個廣泛的術(shù)語，涵蓋大量迥然不同的技術(shù)和算法。最近，AI在深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和自然語言處理方面取得很大的進(jìn)展，AI技術(shù)已從一個小眾科技領(lǐng)域提升到主流商業(yè)軟件領(lǐng)域，并廣泛應(yīng)用于客戶支持、安全、預(yù)測分析和自動駕駛等領(lǐng)域。

然而，由于技術(shù)處于風(fēng)口，人工智能也成為一種流行的營銷術(shù)語，這使得沒有AI背景知識的客戶很難評估其在產(chǎn)品中是否真的使用了該項技術(shù)，以及它是否提供比傳統(tǒng)技術(shù)更多的好處。根據(jù)Gartner的調(diào)查，從2015年到2016年，基于對此項新技術(shù)的濃厚興趣及獲利心理，有關(guān)安全和AI技術(shù)相關(guān)的項目立項數(shù)量增加了三倍以上。

在應(yīng)用安全性方面這種現(xiàn)象更加普遍， AI技術(shù)已經(jīng)成為安全研發(fā)運維環(huán)境領(lǐng)域中的常用工具，例如應(yīng)用程序安全測試（AST）和網(wǎng)絡(luò)流量分析，安全信息和事件管理（SIEM），用戶和實體行為分析（UEBA；請參閱“2016年快速發(fā)展的安全分析狀態(tài)”）等。但是，像所有技術(shù)一樣，AI技術(shù)也有其局限性，而且實施應(yīng)用的成功性往往依賴于對現(xiàn)實的結(jié)果類型。本文為如何評估人工智能和機(jī)器學(xué)習(xí)提供了指導(dǎo)方針，幫助安全負(fù)責(zé)人確定本企業(yè)是否能夠真正有效的實施AI。常見的可商業(yè)化AI技術(shù)如圖1所示。

圖1 常見AI商業(yè)技術(shù)

▌分析

鑒別AI供應(yīng)商的真實能力，確定他們是否對現(xiàn)有系統(tǒng)有可觀的改進(jìn)

企業(yè)安全負(fù)責(zé)人應(yīng)審慎地看待基于AI技術(shù)的產(chǎn)品宣傳。雖然AI是一個了不起的營銷術(shù)語，但它只會在處理某些安全問題時有效，而這些安全問題往往具備大量易于理解的數(shù)據(jù)集。

靜態(tài)AST中的誤報就是一個很好的實例。即使中等規(guī)模的項目，安全測試工具也會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)都很容易理解，而數(shù)據(jù)反饋則可以從人類專家那里獲得，輸出的準(zhǔn)確性可以按照現(xiàn)有流程進(jìn)行評估，AI技術(shù)的成功應(yīng)用就順理成章。鑒別AI系統(tǒng)在安全方面是否適用，應(yīng)具備下列一個或多個特征：

自動化——這是AI工具具備的最基本的特征。如果使用得當(dāng)，AI工具就是一個能力倍增器，可以統(tǒng)一執(zhí)行數(shù)十或數(shù)百名專家的工作，可以快速可靠地部署多個方向的多項任務(wù)。訓(xùn)練有素的人工智能的處理速度比專家團(tuán)隊快幾個數(shù)量級。但如果無法有效的利用資源，草率獲得的自動化結(jié)果其實趕不上傳統(tǒng)技術(shù)獲得的結(jié)果。

準(zhǔn)確性——這是AI工具具備的最大優(yōu)勢。它所具有的專家級別的安全功能可以獲得近似于人類甚至比人類更好的精度。多名專家的技能可以合并成一個分析技能，并根據(jù)所使用的技術(shù)，對現(xiàn)有問題產(chǎn)生新的見解。

預(yù)警——人類專家最終可能會對代碼和測試結(jié)果感到疲勞或者忽略一些細(xì)節(jié)，而機(jī)器學(xué)習(xí)則可以無限期地保持客觀性水平。在整個產(chǎn)品開發(fā)中，專家的在專業(yè)知識擴(kuò)展方面的進(jìn)展始終是困難和昂貴的，而AI技術(shù)相對來說比較容易和便宜。

多參數(shù)間的關(guān)聯(lián)——機(jī)器學(xué)習(xí)是針對大量數(shù)據(jù)進(jìn)行訓(xùn)練并在生產(chǎn)過程中保持學(xué)習(xí)，因此，有可能將不相關(guān)的事物功能關(guān)聯(lián)起來，為人類提供有效的數(shù)據(jù)挖掘，而這些對于人類來講都是難以實現(xiàn)且非常耗時的工作。

例如，IBM為SAST結(jié)果提供擴(kuò)展分析以減少誤報，這種分析能將多個漏洞進(jìn)行相關(guān)聯(lián)，以便利用單一方法進(jìn)行修復(fù)。 IBM的這種智能分析（IFA）消除了因誤報、噪音或探索效率低而產(chǎn)生的結(jié)果。也可以集中過濾后的結(jié)果，過創(chuàng)建“修復(fù)組”來分析多個漏洞痕跡。這一功能也逐漸被其他SAST提供商所采用。

通過定義質(zhì)量的度量基準(zhǔn)來評估AI技術(shù)用于異常檢測和安全分析的功效

“任何充分操縱的演示都無法判斷產(chǎn)品的真實效果。”

——某牛逼金融服務(wù)公司負(fù)責(zé)安全開發(fā)的執(zhí)行總監(jiān)

許多供應(yīng)商對AI技術(shù)的宣傳是牛逼的不行，但是對于實際效果，不可不信也不可全信。關(guān)鍵在于那些支撐這種宣傳效果的客觀數(shù)據(jù)。最近，機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的技術(shù)突破大大提高了效果的速度和準(zhǔn)確性，所以也許那些夸張的效果是真的，但是也可能是銷售在吹牛。

我們必須保持清醒的認(rèn)識，新技術(shù)并不一定是更好的檢測方法。例如，異常檢測本身就可以通過很多基本技術(shù)來實現(xiàn)：

特征指紋技術(shù)，適用于攻擊者為已知的條件。

模式匹配和策略技術(shù)，適用于攻擊技術(shù)為已知的條件。

白名單，適用于其預(yù)期的行為已知（并且保持一致）的條件。

基于此，開發(fā)獨立于技術(shù)本身的評估框架，準(zhǔn)確評估新技術(shù)與現(xiàn)有解決方案的優(yōu)劣至關(guān)重要。

在技術(shù)先進(jìn)性的評估流程中，第一個目標(biāo)是定義評估預(yù)期結(jié)果的質(zhì)量指標(biāo)，這些質(zhì)量指標(biāo)必須和技術(shù)實現(xiàn)路徑無關(guān)。以兩個重要的機(jī)器學(xué)習(xí)應(yīng)用為例：異常檢測（用于提高檢測率）和安全分析自動化（用于減少誤報，聚合原有事件為新事件并產(chǎn)生推薦策略）：

異常檢測的質(zhì)量指標(biāo)包括部署的范圍（“它能看到一切嗎？”）、檢測率和誤報率。

安全分析自動化的質(zhì)量指標(biāo)包括解決事件的平均時間或解決事件的百分比（對照原有基準(zhǔn)條件）。

當(dāng)然獲得公平的評估比較困難，尤其是評估不同時期的不同技術(shù)。因此，質(zhì)量指標(biāo)應(yīng)進(jìn)一步合理化，以保證評估結(jié)果更公平。

當(dāng)評估供應(yīng)商宣傳的技術(shù)時，請?zhí)岢鲆韵聠栴}：

通過AI技術(shù)解決的問題占總問題的百分比是多少？AI技術(shù)能否處理實際關(guān)鍵問題？

系統(tǒng)是否持續(xù)學(xué)習(xí)，還是需要定期的“逐步學(xué)習(xí)”？

供應(yīng)商所提供訓(xùn)練數(shù)據(jù)的起源和范圍是什么？它與本公司的數(shù)據(jù)有多少相似度？

您的結(jié)果來自中立的第三方還是案例研究？

這些結(jié)果比我們現(xiàn)在使用的傳統(tǒng)技術(shù)要好多少？

這是增強(qiáng)了核心安全，還是外圍安全需求？

為了成功的使用AI產(chǎn)品，我需要對現(xiàn)有員工進(jìn)行哪些改變（例如，我是否需要聘請數(shù)據(jù)科學(xué)家）？

供應(yīng)商是否實現(xiàn)了“網(wǎng)絡(luò)效應(yīng)”？ （可以與其他客戶分享結(jié)果）

供應(yīng)商將什么數(shù)據(jù)發(fā)送到自己的服務(wù)器？ （這個問題涉及隱私保護(hù)）

如有可能，詢問現(xiàn)有客戶已使用的案例，尤其是那些供應(yīng)商不賺錢的產(chǎn)品。另外，關(guān)注整個產(chǎn)品的實施成本，特別是在咨詢和數(shù)據(jù)治理方面。

例如，一個中型保險公司正在評估一個具有“AI組件”的靜態(tài)分析工具。據(jù)了解，作為完整結(jié)果管理的一部分，該工具的準(zhǔn)確度似乎并不比傳統(tǒng)的非AI技術(shù)好。經(jīng)過調(diào)查，發(fā)現(xiàn)分析單元里根本沒用AI技術(shù)，僅僅是毫無關(guān)聯(lián)的幫助系統(tǒng)用了點AI技術(shù)。

使用AI技術(shù)造成的流程改變及對員工技能的新要求

機(jī)器學(xué)習(xí)或其他AI技術(shù)所獲得的結(jié)果在很大程度上取決于用于訓(xùn)練的數(shù)據(jù)。如果訓(xùn)練數(shù)據(jù)的質(zhì)量較差，那么最先進(jìn)的數(shù)學(xué)算法也無法幫助您實現(xiàn)目標(biāo)。 “垃圾進(jìn)垃圾出”的原則非常適用描述這種情況。也就是說，系統(tǒng)輸入不好，輸出結(jié)果也不會好。因此，數(shù)據(jù)治理的缺失往往是導(dǎo)致失敗的關(guān)鍵因素。為了獲得有效的成果，您可能需要調(diào)整流程和人員配備。

因此，在評估AI產(chǎn)品時，請詢問供應(yīng)商以下問題：

該模型多長時間需要重新培訓(xùn)，這項功能是您提供還是我們業(yè)主的責(zé)任？

有哪些工具可用于數(shù)據(jù)治理以及需要多少數(shù)據(jù)做訓(xùn)練？

我是否需要聘請數(shù)據(jù)科學(xué)家，或者可以使用現(xiàn)有員工代替？

當(dāng)最終結(jié)果失去準(zhǔn)確性時，識別和清除產(chǎn)品中的不良數(shù)據(jù)有多困難？

如果準(zhǔn)確的結(jié)果隨時間推移而惡化，我需要做什么？

該產(chǎn)品是否支持持續(xù)訓(xùn)練和調(diào)整？

購買前建立運行試點或POC，使用自己的數(shù)據(jù)和測試架構(gòu)進(jìn)行快速驗證

安全負(fù)責(zé)人在購買AI產(chǎn)品前首先要建立數(shù)據(jù)運行試點，用企業(yè)已有的數(shù)據(jù)進(jìn)行驗證，或建立POC進(jìn)行快速驗證。這種方式有助于迅速了解產(chǎn)品存在的問題和是否需要改變現(xiàn)有流程，是否需要聘用專業(yè)技術(shù)人員以及使用此技術(shù)會帶來哪些收益。這也有助于深入理解本單位的數(shù)據(jù)數(shù)據(jù)治理的需求，并判斷技術(shù)實現(xiàn)的速度和準(zhǔn)確性。當(dāng)然，評估的指標(biāo)一定要是可量化的指標(biāo)（例如精度、速度、結(jié)果質(zhì)量等）。

試點之前，有必要設(shè)定清晰的可量化目標(biāo)。如果您希望您的團(tuán)隊花更少的時間追查誤報，那么量化的指標(biāo)應(yīng)該是結(jié)果的準(zhǔn)確性、分析速度或從錯誤識別到最終修復(fù)的周期。

指派專人評估和管理AI，使它成為您安全流程的一個重要組件

隨著數(shù)據(jù)和產(chǎn)品復(fù)雜性的增加，人工智能逐漸成為安全產(chǎn)品中的基本技術(shù)。然而，隨著公司并購或撤資，供應(yīng)商市場也會隨之迅速發(fā)生變化。分配一個專門的安全人員來規(guī)劃和管理企業(yè)內(nèi)部的AI項目成為必然趨勢。專職人員必須要熟悉您的項目所使用的數(shù)據(jù)類型，以及您期望的結(jié)果類型。

可以考慮聘請一位數(shù)據(jù)科學(xué)家，這類人才需要具備AI技術(shù)有效性的評估能力、數(shù)據(jù)治理方面的專業(yè)知識。最好是數(shù)據(jù)或計算機(jī)科學(xué)專業(yè)，這類人才需要具備機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)或其他AI技術(shù)方面的專業(yè)知識。針對單個項目或者小公司，這項任務(wù)可以由專人承擔(dān)，或者可以雇一個兼職顧問。

針對擁有多個項目的大型企業(yè)，這項任務(wù)應(yīng)細(xì)化到幾個人或一個小團(tuán)隊。 AI項目責(zé)任的集中減少了任務(wù)的重復(fù)率并提高了工作的一致性。AI團(tuán)隊的職責(zé)應(yīng)包括：對AI產(chǎn)品的評估，企業(yè)數(shù)據(jù)的管理，AI生命周期的管理以及制定整個公司AI計劃和政策。

在企業(yè)層面，這種設(shè)置可以避免在不同的部門中割裂專業(yè)知識，浪費人員或造成專業(yè)知識的瓶頸。隨著人工智能成為一種常見的技術(shù)，這種設(shè)置將使您的企業(yè)更靈活，最快使用靠譜的最新技術(shù)，并使您能夠多快好省采購新產(chǎn)品和規(guī)劃企業(yè)的數(shù)據(jù)倉庫。

針對最后三點內(nèi)容，這里用一個很好的實例來說明：一家大型華爾街金融服務(wù)公司希望加快其應(yīng)用程序的安全掃描，并將其作為研發(fā)運維升級的一部分，因此它購買了基于機(jī)器學(xué)習(xí)的安全產(chǎn)品。該產(chǎn)品可以發(fā)現(xiàn)高風(fēng)險缺陷和不穩(wěn)定的編譯問題。理論上，該工具應(yīng)該非常有效；然而，該公司花了三個月的時間并沒有獲得預(yù)期的準(zhǔn)確性。

原因是負(fù)責(zé)該試點項目的員工雖然參與過AI項目，但是并沒有使用該產(chǎn)品的直接經(jīng)驗，也沒有受過人工智能培訓(xùn)。于是，該公司聘請了一位數(shù)據(jù)專家作為顧問，他很快發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)并沒有得到正確的管理。反饋的數(shù)據(jù)結(jié)果在重新測試之前沒有進(jìn)行甄別（即將人的反饋放入循環(huán)中），而是將所有測試數(shù)據(jù)是簡單地轉(zhuǎn)儲到一個大型的、無區(qū)分的數(shù)據(jù)池中訓(xùn)練的。盡管有些機(jī)器學(xué)習(xí)產(chǎn)品可以理解這種未甄別的反饋數(shù)據(jù)，但公司測試的產(chǎn)品卻不能。故事的最后，該企業(yè)全職雇用了這個數(shù)據(jù)科學(xué)家來管理整個企業(yè)的所有AI項目，取得了良好的效果。

▌詞匯術(shù)語

Gartner推薦閱讀

"Hype Cyclefor Smart Machines, 2016"

"Artificial Intelligence Primer for 2017"

"Predicts 2017: Artificial Intelligence"

"Top 10 Strategic Technology Trends for 2017: ArtificialIntelligence and Advanced Machine Learning"

"The Fast-Evolving State of Security Analytics, 2016"

"Top 10 Strategic Technology Trends for 2017: A Gartner TrendInsight Report" "How to Define and Use Smart Machine TermsEffectively"

證據(jù)

1.根據(jù)2015年Gartner客戶有關(guān)機(jī)器學(xué)習(xí)和AI在安全方面的詢問數(shù)量（約20項查詢）與2016年（約60項）的比較，以及2017年1月至4月期間的約60項。

2.“深度學(xué)習(xí) ——擁有大量的計算能力，機(jī)器現(xiàn)在可以識別物體并實時轉(zhuǎn)換語音，人工智能最終變得更加智能。” MIT技術(shù)評論。

▌人工智能概念概述

“人工智能”有許多方法，每種技術(shù)在應(yīng)用安全領(lǐng)域都具有一定的優(yōu)勢。 “人工智能”是一個被銷售濫用的誤導(dǎo)性標(biāo)簽，不存在一種通用的人工智能可以像人類一樣思考或適用于各種各樣的任務(wù)。

AI技術(shù)主要指的是根據(jù)收集的數(shù)據(jù)，使用情況分析和其他觀察結(jié)果進(jìn)行預(yù)測的系統(tǒng)。換言之，每種方法都是一種特殊的數(shù)據(jù)分析技術(shù)，異常復(fù)雜，能夠從示例中學(xué)習(xí)，并逐步成熟，但專注于一組非常狹窄、定義明確的問題。圖1列出了商業(yè)上可用的一些常用技術(shù)，每種技術(shù)都有獨特的特性，可以將它們彼此區(qū)分開來。雖然在數(shù)學(xué)上有所不同，但在操作要求和一般原則上有相當(dāng)大的共性。

常規(guī)AI技術(shù)所包含的要素有：

該產(chǎn)品通常需要大量與該問題相關(guān)的數(shù)據(jù)。

對數(shù)據(jù)進(jìn)行治理，添加、標(biāo)注或刪除特定子集對于實現(xiàn)有效的結(jié)果至關(guān)重要。

包括數(shù)據(jù)科學(xué)家和領(lǐng)域?qū)＜以趦?nèi)的許多人都參與其中。

需要花費數(shù)周至數(shù)月時間來開發(fā)一個能夠產(chǎn)生良好結(jié)果的模型。

一旦訓(xùn)練完成，對于與訓(xùn)練語料庫完全相同的問題，處理過程可以非常快速且非常準(zhǔn)確。

機(jī)器學(xué)習(xí)是一種在安全領(lǐng)域廣泛使用的公認(rèn)的人工智能學(xué)科，作為涵蓋許多基本思想的概念模型，現(xiàn)實世界中的機(jī)器學(xué)習(xí)除了這個簡單的描述外還有許多其他技術(shù)、改進(jìn)和變形。然而，這個模型可以被看作是對一些常見領(lǐng)域中效益處和風(fēng)險的抽象，我們可以用它來理解在企業(yè)安全中評估AI產(chǎn)品的基本流程（參見圖2）。

圖2 評估AI產(chǎn)品的基本流程

AI系統(tǒng)從大量數(shù)據(jù)訓(xùn)練開始，或稱為訓(xùn)練集。這些數(shù)據(jù)是從要解決的實際問題實例中仔細(xì)挑選的，并存儲為知識庫。 例如，在語音識別中，它是一系列以特定語言閱讀的文本。在應(yīng)用應(yīng)用安全方面，這可能是AST或大量具有代表性的惡意軟件的輸出。

數(shù)據(jù)應(yīng)由專家選擇（策劃），以便于更好的描述所研究的問題并最終形成可以識別的產(chǎn)品模型。 在數(shù)據(jù)整理期間，為模型提供正例和負(fù)例同樣重要 。異常檢測模型同時需要這兩種場景，但是如果負(fù)樣例數(shù)據(jù)太多，或者負(fù)樣例不足，都會降低結(jié)果的質(zhì)量。

對數(shù)據(jù)運行歸一化和聚類，最終確定一組特征向量。使用測試數(shù)據(jù)，可以驗證模型是否有效，可以獲得期望的結(jié)果。特征向量通常包含了太多細(xì)分維度的特征值，很難被任何其他系統(tǒng)或人類識別。這樣，機(jī)器學(xué)習(xí)算法被訓(xùn)練成預(yù)測模型，他對驗證集數(shù)據(jù)的預(yù)測結(jié)果和已知的標(biāo)定結(jié)果進(jìn)行比對，可以獲得這個模型預(yù)測的精度。持續(xù)這種訓(xùn)練和驗證過程，直到模型足夠精確。最終的生產(chǎn)模型包含數(shù)據(jù)特征、概率、標(biāo)簽和其他數(shù)據(jù)的描述。

對于自進(jìn)化模型，當(dāng)模型被應(yīng)用于現(xiàn)實世界，新的數(shù)據(jù)不斷輸入，特征向量不斷被提取并應(yīng)用于產(chǎn)品模型當(dāng)中，通過不斷的訓(xùn)練更新模型。

應(yīng)用于AST時，SAST工具的輸出可以輸入經(jīng)過訓(xùn)練的系統(tǒng)，以發(fā)現(xiàn)誤報。然后輸出結(jié)果將成為一定的置信區(qū)間內(nèi)的誤報列表（或者已經(jīng)濾除誤報的結(jié)果列表）。為了改善結(jié)果，可以檢查輸出，識別出新的誤報并將其反饋到訓(xùn)練集中，并計算新的模型。隨著這個循環(huán)的繼續(xù)，新的信息被納入預(yù)測算法，理想狀態(tài)下能夠隨著時間的推移而改進(jìn)（見圖3）。

圖3