（接前篇）

為了推進(jìn)政府2018年國家網(wǎng)絡(luò)戰(zhàn)略和2021財(cái)年研發(fā)預(yù)算優(yōu)先事項(xiàng)備忘錄的目標(biāo)，應(yīng)對新出現(xiàn)的或現(xiàn)有的網(wǎng)絡(luò)安全挑戰(zhàn)，需要多機(jī)構(gòu)協(xié)調(diào)研究，本計(jì)劃確定了六個(gè)優(yōu)先研發(fā)領(lǐng)域。這些聯(lián)邦網(wǎng)絡(luò)安全研發(fā)優(yōu)先事項(xiàng)不是唯一需要研發(fā)的領(lǐng)域；需要額外的網(wǎng)絡(luò)安全研發(fā)，以實(shí)現(xiàn)對特定機(jī)構(gòu)或政府任務(wù)重要的能力。如表1所示，優(yōu)先領(lǐng)域的進(jìn)展還將加強(qiáng)所有四種防御能力的網(wǎng)絡(luò)安全。

表1?優(yōu)先領(lǐng)域及其對網(wǎng)絡(luò)安全的影響

優(yōu)先研發(fā)戰(zhàn)略：人工智能

人工智能對國民經(jīng)濟(jì)和安全具有重大的潛在影響；因此，通過利用網(wǎng)絡(luò)安全實(shí)踐，保護(hù)人工智能技術(shù)不被意外使用和惡意利用是至關(guān)重要的。人工智能增強(qiáng)的自主系統(tǒng)所帶來的新威脅值得認(rèn)真關(guān)注。相反，人工智能技術(shù)通過自動(dòng)化某些常規(guī)任務(wù)或協(xié)助人類系統(tǒng)管理人員，監(jiān)視、分析和應(yīng)對網(wǎng)絡(luò)系統(tǒng)面臨的敵對威脅，有望增強(qiáng)網(wǎng)絡(luò)安全。這個(gè)計(jì)劃強(qiáng)調(diào)了人工智能和網(wǎng)絡(luò)安全的共同需求和好處。

人工智能系統(tǒng)設(shè)計(jì)應(yīng)遵循安全、保護(hù)和隱私原則。雖然這些原則并不是同義詞，事實(shí)上可能處于緊張狀態(tài)，但有一些共同的特點(diǎn)可以使聚合結(jié)果得以實(shí)現(xiàn)：再現(xiàn)性、責(zé)任性、可解釋性、可驗(yàn)證性、透明度和可靠性?，F(xiàn)有的網(wǎng)絡(luò)安全概念可能需要重新制定和重新設(shè)計(jì)，以應(yīng)對人工智能模型、算法和人類人工智能系統(tǒng)的相互作用。以下是人工智能與網(wǎng)絡(luò)安全接口的關(guān)鍵問題：

?人工智能對作戰(zhàn)速度和規(guī)模的影響。

人工智能系統(tǒng)的運(yùn)行速度和規(guī)模超出了人類和當(dāng)前的技術(shù)能力。在人工智能可能驅(qū)動(dòng)惡意活動(dòng)的領(lǐng)域，這是一個(gè)令人擔(dān)憂的問題，導(dǎo)致攻擊者和防御者之間的接觸越來越不對稱，除非人工智能同樣用于網(wǎng)絡(luò)防御。一般來說，人工智能系統(tǒng)將使網(wǎng)絡(luò)防御更為復(fù)雜和自動(dòng)化，如果沒有實(shí)施適當(dāng)?shù)目刂?，也可能被用來進(jìn)行攻擊性的惡意活動(dòng)。

?人工智能的可解釋性和透明性。

人工智能系統(tǒng)中使用的推理與人類使用的推理非常不同，對人類來說并不總是直觀的。盡管人工智能中使用的一些單獨(dú)的算法是可以理解的，但是它們的集體行為并不總是可以理解的。因此，很難理解、解釋和預(yù)測人工智能的輸出和結(jié)果。評(píng)估數(shù)據(jù)或人工智能算法中的偏差，并在不損害隱私的情況下防范這些潛在偏差，將有助于創(chuàng)建可信的人工智能，同時(shí)也將加強(qiáng)人工智能的準(zhǔn)確性、彈性、可靠性、客觀性和安全性。這就提出了一些問題，比如如何對人工智能系統(tǒng)中的信任進(jìn)行建模和度量，以及這些系統(tǒng)的部署應(yīng)該遵循什么樣的確定性級(jí)別。這是網(wǎng)絡(luò)安全領(lǐng)域的關(guān)注點(diǎn)，例如態(tài)勢感知、威脅和風(fēng)險(xiǎn)評(píng)估管理、隱私風(fēng)險(xiǎn)緩解和資源分配。

?具有人工智能組件的系統(tǒng)的脆弱性。

許多機(jī)器學(xué)習(xí)（ML）算法在其整個(gè)生命周期中都會(huì)受到攻擊。以下類型的攻擊可以在任何階段發(fā)生：毒害數(shù)據(jù)集以降低模型質(zhì)量，創(chuàng)建后門以允許模型創(chuàng)建者訪問其他系統(tǒng)，創(chuàng)建導(dǎo)致分類錯(cuò)誤的實(shí)例，以及對模型本身和用于訓(xùn)練模型的數(shù)據(jù)集進(jìn)行推理攻擊。雖然對AI/ML的漏洞表面還沒有很好的理解，但是在AI/ML實(shí)現(xiàn)中必須考慮到它。在這方面，人工智能系統(tǒng)的威脅模型不同于傳統(tǒng)的軟件和硬件。

?人工智能網(wǎng)絡(luò)安全系統(tǒng)效能評(píng)估。

人工智能正日益成為醫(yī)療和交通等日常生活的核心技術(shù)的一部分。網(wǎng)絡(luò)、物理、社會(huì)和經(jīng)濟(jì)之間的界限越來越模糊。雖然這會(huì)提高效率，但也會(huì)增加依賴性，增加自然、人為和程序性事故和威脅的風(fēng)險(xiǎn)。這就增加了系統(tǒng)性風(fēng)險(xiǎn)和從一個(gè)領(lǐng)域的威脅蔓延到其他領(lǐng)域的連鎖危害的可能性。人工智能在現(xiàn)有的、對當(dāng)前網(wǎng)絡(luò)安全技術(shù)的有效性認(rèn)識(shí)不足的基礎(chǔ)上引入了更多的復(fù)雜性，例如投資某些控制措施可以獲得多少安全性，以及哪些控制措施最能降低風(fēng)險(xiǎn)。衡量基于人工智能的安全控制、由此產(chǎn)生的安全級(jí)別和面對威脅的結(jié)果之間的多維因果關(guān)系是一項(xiàng)重大挑戰(zhàn)。

針對威脅模型模擬不同的決策支持場景，包括與特定AI/ML實(shí)現(xiàn)相關(guān)的攻擊者/防御者策略，以避免由AI/ML技術(shù)造成的無休止的攻擊防御循環(huán)，用于網(wǎng)絡(luò)安全任務(wù)，不包括惡意軟件和入侵檢測，也不包括基于特征的方法。開發(fā)使用人工智能安全功能的自動(dòng)化編排。

研究人工智能系統(tǒng)的行為，包括它們在人類交互作用下的行為，以使系統(tǒng)可信。開發(fā)方法來驗(yàn)證和解釋人工智能系統(tǒng)對人類感知和期望的結(jié)果。開發(fā)技術(shù)以改進(jìn)人工智能系統(tǒng)產(chǎn)生的結(jié)果的來源。

開發(fā)工具和技術(shù)，以了解針對機(jī)器學(xué)習(xí)系統(tǒng)的攻擊和防御。改進(jìn)形式化方法技術(shù)，在訓(xùn)練和部署時(shí)驗(yàn)證機(jī)器學(xué)習(xí)算法的安全性和健壯性。尋找密碼方法，以確保訓(xùn)練數(shù)據(jù)的篡改彈性存儲(chǔ)和機(jī)器學(xué)習(xí)的篡改彈性計(jì)算，并在不泄露敏感信息的情況下實(shí)現(xiàn)機(jī)器學(xué)習(xí)的數(shù)據(jù)共享。開發(fā)新的基于人工智能的功能，以適應(yīng)語義安全屬性。研究為人工智能應(yīng)用而制造的芯片、處理器和專用設(shè)備的潛在漏洞，考慮到人工智能和神經(jīng)形態(tài)芯片以及具有內(nèi)存處理和模擬計(jì)算功能的處理器的出現(xiàn)。

開發(fā)安全和信任的模型、定義和度量，用于評(píng)估人工智能網(wǎng)絡(luò)安全系統(tǒng)和基于人工智能的網(wǎng)絡(luò)安全控制。確保安全和隱私在不同的抽象層次得到保護(hù)，從高級(jí)規(guī)劃和決策到低級(jí)執(zhí)行人工智能系統(tǒng)。