AI人工智慧與網路安全

人工智慧 (AI) 正逐漸集成到業務結構中，在特定應用程序用例中廣泛部署，然而並非所有行業都擁有相當先進的AI技術，資訊業和電信業在人工智慧的應用方面最為先進，汽車業則緊隨在後，最近一項針對不同行業的 4,500 多名技術決策者進行的全球調查顯示，45% 的大公司和 29% 的中小企業表示他們已經採用了人工智慧技術。

在網路安全領域，人工智慧在管理網路威脅方面將變得越來越不可或缺，實際上，從 2020 年到 2027 年，市場預計將以 23.6% 的複合年均成長率 (CAGR) 增長，到 2027 年將達到 463 億美元，同時採用人工智慧本身並非沒有風險：超過 60% 採用人工智慧的公司認為人工智慧產生的網路安全風險是最相關的。

作為一種通用的技術，人工智慧對網路安全來說既是福也是禍，人工智慧能被當作劍（支援惡意攻擊）也能被當作盾（應對網路安全風險）等，人工智慧用於防禦目的會面臨許多限制，尤其各國政府和歐盟監控高風險應用，及促進負責任地使用人工智慧，AI用於攻擊方面的用途正以倍數增加，開發應用程序的成本直線下降，AI攻擊等問題每天發生的頻率變得越來越密集，這使得任何形式的防禦都成為一場艱苦的戰鬥。

機器學習和深度學習技術能使復雜的網路攻擊變得更容易，且更快速、更有針對性和破壞性。人工智慧對網路安全的影響可能會擴大威脅格局，引入新的威脅並改變威脅的特徵，此外引入新穎強大的向量來進行攻擊外，人工智慧系統也將變得越來越容易受到操縱。

最重要的是，人工智慧系統缺乏透明度和學習能力，很難評估同一系統是否會在任何預定環境中按預期運行，因此控制形式和人工監督是必不可少的，此外與大腦不同的是，人工智慧系統是經過設計的，因此系統設計所依據的所有決策應該都是可審議的。

在保護開源模型方面較差的網路安全可能會成為試圖竊取此類訊息的駭客帶來機會，對數據和程式碼的傳播和共享的限制可以更完整地評估與該技術及其庸俗化相關的安全風險。

針對人工智慧固有的悖論，我們區分了可能的行動項目，因為它對網路安全的貢獻，以及網路安全對人工智慧的發展和採用。

用於網路安全的人工智慧：歐盟簡化在網路安全中採用人工智慧的政策措施

網絡攻擊呈上升趨勢，越來越多人能使用人工智慧，IoT（物聯網）時代將進一步增加攻擊機會，因此人工智慧是幫助公司管理這一系列網路安全風險、技術和資源限制的“必需品”，人工智慧可以提高系統的健壯性和彈性，但必須滿足許多條件：

加強政策制定者、技術社區和主要企業代表之間的合作，以更好地調查、預防和減輕人工智慧在網路安全中的潛在惡意用途。

在公共採購政策中納入對人工智慧系統安全要求的評估。

透過開發和監控實踐來解決人工智慧系統缺乏可預測性的問題，確保對人工智慧系統一定程度的操作控制，例如公司內部開發 AI 模型和測試數據，與克隆系統並用動態監控 AI 系統。

支援私營部門跨境訊息共享，為合作提供激勵措施，並確保在共享數據時能夠確保合法性等治理框架。

由 ENISA 協調，支援AI 認證，在產品、服務流程部署之前，要求在固定週期中評估行動。

當存在安全風險時，設想對研究成果的完全開放政策及其庸俗化的適當限制，在發表研究成果之前，驗證資料庫和工具的網路安全水平並審查濫用/預防措施，促進人工智慧和網路安全有關的通用數據保護條例 (GRPR) 條款的研究和監管解釋（例如，關於 Recitals 49 和 71，參考信息安全目標的數據共享實踐）。

通過提供與人工智慧相關的職業道路來培訓和保留技術人力，解決人才和專業人員技能短缺和分佈不均等問題，監控行業，確保將人工智慧工具順利納入和理解現有網路安全專業實踐和架構。

人工智慧的網路安全：使人工智慧系統的開發和可靠的安全部署

與傳統的軟硬體系統相比，人工智慧驅動的系統擁有能以非傳統方式攻擊的特徵，特別是訓練數據集可能會受到損害，進而導致系統的“學習”不符合預期，或者系統檢測到的外部對象可能會被篡改，進而使系統無法識別它們，因此為 AI 系統提供額外的臨時保護非常重要，確保它們遵循安全的開發生命週期，從構思到部署和上市後監控，包括運行時監控和審議。

歐盟委員會今天提出的“歐洲人工智慧方法法規”正在為高風險人工智慧系統培養這種方法，然而在安全方面，擬議的文本可以更清楚地說明一些額外的必要步驟，以實現人工智慧系統的安全性，擬議的要求涉及高質量的數據庫、文件和記錄保存、透明度和資訊提供、人工監督以及穩健性、準確性和安全性，這些要求代表了在確保 AI 系統獲得必要保護水平方面向前邁出的重要一步。

人工智慧和網路安全 CEPS 工作組同意這一觀點，但也提出了一系列建議，為如何保護人工智慧系統提供具體指導，特別是它建議如何加強人工智慧安全，因為它和維護跨智慧系統的問責制有關：

與系統開發/編碼相關的安全日誌，誰改變了什麼時間和原因——當這些資訊可用時，即代碼不是開源的——這也保留了舊版本的軟件，以便可以檢查差異和添加。

擁有鏈接到該代碼的所有軟體庫的網路安全譜系。

擁有用於訓練任何機器學習算法的數據庫的網路安全譜系。這也可以表明遵守隱私法和其他原則。

在使用機器學習的地方，跟蹤模型參數和訓練程序。

在發布技術之前，要求在測試技術時證明盡職調查的記錄，最好包括實際的測試套件本身，以便公司本身或第三方可以檢查這些，然後再使用。

除了記錄之外，還可以通過使用隨機化、噪聲預防、防禦性蒸餾、集成學習等技術來提高 AI 的可靠性和可重複性。

向組織提出模型在發生故障的時間點的可審議性，同時使資訊可用於後續分析（例如，法院要求的分析）。
設計新方法以允許系統審議而不是公開推送數據集，例如將審議限制為受信任的第三方。

如果歐盟的目標是確保 AI 的網路安全部署，則必須通過向公司提供有關如何具體推進網路安全的幫助和指導來鋪平道路，需要新的思維方式來確保與無處不在的人工智慧系統使用相關的風險在不妨礙創新的情況下保持可控，如果無法在這些競爭需求之間找到平衡，作為 AI 推出的核心，從長遠來看，將無法承受的社會成本。

你或許對以下文章有興趣

2021 年 9 月 1 日2021 年 9 月 1 日

2021 年 8 月 27 日2021 年 8 月 27 日

2021 年 8 月 20 日2021 年 8 月 20 日

2021 年 8 月 19 日2021 年 8 月 19 日

2021 年 8 月 18 日2021 年 8 月 19 日