行業新聞與部落格

英國最具創新性網路中小企業大賽評審團將 Mindgard 評為 2024 年獲勝者。

勵展博覽集團投資組合總監 Saima Poorghobad 在歐洲資訊保安博覽會期間宣佈了這一獎項。

她說，評審團對網路安全專家表示，該人工智慧安全提供商“提供了非常清晰的方案，展示了他們的獨創性、影響力和市場需求”。

她補充說，這家初創公司之所以被選中，是因為它“解決了人工智慧部署中的一些最緊迫的挑戰”。

由學術研究支援的 AI 紅隊平臺

Mindgard 是一家總部位於英國的初創公司，提供持續紅隊和修復 AI 漏洞的平臺，以便企業安全團隊可以部署不同的 AI 用例。

儀式結束後，Mindgard 產品負責人 Nipun Gupta 在接受 Infosecurity採訪時解釋道：“我們透過安全地測試企業使用的 AI 模型來幫助企業釋放 AI 的價值。”

Mindgard 提供軟體即服務 (SaaS) 平臺，幫助在工作流程中實施 AI 用例的組織針對特定對抗性攻擊測試這些不同的模型並發現特定的漏洞。

“傳統上，紅隊演習與模擬針對 IT 系統的敵對攻擊者行為有關。我們正嘗試使用 AI 模型來實現這一點，”Gupta 說道。

儘管這家初創公司在生成式人工智慧席捲全球之際走出了隱身模式，但其產品負責人表示，紅隊平臺的功能不僅限於生成式人工智慧和大型語言模型 (LLM)。

“我們能夠理解針對所有型別神經網路的對抗性機器學習攻擊，包括 LLM 以外的深度學習模型和 GenAI 應用程式。我們的平臺可以重放攻擊，讓我們能夠突破大多數 AI 模型的黑盒效應，並根據模型易受的風險報告其安全狀況。”

Mindgard 創始機器學習工程師 Stefan Trawicki 繼續說道：“我們對機器學習基礎知識的理解意味著我們並不介意處理哪種人工智慧模型。”

Mindgard 平臺使用的一些紅隊方法包括模型輸入 / 輸出分析和應用程式可程式設計介面 (API) 分析。

Trawicki 補充道：“我們不僅可以識別出人工智慧即時駭客漏洞，比如越獄，還可以識別出人工智慧模型中更根本的缺陷，比如‘提取模型’和‘提取訓練資料’漏洞。”

Gupta 表示，Mindgard 平臺旨在補充而非取代內部紅隊工作。“我們可以增強他們的能力，讓他們專注於其組織所依賴的 AI 模型容易受到的特定攻擊。”

從實驗室到初創企業

Mindgard 的故事可以追溯到 2018 年，當時蘭卡斯特大學計算機科學教授 Peter Garraghan 創立了一個研究對抗性機器學習的研究實驗室。

“最初，我們意識到對抗性機器學習的研究是多麼的分散。當時大多數專案都是以非常學術的方式編寫的，並不適合這個行業。我們開始將自己的工作統一到一個使用者友好的平臺上，在這個平臺上我們可以快速測試人工智慧模型，”Garraghan 學術團隊的 Trawicki 說道。

蘭卡斯特大學的研究人員隨後意識到，沒有像他們正在開發的那樣的商業產品存在，於是於 2022 年創造了 Mindgard。

該初創公司已從蘭卡斯特大學、Lakestar、IQ Capital 和 Osney Capital 籌集了 400 萬英鎊（510 萬美元）。

古普塔聲稱該公司已經擁有“一些客戶”，主要是各個行業的大型企業。