6 月 27 日消息，隨著 AI 智能體越來越聰明，甚至能夠主動幫助用戶在 手機 上完成各種任務（例如修改某項設置、打開導航），但 AI 本身并不理解 UI 結構對應的具體運行機制，僅僅是按照預設程序執行操作。

蘋果 與華盛頓大學的研究人員現在聯合發表了一篇論文，探討如何讓 AI 學會判斷各種操作所產生的后果，避免執行用戶未批準的高風險動作。

AI 智能體的自主行為是 2026 年蘋果系統升級的核心功能之一。蘋果在 2024 年 WWDC 上就曾展示過 Siri 的未來發展方向 —— 幫用戶代做諸如在線購物、訂票等任務，但這種自動化看似便捷，卻引發了關鍵問題：如果 AI 誤點“刪除賬戶”而非“注銷”，會發生什么？

手機作為個人設備，存儲著銀行 金融 數據、健康記錄、照片和私人信息。當 AI 智能體代行任務時，必須區分哪些動作無害、哪些可能造成持久或危險后果，更需知道何時停止并請求用戶確認。

然而，多數 AI 開發商只是停留在讓 AI“會操作”（如識別按鈕、找到對應的頁面、按指令執行程序），卻甚少關注這些操作對用戶的后續影響。

蘋果 AI 研究人員指出，并不是所有動作都安全無風險：點擊“刷新”按鈕是低風險行為，但點擊“轉賬”則是高風險行為。

這項研究從 AI 安全與 UI 設計專家參與的研討會開始，目標是創建一個“分類法”（結構化列表），用于定義 UI 動作的不同影響類型。團隊圍繞以下問題展開：

動作是否可撤銷？

影響僅涉及機主還是包括更多人？

是否改變隱私設置或產生費用？

論文顯示，研究人員建立了一種多維度標注手機 App 動作的方法。例如，刪除消息可能在 2 分鐘內可撤銷，但超過時間則無法恢復；轉賬通常需協助才能撤銷。

這種分類法的重要性在于，它為 AI 提供了推理人類意圖的框架 —— 相當于一份“風險檢查”程序，幫助 AI 判斷“哪些動作可能出錯”或“為何需要額外確認”。

為訓練 AI 區分動作風險，研究人員讓參與者在模擬移動環境中記錄高風險動作（IT之家注：如修改賬戶密碼、發送消息、更新支付詳情），而非瀏覽、搜索等低風險任務。

團隊將新數據與現有覆蓋安全、常規交互的數據集結合，用分類法標注所有數據，隨后測試了包括 OpenAI GPT-4 在內的五大 AI 模型，評估其預測動作影響水平或分類屬性的能力。

結果顯示，在提示中加入分類法有助于提高風險判斷準確率，但即使表現最佳的“GPT-4 多模態”模型，正確率也僅約 58%。

研究發現，AI 模型常會高估風險 —— 比如將“清除空計算器歷史記錄”這類無害動作標記為高風險。這種“謹慎偏見”看似更安全，卻可能因頻繁請求確認而讓 AI 助手變得煩人或無用。而更嚴重的問題在于，模型難以完成判斷 —— 無法確定動作是否可撤銷，或如何影響他人。

蘋果研究人員認為，用戶需要的是“有用且安全”的自動化功能：誤刪賬戶的 AI 是災難，但要是連調整音量這種操作都要請示用戶的話還不如不做。

研究人員認為，他們的分類法可幫助設計更好的 AI 政策 —— 例如，用戶可自定義何時需要請求批準。這種方法支持透明化與個性化，幫助 AI 設計者識別當前模型的薄弱點（尤其在處理真實世界高風險任務時）。

研究表明，教 AI“識別按鈕”還不夠，它必須理解“點擊背后的意義”—— 這對 AI 而言是項艱巨任務。人類可以通過上下文提示和歷史經驗來進行判斷，但機器卻很難完美地解決這種復雜性操作。

【來源： IT之家】