如何管理適用於企業的 AI 主體

當您知道如何有效地建構它們和管理其輸出時,AI 主體可以協助人類團隊完成更多工作。

學習目標

閱讀本文後,您將能夠:

  • 瞭解管理人員如何管理自主型 AI 主體
  • 找到將 AI 主體整合到現有工作流程的最佳方式
  • 衡量 AI 主體管理是否成功

複製文章連結

面向企業的 AI 主體是實現自動化的下一個階段嗎?

AI 主體是人工智慧的「第三波浪潮」,由預測式 AI生成式 AI (GenAI) 演變而來。這些採用 AI 技術的程式不僅僅會聊天。它們還會採取行動。具體來說,AI 主體可以自主感應環境、做出決策和執行工作。

對於企業領導者和中層管理人員而言,AI 主體就像是新的團隊成員。它們可以幫助團隊以更少的資源和時間完成更多工作。例如,它們可以協助處理管理工作、改善團隊協作,並提升客戶體驗與個人化程度。

允許建置 AI 智慧體的 AI 開發領域稱為自主式 AI。使用模型情境通訊協定 (MCP) 等標準,AI 智慧體可以連線到其完成動作所需的外部工具和資料來源。

但 AI 主體不能獨立存在。儘管它們本質上是自主的,但就像任何其他團隊成員一樣,需要領導、管理和監督。就像任何其他團隊成員一樣,若要實現理想的業務成果,需要將其整合到現有的業務流程和工作流程中,使其能支援組織的戰略目標,而不是造成干擾。

管理人員如何指導和監督自主型 AI 主體?

使用人機互動方法進行有效的 AI 主體管理,可實現負責任的 AI。套用以下策略,確保主體專注於預期輸出:

使用高品質資料

AI 主體必須使用高品質資料。如果主體提取的資訊已經過時且不準確,則會誤認為這就是標準。而採用不同格式的資料(如日期或財務集)試算表或清單也可能使主體感到困惑。

同樣的思維模式也適用於主體反覆運算。主體會考慮提供給它們的來源。如果沒有參數,它們可能會搜尋整個網際網路以找到正確的解決方案,這可能會導致錯誤資訊。公司可以透過限制主體可以存取的內容來防止這種情況發生。

設定明確的規則、目標和邊界

AI 主體就像新員工一樣:如果它永遠不學習公司規則和目標,就很容易違反這些規則。

系統提示透過使輸出與期望結果一致,來協助約束主體。系統提示透過背景資訊(例如主體的角色、包含完成內容指示的工作,以及 AI 必須遵循的指南)定義主體的行為。系統提示也可能包含關注領域、語氣和範例輸出等元素。

請盡可能確保這些指示清晰明確。自相矛盾的表述(如要求「強硬、權威的語氣,但又採取友善的方式」)可能會讓主體感到困惑。同樣地,告訴主體這是某個主題中的「思想領袖」的說法很籠統,留下了過多的詮釋空間。

從簡單的工作開始

面向企業的 AI 主體最適合處理簡單的工作。更複雜的工作通常需要多個主體互相檢查和支援。主體還必須能夠執行被要求執行的動作。例如,如果主體無法存取財務資料,則要求它提供預算預測將毫無意義。

加入限速功能

限速有助於防止 AI 主體過於頻繁地執行不良動作。例如,限速會阻止主體重複登入某項服務或存取敏感性使用者資料。

開發策略性驗證和授權

由於智慧體類似於人類員工,因此它們必須遵循正確的驗證和授權流程。透過使用具有安全密碼編譯金鑰的用戶端憑證,來驗證智慧體是否為其所聲稱的身分。

主體很少需要存取所有內容。透過根據特定目的量身打造的有限存取權限,使其保持專注,並針對資源、敏感性資料和近期主體動作調整權限。例如,您可以授予主體讀取權限,但不授予寫入權限,使其無法修改檔案。

開發人員可以為其 MCP 伺服器設定驗證和授權,來定義適用範圍和權限並強制執行,這樣智慧體只能叫用允許的動作。MCP 用戶端還可以建置智慧體,用於提示終端使用者授予對其他服務的存取權限;如果請求看起來很奇怪或沒有必要,則人類使用者可以限制該存取。

同樣,主體很少需要「永遠開啟」。因此,透過程式設計為其設定時間限制可能有利無害。例如,如果使用它們來為即將發佈的公告撰寫社交媒體文案,它們只需要很短的時間來理解相關新聞,確定先前內容的語氣,並撰寫合適的貼文。限制存取時間會降低潛在的網路安全風險。

考量自主權過多的 OWASP 風險

開放 Web 應用程式安全專案 (OWASP) 是一個國際非營利組織,致力於改善 Web 應用程式安全性。針對大型語言模型 (LLM)OWASP Top 10報告指出,其中一個風險便是過多的自主權。

基於 LLM 的智慧體通常具有一定的獨立自主權,能夠透過採取行動來回應提示。然而,過多的自主權可能會導致一些問題。例如,智慧體可能會刪除檔案、共用敏感性資訊或意外地破壞其他作業程序。

為了防止過多的自主權,開發人員可以限制外掛程式和工具的功能、權限和自主性。例如,他們可以針對訊息傳送或聊天結束等項目採用限速。使用 OAuth 進行授權和驗證是另一種對抗自主權過多的有效策略,還可以要求針對特定動作進行人工授權來減輕負面影響。

從使用者體驗的角度考慮

員工對於 AI 主體內部運作方式的理解程度不一。他們可能只會看到最終結果。如果主體的目的是協助所有團隊成員,則必須簡單易用。

考慮 AI 主體已經能夠做什麼,然後移除任何潛在的阻礙性干擾因素或額外步驟。定期檢閱規則和指南有助於發現主體系統中多餘的區域。

將 AI 主體整合到現有工作流程的最佳方式是什麼?

AI 主體管理是這個難題中的一環,但若要成功實作面向企業的 AI 主體,還需要以自然且舒適的方式將它們嵌入現有的工作流程中。以下策略有助於促進無縫整合及持續運作:

  • 執行工作流程稽核,以找出潛在的改進或瓶頸,並重點說明 AI 可以最佳化或自動化的工作和流程。
  • 請洽詢提供基於 API 的整合的 AI 提供者,以協助您研究 AI 如何融入現有系統。
  • 從小規模開始,逐步擴大,為員工提供關於如何使用主體的培訓和資源,並鼓勵團隊溝通。
  • 納入人機互動工作流程,為智慧體決策過程提供狀態持久性和人工評估。
  • 請記住,AI 主體是隊友,而不是替代品。

如何衡量 AI 主體管理是否成功?

如果您希望擴大 AI 主體在您組織中的使用和影響力,則必須將效能追蹤作為 AI 主體管理策略的核心組成部分。可能包括以下指標:

  • 完成率和主體完成指定工作所需的步驟數
  • 準確性,包括主體是否遵循指示、是否取得預期結果,以及是否需要人類介入進行調整
  • 使用主體節省的時間,尤其是在管理工作上花費的時間

員工也是很重要的意見回饋來源。由於他們經常使用主體並具有第一線經驗,因此他們可以分享成功案例和潛在挑戰、提供基準和範例,以協助其他人熟悉 AI 主體的使用和管理。

管理人員習慣於監控人類員工,並定期對他們進行績效評估。他們必須以類似的方式監控主體,透過持續執行評估、追蹤和失敗分析,找出常見錯誤,並協助「偵錯」不精確或效率不彰的主體。

Cloudflare 如何協助 AI 主體?

Cloudflare 開發人員平台具備各種工具,可用於建置及部署採用 AI 技術的主體,並確保它們順暢運作。以下幾種工具特別有用:

  • Workers AI:Workers AI 提供全域分散的運算能力,用於在靠近決策發生的位置執行 AI 主體,從而實現即時回應和基於邊緣的自主性。
  • Cloudflare 容器/沙箱:Cloudflare 容器和沙箱是安全的執行環境,可以隔離並管理 AI 智慧體,從而確保治理和原則實施。它們非常適合用於在生產環境中管理智慧體生命週期。
  • Agents SDK:透過 Agents SDK,Cloudflare 實現了可擴展的安全性 AI 智慧體部署。這些智慧體內建了狀態管理功能,可與用戶端即時通訊,並運用所需的 AI 模型和資料,協助企業以負責任且安全的方式實施 AI 運作
  • MCP 伺服器:遠端 MCP 伺服器透過適應定期登入和授權流程,可以向更多使用者開放 LLM 和智慧體。遠端 MCP 伺服器不需要共用密碼,而是需要 OAuth 形式的驗證與授權。
  • MCP 伺服器入口網站:開發人員可以向 Cloudflare 註冊伺服器,並提供單一的統一入口網站端點,以供使用者在其 MCP 用戶端中設定,而不是分散數十個個別的伺服器端點。這就像是 MCP 伺服器的集中式前門。

此外,在 Cloudflare 上執行 AI 主體也有助於控制成本:Cloudflare 僅按運算時間(主體思考時)而非經過時間(主體等待時)收費。

準備好瞭解 AI 主體如何節省時間並提高生產力了嗎?請在這裡建置第一個主體

常見問題集

企業使用 AI 主體的主要目的是什麼?

AI 主體旨在自主行動,從而幫助業務團隊以更少的資源和時間完成更多工作。它們可以協助處理管理工作、改善團隊協作,並提升客戶體驗。

管理人員如何有效地管理 AI 主體?

為了有效管理 AI 主體,管理人員應使用高品質資料,並透過系統提示設定明確的規則、目標和邊界。從簡單的工作開始,使用限速,並制定策略性的驗證和授權流程。

將 AI 主體整合至現有業務工作流程的關鍵策略是什麼?

為了成功整合 AI 主體,請執行工作流程稽核,從小規模實作開始,並逐步增加其使用。為員工提供培訓和資源,鼓勵團隊溝通,並納入「人機互動」工作流程,讓人類對主體的決策進行評估。

企業如何衡量 AI 主體管理是否成功?

透過追蹤多個指標來衡量 AI 主體管理是否成功:完成率、主體完成一項工作所花費的步驟數,以及節省的時間。準確性也是一個關鍵指標,它需要檢查主體是否遵循指示,以及是否需要人工進行調整。

與 AI 主體相關的一些安全性風險有哪些?

一個重大的風險是過多的自主權,也就是主體的行動過於獨立。它們可能會刪除檔案、共用敏感性資訊或破壞作業流程。您可以透過限制主體的功能、權限和自主性,以及使用限速和驗證來降低此風險。

Cloudflare 如何協助建置和部署 AI 主體?

Cloudflare 開發人員平台提供了多種用於建置和部署 AI 主體的工具,包括:Cloudflare Workers AI(提供全域分散的運算能力);Cloudflare 容器/沙箱(提供安全的執行環境);以及 Cloudflare Agents SDK(提供可擴展的安全部署)。Cloudflare 還提供可實現安全驗證的 MCP 伺服器和入口網站,以及用於設定伺服器的單一入口網站。