如何使用 RAG（檢索增強生成）來增強 AI 模型

什麼是檢索增強生成 (RAG)？它有何價值？

檢索增強生成 (RAG) 是一種用於開發人工智慧 (AI) 的技術，可讓大型語言模型 (LLM) 存取原始訓練中未包含的內外部資料來源（例如第三方研究、產品文件或企業內部知識庫），藉此來增強 LLM。

使用 RAG，團隊可以利用自然語言查詢權威的組織知識和第三方資源，從而避免打擾同事或在分散的系統中執行耗時的搜尋。

由於 LLM 在執行階段使用補充資料，幻覺發生的機率較低，所有人都依據相同的事實來源工作。最終，藉由有依據且可靠的資訊，提高了大型語言模型 (LLM) 的準確性。

構建成功的 RAG 管道需要採取哪些步驟？

RAG 可協助企業增強其使用的 OpenAI 或 Anthropic 等廠商的 AI 模型，且無需耗費額外的時間、費用和技術資源，來針對預期使用案例為這些模型重新訓練特定知識。因此，RAG 實現了 LLM 增強大眾化。

幸運的是，構建 RAG 管道不需要龐大的基礎架構或深度的機器學習專業知識。因此，入門很簡單。這個簡單的三步驟流程從確定使用案例開始，然後是選擇合適的資料來源與建立實際的 RAG 管道。

步驟 1：構想潛在的 RAG 使用案例

首先，確定哪些資料來源對於團隊使用自然語言提示來存取最有幫助。重點關注高影響力的摩擦點，包括團隊經常參考以尋求解答的資源、團隊經常遇到瓶頸的系統，或是反覆出現相同問題的流程。

若要找出最有潛力的 RAG 使用案例，請向內部團隊詢問以下問題：

 
• 在人們的腦海中或難以存取的書面文件中，有哪些常見的機構知識請求？範例包括標準作業程序和常見問題解決方法。在 RAG 的幫助下，自助帳單助理可以回答常見的使用者問題，例如：「我在哪裡可以下載過去的發票？」
 
• 哪些問題經常在團隊間升級？例如，關於不斷演變的技術政策的查詢可能經常出現。使用 RAG，面向客戶的政策助理可以說明公司的退款政策。
 
• 哪些檔案或工作需要在多個位置（例如 Confluence、SharePoint 和內部 wiki）手動重複查詢？支援 RAG 的合規助理可以從 HR 指南中提取資訊，來回答「歐洲的新員工需要哪些培訓模組？」這個問題。
 
• 必須滿足哪些正式的需求或要求？稽核回應、提案請求 (RFP) 與法規遵循是常見的使用案例。藉助 RAG，銷售 RFP 助理可以從符合法規的範本中提取資訊，以生成 RFP 回應。
 
• 哪些資訊適用於所有人？例如，公司培訓和新員工入職培訓文件普遍有用。互動式客戶入門指南可以利用 RAG，透過擷取最新的操作說明材料來引導新使用者完成培訓步驟。

優先考慮以下 RAG 使用案例：結合生成式推理與內外部知識，可以解決實際問題、減少情境切換、消除重複性工作，並提高團隊之間的一致性。

步驟 2：在內部識別 RAG 適用的資料來源

RAG 系統的強度完全取決於其擷取的資料。因此，可用資料來源的品質、完整性、管理和結構會直接影響回應品質。

RAG 適用的資料需滿足以下條件：

 
• 回答常見問題：理想的來源包括產品常見問題集、原則文件、內部流程指南及合規性對應。
 
• 準確且持續維護：尋找具有明確擁有權和定期更新節奏的文件。
 
• 結構清晰，足以進行分塊：Markdown 檔案、PDF、HTML 文件、JSON 檔案和 wikis 都可以分解為邏輯區段。如果資料集包含螢幕擷取畫面或基於影像的 PDF，則 Cloudflare Workers AI 等工具可以將影像轉換為 LLM 可讀取的向量。

避免使用會產生雜訊或不一致的資料來源，包括：

 
• 格式混亂的非結構化資料（例如，Slack 對話或原始電子郵件鏈），除非經過清理、審查和格式設定
 
• 流動且不斷變化的資料集，如具有即時指標的儀表板
 
• 重複、衝突或過期的檔案，這可能會使檢索混淆並導致錯誤

與內部利害關係人及 IT 部門合作，清查每個資料來源、刪除重複項目，並指派持續的擁有權。

步驟 3：構建 RAG 管道

接下來，處理資料集並將其組織成一個適合語義檢索的結構。典型的 RAG 工作流程包含五個部分：擷取、嵌入、向量資料庫儲存、查詢檢索和回應生成。

1. 擷取

首先，從共用存放庫、儲存貯體或內容系統收集相關檔案和文件。然後專注於：

• 區塊化：為了實現精確檢索，以程式設計方式將內容劃分為建立語義連貫單元（例如，段落、標題、常見問題集項目和程式碼區塊）的邏輯區段。
• 正規化：清理並標準化各種格式的資料（例如，PDF 到文字、HTML 到 markdown）。
 
• 中繼資料標記：附加有用的中繼資料（例如：擁有者、建立日期、系統），以支援篩選檢索。

2. 嵌入

使用嵌入模型（例如 BGE 嵌入模型），將每個文字區塊轉換為擷取其語義含義的數值向量。

3. 向量資料庫儲存

將嵌入和所有關聯的中繼資料儲存在一個可擴展的向量資料庫中，例如 Cloudflare Vectorize。這樣做有助於對大規模知識庫進行高效查詢和篩選。

4. 查詢檢索

當使用者提交提示時，系統會：將查詢轉換為向量；在向量資料庫中搜尋適當且語義相似的區塊；並根據中繼資料套用篩選條件，以微調檢索——例如，根據角色或部門限制對特定資訊的存取權限

5. 回應生成

最後，擷取的區塊會在傳遞到 LLM 之前，作為額外情境插入到提示中。LLM 會使用此情境，基於內外部資料生成有意義且準確的回應。

您是否應該在 RAG 執行和部署方面與 IT 部門合作？

建立一個有價值的 RAG 管道需要全員共同參與。但是，它依賴 IT 來完成以下任務：領導執行；管理資料管道、向量資料庫擴展和存取控制等基礎架構；以及整合系統。

然而，IT 部門無法單獨負責此流程。首先要協調跨職能團隊，包括 IT 部門、主題專家和企業利害關係人。這些團隊應共同確定使用案例及可信任的資料來源，定義內容授權標準，並指派擁有權以確保資料集保持準確和更新。

依使用者角色或業務單位套用存取控制，以限制敏感性資料，並確保在整個系統中部署加密及合規性防護機制。

從試點開始，根據結果反覆運算，然後擴展到各個團隊。

衡量 RAG 管道成功與否的最佳方法是什麼？

從一開始就在流程中建立成功指標，以評估 RAG 系統的有效性和商業價值。

特別是，根據以下 KPI 來評估系統：

• 檢索準確性：是否找到了正確的文件和答案？
 
• 回應相關性和事實性：使用者是否收到最新且值得信賴的答案？
 
• 延遲：回應是否在可接受的時間範圍內送達？
 
• 使用者採用率與滿意度：員工是否確實正在使用系統並提高效率？
 
• 資料治理： 新增資料來源時，是否保持了安全性與合規性防護機制？

RAG 評估通常透過人機互動驗證，來檢查準確性。為了隨著時間的推移改進 RAG 管道的實作，請持續徵求使用者意見反應、分析查詢和檢索記錄的效能指標、審查內容品質，並根據業務目標評估進度。

如何簡化 RAG 工作流程建立？

手動構建 RAG 管道需要將儲存體、向量資料庫、嵌入模型、LLM 和自訂索引/檢索邏輯組合在一起，並在資料變更時維護系統。這需要時間和協作，而且這些任務的複雜性可能會使團隊無法專注於其他高影響力專案。因此，對於某些組織而言，儘管 RAG 具有潛在的好處，採用 RAG 也是不切實際的。

Cloudflare AI Search（前身為 AutoRAG）可助您一臂之力。

AI Search 是一個構建於 Cloudflare 開發人員平台上的完全受管的 RAG 管道。使用者只需四個步驟，即可連接企業網站、電子商務產品目錄和開發人員文件等資料來源。AI Search 在 Vectorize 中處理擷取、markdown 轉換、分塊、嵌入和儲存。然後，它會使用 Workers AI 執行語意檢索並生成回應。

AI Search 透過自動化擴展、儲存和 AI 推斷，消除了構建 RAG 管道的繁重的基礎架構負擔，同時確保在 RAG 系統中安全且正確地存取內部資料來源。此外，AI Search 會在背景持續為資料重新建立索引，從而在內部來源更新時，確保答案是最新的。

為何應該使用 RAG？

組織的資料是一項巨大的戰略資產。構建一個安全的 RAG 管道，透過為企業 LLM 增添獨特的指南、流程和知識庫，讓您的企業和市場具有獨特優勢，從而使團隊成員和客戶能夠存取這些資料。

簡而言之：RAG 透過公司內部知識與經核准的第三方資源，增強常用模型，進而提供即時的 AI 優勢。

無論是手動構建還是使用 AI Search，都應從正確的使用案例開始，精選高品質資料並協同合作，以提供快速、準確且有依據的答案。

準備好開始了嗎？透過四個簡單的步驟，構建您自己的內部 RAG。

常見問題集

什麼是檢索增強生成 (RAG)？

檢索增強生成 (RAG) 是一種改進大型語言模型 (LLM) 的方法，它可讓模型存取原始訓練範圍不包含的內外部資料來源。

使用 RAG 的主要優勢有哪些？

使用 RAG，團隊可以使用自然語言查詢組織知識和第三方資源，這有助於避免打擾同事並減少手動搜尋所花費的時間。此外，OpenAI 或 Anthropic 等廠商的 AI 模型增強也實現了大眾化，從而無需耗費時間、費用或技術資源來完全重新訓練。

構建 RAG 管道有哪些步驟？

構建 RAG 管道的步驟為：構想潛在的使用案例、確定合適的資料來源與構建實際的 RAG 管道。管道構建包含擷取內容，使用嵌入模型將文字轉換為向量，將嵌入和中繼資料儲存在向量資料庫中，啟用查詢檢索和促進回應生成。

有哪些高影響力 RAG 使用案例範例？

高影響力 RAG 使用案例包括建立：自助帳單助理、面向客戶的政策助理、HR 指南的合規助理、銷售 RFP 助理，以及互動式客戶入門指南。這些使用案例可以協助解決實際問題、減少重複性工作，並提高團隊之間的一致性。

什麼樣的資料來源適合 RAG 系統？

RAG 適用的資料來源應具備準確性，定期維護，且結構清晰足以分解為邏輯區段，例如 Markdown 檔案、PDF、HTML 文件或 JSON 檔案。它們還應該回答常見問題，例如產品常見問題集或內部流程指南。

典型的 RAG 工作流程包含哪五個部分？

典型的 RAG 工作流程由五個部分組成：擷取、嵌入、向量資料庫儲存、查詢檢索和回應生成。

如何衡量 RAG 管道是否成功？

RAG 管道是否成功可以使用關鍵效能指標 (KPI) 來衡量，例如檢索準確性、回應相關性與事實性、延遲、使用者採用率與滿意度以及資料治理。持續的使用者意見反應和效能指標分析有助於隨著時間的推移改進實作。

在 RAG 管道中使用嵌入模型有什麼優勢？

嵌入模型（例如，BGE 嵌入模型）會將文字區塊轉換為擷取其語義含義的數值向量。然後，這些向量會儲存在向量資料庫中，以便於高效查詢和篩選。

Cloudflare AI Search 如何簡化 RAG 工作流程建立？

Cloudflare AI Search 是一個完全受管的 RAG 管道，可在 Vectorize 中自動執行擷取、分塊、嵌入和儲存作業。它還能透過 Workers AI 處理語義檢索和回應生成，因此無需手動管理基礎架構。