作者：紅帽亞太區(qū)首席技術官Vincent Caldeira
隨著AI系統(tǒng)從獨立模型向自主、代理式系統(tǒng)轉型，對信任、透明度和風險感知設計的需求從未如此迫切。這些由大語言模型（LLM）和多代理編排技術驅動的智能代理，正越來越多地做出影響企業(yè)、個人及整個社會的決策。然而，我們不能假定這些系統(tǒng)的可信度：它必須在系統(tǒng)層面進行設計、測量和持續(xù)強化，而不僅僅是模型層面。
AI可信度的關鍵驅動力之一是模型供應鏈透明度——一個允許企業(yè)評估和驗證復雜系統(tǒng)中使用的AI組件的來源、安全性和一致性的框架。如果無法清晰了解AI模型是如何構建、訓練和部署的，就幾乎不可能對系統(tǒng)需求進行風險分析。本文探討了模型供應鏈透明度為何至關重要，它如何支持代理式AI中的風險對齊，以及設計可信AI生態(tài)系統(tǒng)的最佳實踐。
現(xiàn)代AI系統(tǒng)不再是一個單一體，而是由多個相互關聯(lián)的模型、API和組件（包括外部數(shù)據(jù)源和工具）組成。這種復雜性引入了新的風險因素，包括：
·數(shù)據(jù)來源不確定性：訓練數(shù)據(jù)來自哪里？是否存在偏見或不完整？
·第三方模型風險：外部AI模型是否符合倫理和監(jiān)管標準？
·API依賴關系：如果函數(shù)調用返回不可靠或不安全的輸出，會發(fā)生什么？
·自動化決策不透明性：利益相關者能否審計并干預AI驅動的決策？
這些挑戰(zhàn)凸顯了模型供應鏈透明度的重要性。這就是為什么行業(yè)需要標準化AI供應鏈可見性，確保模型在構建時考慮了問責制和風險對齊。
與傳統(tǒng)AI模型按要求提供輸出不同，代理式AI系統(tǒng)基于高級目標自主行動。這種從反應式到主動式AI的轉變要求新的風險評估方法。部署多代理編排和函數(shù)調用框架的企業(yè)必須評估：
1.可預測性與可靠性——系統(tǒng)能否產生一致且可解釋的結果？
2.人機回圈控制——是否存在人類干預和對齊的機制？
3.倫理護欄——系統(tǒng)如何與人類價值觀和政策對齊？
4.自適應風險緩解——AI能否根據(jù)不斷變化的風險調整其行為？
風險對齊的AI系統(tǒng)不僅簡單地執(zhí)行功能——它理解自己的局限性，溝通不確定性，并在必要時允許人類監(jiān)督。
為確保AI系統(tǒng)可信，企業(yè)必須在AI生命周期的每個階段嵌入安全措施。以下最佳實踐可提供幫助：
1.模型沿襲（model lineage）與可解釋性：模型沿襲通過追蹤AI模型的整個生命周期（從數(shù)據(jù)源到部署）確保透明度，支持偏見檢測與問責制。可解釋性為AI決策提供清晰可理解的洞察，幫助用戶理解并信任系統(tǒng)輸出。
2.風險感知的代理式編排：為防止意外行為，代理式AI系統(tǒng)必須包含安全措施，如提示調解（驗證輸入）、輸出調解（過濾響應）和任務錨定（確保AI保持在一定范圍之內）。這些機制有助于將AI行為與人類期望和安全標準對齊。
3.人機回圈治理：即使在自主AI中，人類監(jiān)督對于防止錯誤和意外后果也至關重要。實施實時干預控制和故障安全機制，確保AI行為可被監(jiān)控、糾正或在必要時覆蓋。
4.透明的AI供應鏈：AI系統(tǒng)應基于可驗證、可審計的組件構建，以確保信任和問責制。企業(yè)必須追蹤模型來源、評估第三方AI風險，并使用開源框架提升AI開發(fā)和部署的透明度。
通過整合這些實踐，企業(yè)可以主動設計信任機制，而非在部署后補救安全功能。從已建立的實施模式來看（例如ThoughtWorks的Martin Fowler和Bharani Subramaniam的《構建生成式AI產品的新興模式》），在未來幾年中，將信任設計元素融入其中并采用相關最佳實踐，對于在企業(yè)規(guī)模成功部署AI而言，將會變得愈發(fā)重要。
隨著AI從模型向系統(tǒng)過渡，企業(yè)必須采用整體方法來處理信任和透明度。這需要：
·模型供應鏈透明度，以評估和驗證AI組件。
·系統(tǒng)風險分析，以預見故障并緩解偏見。
·主動設計模式，以落實安全、公平和問責制。
歸根結底，信任不是功能，而是基礎。為了確保AI系統(tǒng)安全、有效并與人類價值觀對齊，我們必須在每個層面為信任展開設計——從數(shù)據(jù)和模型到決策和部署。
