智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影

智東西9月16日報道(dao)，生(sheng)成式(shi)AI幻覺問題是令人們不敢信任AI的(de)一(yi)大痛(tong)點(dian)。對此，亞馬(ma)遜云科技(ji)將其核(he)心云服務(wu)中長期使用的(de)自動(dong)推理技(ji)術(shu)拿出來，作為(wei)Amazon Bedrock Guardrails中的(de)一(yi)項功能(neng)，供客戶直(zhi)接(jie)使用。

Amazon Bedrock Guardrails自動推理檢查（Automated Reasoning checks）功能已正式可用，同時新增5項功能。該功能通過基于數學和邏輯的形式化驗證機制，幫助客戶依據其領域知識，提高檢測和驗證模型輸出的準確性，AI響應驗證準確率高達99%，能夠有效降(jiang)低(di)AI幻(huan)覺帶(dai)來的風險(xian)。

這種方法(fa)與概率(lv)推(tui)理(li)方法(fa)有著本質區別。概率(lv)推(tui)理(li)方法(fa)是通過為結果分配概率(lv)來處理(li)不確定性，而自(zi)動推(tui)理(li)檢查功能(neng)做(zuo)到(dao)將(jiang)AI輸(shu)出(chu)轉化為邏(luo)輯可驗證的命(ming)題，幫企業把(ba)數學嚴謹性嵌入到(dao)AI應用(yong)的防(fang)護中。

當(dang)模型輸(shu)出存在多種(zhong)解釋時，自(zi)動推理(li)檢查功能還能輔(fu)助檢測歧(qi)義情(qing)況(kuang)。

在預(yu)覽版的(de)基礎上，該功能(neng)正式版新增(zeng)了多項能(neng)力：可(ke)支持處理長達80K token的(de)文檔，保存和復(fu)用驗證測(ce)試(shi)，自(zi)(zi)動生(sheng)成測(ce)試(shi)場景(jing)，以自(zi)(zi)然語言形式反(fan)饋(kui)策略優化建議，并(bing)允許客(ke)戶自(zi)(zi)定義置信度閾值。這些增(zeng)強(qiang)功能(neng)讓(rang)自(zi)(zi)動推理檢查從概念性探(tan)索走(zou)向可(ke)規模化落地，給業務層面加筑一道AI可(ke)信防線。

一、十年打磨的幕后武器，首次走向客戶應用

幻覺是大(da)語言模(mo)型(xing)輸出(chu)(chu)內容不(bu)靠譜的關鍵問題之一。企業(ye)(ye)客戶希(xi)望獲(huo)得(de)更加(jia)確定性的結(jie)果：一是語法表(biao)達和事實表(biao)達上的正確性，即不(bu)希(xi)望出(chu)(chu)現幻覺；二(er)是業(ye)(ye)務表(biao)達上的準(zhun)確性，即希(xi)望大(da)模(mo)型(xing)能夠真正理解業(ye)(ye)務場景，輸出(chu)(chu)符合業(ye)(ye)務邏(luo)輯(ji)的內容。

降(jiang)低(di)幻覺(jue)的一個常見做法(fa)是把整個原始文(wen)檔作(zuo)為提示詞和上下文(wen)傳給大模型，這(zhe)樣(yang)方式往往會(hui)消耗大量(liang)Token，成本很(hen)高(gao)，還考驗模型能不能從大量(liang)內容里(li)準(zhun)確提取，成本和準(zhun)確性(xing)都有(you)風險。

通過規(gui)則(ze)補充模(mo)型能力，是(shi)大模(mo)型生(sheng)產化(hua)落地的(de)一個可取方法。

自動推理檢查功能相當于“大模型的邏輯(ji)監督員(yuan)”，在模型輸出前，加(jia)了一道邏輯(ji)校驗，來進一步提升AI輸出內容的可信度。

其背后技術原理是(shi)符號式AI（Symbolic AI），核(he)心思想是(shi)把(ba)人類世界的(de)各種描述抽象成邏輯表(biao)達，再通過嚴(yan)格(ge)的(de)邏輯控(kong)制，確保(bao)AI的(de)輸出或自動生成的(de)內容符合實(shi)際結果。

在(zai)Amazon S3、Amazon IAM等核心服務中(zhong)，亞馬(ma)遜云科技已使(shi)用(yong)自(zi)動推理技術(shu)十(shi)余年，驗證代(dai)碼正(zheng)確性、優化(hua)性能、縮短(duan)迭代(dai)周(zhou)期。

比(bi)如在Amazon S3存(cun)儲桶中(zhong)客戶需要對訪問權限做嚴格控制，在Amazon VPC中(zhong)涉及大量的網絡連接和權限控制，背后都是基于(yu)自動推理實現的。

通過(guo)Amazon Bedrock Guardrails，亞馬(ma)遜云(yun)科技(ji)首次將(jiang)這一(yi)工具開放(fang)給客(ke)戶(hu)，提供AI安(an)全與合規的即開即用能力，進一(yi)步改(gai)善(shan)實際業務中大模型幻覺問題。

正(zheng)式推出的Amazon Bedrock Guardrails自動推理檢查(cha)功能新增5大特性：

（1）可處理大型文檔：支持(chi)在(zai)單次構建中處理大型(xing)文檔，最多可(ke)達80K tokens長(chang)文檔，能輕松處理海量文檔資料，相當于多達100頁的內(nei)容。

（2）簡化策略驗證流程：可保存驗(yan)(yan)證(zheng)測(ce)試并反(fan)復運行(xing)，便于(yu)隨時間推移對策略進行(xing)維護和驗(yan)(yan)證(zheng)，讓策略驗(yan)(yan)證(zheng)擁有類似“回歸測(ce)試”的工程屬(shu)性。

（3）自動場景生成：根據客戶的(de)定義自動創建(jian)測試場景，能降低使(shi)用門檻，節省時間(jian)和精力，有(you)助于實現更全面的(de)場景覆蓋。

（4）增強的策略反饋：能夠以自然語言(yan)的形式為策略變更提供建(jian)議，從(cong)而(er)簡化策略優化流(liu)程，讓(rang)并(bing)非(fei)邏輯學專家的開發(fa)者(zhe)和合規人員也能快速上(shang)手。

（5）可定制的驗證設置：可根據具體需求(qiu)調整置信度分數閾值(zhi)，使企業對驗證嚴格程度擁有更靈活的控制權(quan)。

這些新特(te)性(xing)的推出，意味(wei)著自動(dong)推理檢查(cha)功能(neng)已經從(cong)(cong)一(yi)個面向(xiang)專業領域(yu)的“概念驗證工(gong)具”，發展成為(wei)可以(yi)大規模(mo)、標(biao)準(zhun)化(hua)應用的工(gong)程化(hua)能(neng)力，從(cong)(cong)實(shi)驗室走向(xiang)生產環境(jing)。

二、判斷AI助手回答是否符合規則，精準定位矛盾點

將一份自(zi)然(ran)語言(yan)(yan)寫成的(de)政策文(wen)檔上傳(chuan)到Amazon Bedrock Guardrails模塊后(hou)，系(xi)(xi)統會通過自(zi)動(dong)(dong)推理，把自(zi)然(ran)語言(yan)(yan)的(de)表述轉(zhuan)化(hua)為符(fu)號化(hua)的(de)邏輯(ji)表達，即自(zi)動(dong)(dong)抽取一系(xi)(xi)列規則和變量，進行符(fu)號化(hua)處理，再組合成規則。

這一過(guo)程在(zai)控制臺中包含(han)完整的邏輯鏈(lian)路：用戶(hu)在(zai)“Automated Reasoning”下創(chuang)建策略，輸入名(ming)稱和(he)描述(shu)并上傳規則(ze)文檔(dang)；系統(tong)會自動生成由規則(ze)（Rules）、變量（Variables）和(he)自定義類型（Custom Types）組(zu)成的邏輯結構(gou)，并應(ying)用在(zai)Amazon Bedrock Guardrails的最終防護環節。

這(zhe)些規則的(de)(de)(de)(de)作用是驗(yan)證大(da)模(mo)型的(de)(de)(de)(de)輸(shu)出結果(guo)。大(da)模(mo)型本身并不知道(dao)企業內部(bu)的(de)(de)(de)(de)規則，只是基于概率生成(cheng)的(de)(de)(de)(de)。通過這(zhe)樣(yang)一道(dao)邏(luo)輯(ji)校驗(yan)，就能捕捉模(mo)型的(de)(de)(de)(de)輸(shu)出，判(pan)定(ding)它是有效(xiao)（Valid）、無效(xiao)（Invalid）還是部(bu)分滿足（Satisfiable）。

規則(ze)定(ding)義了(le)變量之間的(de)邏(luo)輯關系(xi)并具(ju)唯(wei)一ID以(yi)便追溯，變量抽(chou)取原文中的(de)關鍵概念，如(ru)(ru)首付比例(li)或信(xin)用評分，自定(ding)義類型則(ze)用于限定(ding)取值范圍(wei)，例(li)如(ru)(ru)區分“有保險(xian)貸款”和“常規貸款”。

在“Tests”環(huan)節，用(yong)(yong)戶可(ke)以先利(li)用(yong)(yong)“自動(dong)(dong)生成場景”快速得到覆蓋全面的測試用(yong)(yong)例，再補(bu)充手(shou)動(dong)(dong)測試，并(bing)為每個用(yong)(yong)例設定預期（Valid、Invalid、Satisfiable），同(tong)時可(ke)設置置信度閾值。

前期抽象出規則(ze)(ze)的過程(cheng)(cheng)是自動完成的，不需(xu)要人工參與，效率更高。這個過程(cheng)(cheng)可(ke)能(neng)存在幻覺，所以(yi)系統提供了自定(ding)義接口，讓領域專家能(neng)對這些規則(ze)(ze)進行修改和修訂，確(que)保邏(luo)輯正確(que)。規則(ze)(ze)修改完成后，就(jiu)可(ke)以(yi)把它們推到線上(shang)。

當企業(ye)員工和大模型真(zhen)正交互(hu)時，這(zhe)些規則會(hui)作為(wei)一道(dao)過濾(lv)器，對模型輸(shu)出進行(xing)檢查(cha)。這(zhe)樣一來可以(yi)更好地控制模型輸(shu)出，避免(mian)業(ye)務邏輯(ji)上的錯誤(wu)。

運行驗證后，系統(tong)不僅能(neng)(neng)判斷(duan)AI助手(shou)的回答是否符合審(shen)批(pi)規則，還能(neng)(neng)在(zai)失敗時精(jing)確定位到(dao)引發矛(mao)盾的規則，幫(bang)助用戶優化策略或修正測試。

完成驗證(zheng)后，單個Guardrail最多(duo)可附加兩份(fen)自動推理策(ce)略，并能與(yu)內容過濾、上(shang)下文基(ji)礎核查等其他防護(hu)機制協同工作，從而形成覆(fu)蓋(gai)邏輯、內容與(yu)語境的多(duo)層(ceng)次安全保(bao)障(zhang)。

在(zai)實際(ji)應用中，自(zi)動推理檢查功(gong)能會(hui)集成(cheng)在(zai)業(ye)務流程里。該模(mo)(mo)塊可以和防違(wei)規模(mo)(mo)型一起用，也可以獨立應用，把任何模(mo)(mo)型的輸(shu)出結果傳到Guardrails進行管控。

這些(xie)防護措施不僅適用于(yu)Amazon Bedrock的模型，還可通(tong)過API擴展到(dao)第三方模型，并能與(yu)Strands Agents及基(ji)于(yu)Amazon Bedrock AgentCore的Agent配合使用，在多Agent協作場景中同樣發(fa)揮(hui)作用。

三、優化公用事業停電管理系統，讓企業AI部署合規可靠

亞(ya)馬遜云科技在(zai)官(guan)方博客中以(yi)房貸審批為(wei)例，演示了Amazon Bedrock Guardrails自(zi)動推理檢查功能的實際應用。

在示例中，用(yong)戶(hu)只需上傳房(fang)貸(dai)審(shen)批規則(ze)文檔，系(xi)統即(ji)可(ke)將其轉化(hua)為(wei)邏輯定義，并(bing)自動(dong)(dong)生(sheng)成測試(shi)場(chang)景(jing)。隨后，用(yong)戶(hu)可(ke)以補充手(shou)動(dong)(dong)測試(shi)，為(wei)每個用(yong)例設定預期結(jie)果，并(bing)運行(xing)驗(yan)證(zheng)。當輸出與規則(ze)不一(yi)致時(shi)，系(xi)統能(neng)準確定位矛盾點，幫助(zhu)用(yong)戶(hu)調整策(ce)略。

完成驗證后(hou)，這些策(ce)略可(ke)直接應用到(dao)Guardrails中，用于約束AI助(zhu)手的回答。

這一示例表明，自(zi)動推理檢查功能(neng)(neng)能(neng)(neng)夠把日常業務(wu)規則轉化為可驗證(zheng)的邏輯，并通過自(zi)動化測(ce)試和(he)持續驗證(zheng)機制，讓AI的輸出始終符合合規和(he)業務(wu)要求。

亞馬遜(xun)云科(ke)技還與普華永道(dao)共同開發了(le)一套解決方案。借助自動(dong)推(tui)理檢查，公用(yong)事業公司可通過以下方式(shi)實現(xian)運營優化：

（1）自動協議生成：創(chuang)建符合監管(guan)要求(qiu)的(de)標準化流(liu)程(cheng)。

（2）實時計劃驗證：確保應急(ji)響(xiang)應計劃(hua)符合既定政(zheng)策。

（3）結構化工作流構建：制(zhi)定基于(yu)嚴(yan)重程(cheng)度的分級(ji)工作流，并明確響應目標(biao)。

該解決方案(an)的(de)核(he)心在于將(jiang)智能策略管理與優(you)(you)化后的(de)響(xiang)應協議相結(jie)合，運(yun)用自動推理檢(jian)查技術(shu)來評估AI生(sheng)成的(de)回復(fu)。一旦發現回復(fu)無效或存在可(ke)滿(man)足性方面的(de)問題，便會利用自動推理檢(jian)查的(de)結(jie)果，優(you)(you)化完善或者直接(jie)重新編(bian)制(zhi)答案(an)。

這套方案體(ti)現了AI如何變(bian)革傳統公用事業運營模式，通過將數學層面的(de)精準性(xing)與實際需求相結合，使其更(geng)(geng)高效、更(geng)(geng)可靠(kao)、更(geng)(geng)及時(shi)響應客戶需求。

Amazon Bedrock Guardrails自(zi)動推理檢查功能已在美國東部（俄(e)亥(hai)俄(e)州、北弗吉尼亞州）、美國西部（俄(e)勒岡(gang)州）以(yi)及歐(ou)洲（法蘭克福(fu)、愛爾蘭、巴(ba)黎）區域正式可用，按處(chu)理文(wen)本量(liang)計費。

結語：給“AI護欄”加道“數學保險鎖”

十多(duo)年來，亞馬遜云科技(ji)在Amazon S3、Amazon IAM、加(jia)密引擎等核心云服(fu)務中(zhong)，率(lv)先應(ying)用自動推理(li)技(ji)術(shu)，用數學和邏(luo)輯(ji)的(de)方法論(lun)驗證系統的(de)正確性。這(zhe)些經驗成為支(zhi)撐復雜(za)大規模云服(fu)務實現(xian)安全和可靠的(de)重要力量之(zhi)一。

市(shi)面上的AI安全手(shou)段大多依賴(lai)過濾(lv)或概率閾值，難(nan)以給出確定性保障。Amazon Bedrock Guardrails自(zi)動(dong)推(tui)理檢查功能首次具備(bei)邏輯(ji)可(ke)證(zheng)明的審查能力，讓(rang)AI的安全性不僅依賴(lai)概率和經(jing)驗(yan)(yan)判斷，還增加(jia)了數學邏輯(ji)上的可(ke)驗(yan)(yan)證(zheng)能力，從(cong)“可(ke)信”進一步(bu)邁向“可(ke)證(zheng)明”。

這相當于(yu)為(wei)AI加(jia)了一道“數學(xue)保險鎖”，進一步(bu)提升了AI的可靠性，讓企業能(neng)夠邏輯化地驗證AI輸出是否(fou)符合政策與規則，有(you)助于(yu)規避因“幻覺”引(yin)發的事實(shi)性錯(cuo)誤。