智東西（公眾號：zhidxcom）
作者 | 程茜
編輯 | 心緣
智東西12月19日報道，今天，百川智能宣布開放基于搜索增強的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K及Baichuan2-Turbo，并增加了搜索增強知識庫。
官網接口說明：//platform.baichuan-ai.com/playground
百川智能創始人、CEO王小川談道，搜索增強是大模型時代的必由之路，能夠有效解決大模型幻覺、時效性差、專業領域知識不足等核心問題。
百川智能以Baichuan2大模型為核心，將搜索增強技術與大模型深度融合，結合此前推出的192k超長上下文窗口，構建了一套大模型+搜索增強的完整技術棧，實現了大模型和領域知識、全網知識的連接。
目前，行業大模型在應用落地方面仍面臨諸多問題，如企業的訓練成本、人才儲備等。一方面，百川智能的搜索增強技術可以提升大模型的性能，同時讓其“外掛硬盤”，擁有互聯網實時信息和企業的自有知識庫；另一方面，搜索增強技術能夠幫助大模型理解用戶的意圖，在企業的知識庫文檔中找到相應的知識，然后對結果進行總結提煉生成結果。
百川智能聯席總裁洪濤告訴智東西，他們并不否定行業大模型，但從技術的視角看，絕大部分場景下百川智能的搜索增強方案可以替代行業大模型。
一、大模型落地難題：幻覺、時效性差、專有知識不足
現階段，大模型仍存在很多問題，也是其走向行業落地必須面對的挑戰。
首先，大模型存在幻覺，目前一些玩家通過訓練更大的模型去減少幻覺，但這伴隨著成本變高。
其次，大模型的數據庫是靜態的，王小川認為，大模型是一個時效性較差的系統。
第三，大模型商業落地的過程中專業知識不足，這是因為每個企業都有自己的私域數據，且需要實時更新。
因此，王小川認為，解決這三個問題，光靠模型本身做的大是不夠的。
目前，行業里有一大策略就是，大模型加搜索才能構成完整的技術棧，王小川談道，此前百川智能做大模型比較快的原因就是，掌握搜索技術能更好收集數據。這是因為，大模型的數據、算法、算力都和搜索相關，搜索技術不僅能幫他們更快做出大模型，大模型+搜索還能完整形成模型加商業應用的邏輯閉環。
借助搜索增強，大模型和領域知識、全網知識形成全新的完整技術棧，有利于大模型真正實現落地。
王小川展示了一個行業里公認的表達，大模型是新時代的計算機。下面這張圖就將大模型比做計算機，大語言模型就是中央處理器、上下文窗口就是內存、搜索增強就是硬盤。
不過更大內存、更強的處理器，依然不能解決大模型幻覺、外部知識引入、時效性等問題。王小川談道，在用戶指令和輸出中，就可以通過搜索引擎將互聯網實時信息和企業完整知識庫，像硬盤一樣裝進去，也就是大模型加硬盤能即插即用，這就使得大模型在很多領域里更實用。
▲百川智能大模型支持實時信息更新
在學術界，也有一些知識注入等類似理念提出，可以將外部知識掛硬盤，也就是RAG（檢索增強生成），谷歌、OpenAI等也在提出類似的理念。
二、人才、算力、時間、效果……行業大模型落地挑戰眾多
目前而言，企業滿足自身需求的做法是搭建向量數據庫。王小川談道，向量數據庫實際上是搜索里的一部分功能，搜索為了保證召回進度和效率會采用向量數據庫。因此，做搜索的公司已經完整掌握了向量數據庫這項技術，現在，百川智能對其經過新的研發后，讓更大的模型實現更好的對接。
如今模型走向落地，一些企業落地應用大模型時很多需求沒解決，所以需要打造行業大模型。王小川舉了個例子，如常說的L0就是標準模型，L1就是在此之上經過垂直行業數據改造的行業大模型。
然而，用行業大模型來解決企業應用的過程中，仍然面臨很多問題，包括人力、算力、時間、效果、更新、升級。
在改造的過程中，需要企業有非常多的經驗積累，高質量的人才才能保證系統的可靠性和穩定性。與此同時，算力方面對于企業來說也是巨大的挑戰，再加上訓練周期長，還需要考慮基座模型升級的影響。
因此，王小川認為，行業大模型目前并沒有良好的實踐案例，還面臨很多問題。
三、長文本、向量數據庫是基操，百川智能提出差異化解決方案
在行業模型之外，常規的解決方法是向量數據庫和長窗口，王小川談道，這兩個事情是基操，百川的解決方案還包括獨有的：實現稀疏檢索與向量檢索并行、搜索系統和大模型對齊。
其中，稀疏檢索就是原來他們原來做搜索引擎時用到的機遇符號系統的方式，這種情況下向量檢索語義會更加貼近。
另一大特點就是搜索系統和大模型對齊，他解釋說，以前用戶提問會通過一個關鍵詞表達一個詞或者短劇，今天用戶提問是一個完整的問題，如何通過稀疏檢索、向量檢索跟這套系統相對接，就是新的技術點。
搜索和長窗口模型產生的技術挑戰包括，用戶場景變化，用戶會提出上下文相關的prompt，與傳統搜索不同；第二為如何實現高召回、高準確的搜索系統；第三為長窗口在容量、性能、成本和效率方面的問題；第四是長窗口結合搜索，對搜索召回精度要求極高。
面對這些挑戰，百川智能提出了一系列解法。
今年10月，百川智能發布了Baichuan2-192k大模型，可以支持一次性輸入35萬字。同時，百川智能在中文語義向量綜合表征能力評測C-MTEB中排名第一。
同時，該公司還實現了稀疏檢索和向量檢索并行，通過調優后比向量檢索的可用率從80%提到95%。王小川談道，這件事意味著將向量檢索帶到了新的高度。
在搜索系統和大模型對齊方面，有prompt2query和doc2query兩種方案，能夠對齊用戶的需求。
通過這樣一系列的操作，百川智能的解決方案就解決了行業大模型不可行的問題。同時大模型的外存加內存能提升兩個數量級的信息處理量，大模型的處理速度更快、成本更低。王小川談道，這種解決方案提升了幾百倍的檢索量后，比單用長窗口的成本更低、速度更快。
四、解決行業大模型不可行難題，文本規模達到5000tokens
總的來看，王小川認為，相比于行業大模型，百川智能的搜索增強方案在人力、算力、時間、效果、更新、升級方面都更有優勢。
此前企業要自己學行業模型，需要稀有的大模型人才，并使用大量算力訓練很長時間，現在只需要掛上“外部硬盤”就可以直接調用大模型能力，同時還能保證模型的可靠性及應用穩定性。
如果基座模型升級，企業原有的訓練數據無法在行業大模型上使用，搜索增強的方案采用模型和硬盤分離，可以分別增強。
王小川還提到了百川智能通過長窗口和搜索增強的方式，在192k長上下文窗口的基礎上，將大模型能夠獲取的原本文本規模提升了兩個數量級，達到5000萬tokens，相當于1億字。
企業實際應用中在企業知識問答、客服智能客服、營銷助手、投資研究中，會涉及到大量企業文檔。王小川認為，如果說長窗口能解決部分的問題，搜索增強的方式就可以解決99%企業典型場景的問題。
結語：搜索增強或成大模型應用落地有效路徑
大模型發展到現在，產業界亟需找到一條集諸多優勢于一體的路徑，將大模型的強大能力真正落地到產業中。百川智能基于其在搜索方面的技術經驗與積累，將知識內化在模型內部，然后根據用戶的Prompt生成結果，上下文窗口就充當計算機的內存，存儲當下正在處理的文本，再將互聯網實時信息與企業完整知識庫共同構成“硬盤”。
這種解決方案可以讓企業在應用大模型能力時，受成本、人才、算力等的限制變得更小，同時讓其投身于依托大模型構建更多的場景應用創新，加速大模型在千行百業創造更多的實際價值。
