背景

知識(shí)庫(kù)需求在各行各業(yè)中普遍存在，例如制造業(yè)中歷史故障知識(shí)庫(kù)、游戲社區(qū)平臺(tái)的內(nèi)容知識(shí)庫(kù)、電商的商品推薦知識(shí)庫(kù)和醫(yī)療健康領(lǐng)域的掛號(hào)推薦知識(shí)庫(kù)系統(tǒng)等。為保證推薦系統(tǒng)的實(shí)效性和準(zhǔn)確性，需要大量的數(shù)據(jù)/算法/軟件工程師的人力投入和包括硬件在內(nèi)的物力投入。其次，為了進(jìn)一步提高搜索準(zhǔn)確率，如何引導(dǎo)用戶(hù)搜索描述更加準(zhǔn)確和充分利用用戶(hù)行為優(yōu)化搜索引擎也是常見(jiàn)的用戶(hù)痛點(diǎn)。此外，如何根據(jù)企業(yè)知識(shí)庫(kù)直接給出用戶(hù)提問(wèn)的答案也是眾多企業(yè)中會(huì)遇見(jiàn)的技術(shù)瓶頸。

本文旨在介紹一些企業(yè)知識(shí)庫(kù)的典型實(shí)用場(chǎng)景，以及如何使用智能搜索，結(jié)合大語(yǔ)言模型，針對(duì)企業(yè)知識(shí)庫(kù)提供基于搜索的精準(zhǔn)問(wèn)答。

各行各業(yè)中有很多場(chǎng)景需要基于企業(yè)知識(shí)庫(kù)進(jìn)行搜索和問(wèn)答

1.構(gòu)建裝備維護(hù)知識(shí)庫(kù)和問(wèn)答系統(tǒng)：使用歷史維保記錄和維修手冊(cè)構(gòu)建企業(yè)知識(shí)庫(kù)，維修人員可依靠該知識(shí)庫(kù)，快速地進(jìn)行問(wèn)題定位和維修。

2.構(gòu)建IT/HR系統(tǒng)智能問(wèn)答系統(tǒng)：使用企業(yè)內(nèi)部IT/HR使用手冊(cè)構(gòu)建企業(yè)知識(shí)庫(kù)，企業(yè)內(nèi)部員工可通過(guò)該知識(shí)庫(kù)快速解決在IT/HR上遇到的問(wèn)題。

3.構(gòu)建電商平臺(tái)的搜索和問(wèn)答系統(tǒng)：使用商品信息構(gòu)建商品數(shù)據(jù)庫(kù)，消費(fèi)者可通過(guò)檢索+問(wèn)答的方式快速了解商品的詳細(xì)信息。

4.構(gòu)建游戲社區(qū)自動(dòng)問(wèn)答系統(tǒng)：使用游戲的信息（例如游戲介紹，游戲攻略等）構(gòu)建社區(qū)知識(shí)庫(kù)，可根據(jù)該知識(shí)庫(kù)自動(dòng)回復(fù)社區(qū)成員提供的問(wèn)題。

5.構(gòu)建智能客戶(hù)聊天機(jī)器人系統(tǒng)：通過(guò)與呼叫中心/聊天機(jī)器人服務(wù)結(jié)合，可自動(dòng)基于企業(yè)知識(shí)庫(kù)就客戶(hù)提出的問(wèn)題進(jìn)行聊天回復(fù)。

6.構(gòu)建智能教育輔導(dǎo)系統(tǒng)：使用教材和題庫(kù)構(gòu)建不同教育階段的知識(shí)庫(kù)，模擬和輔助老師/家長(zhǎng)對(duì)孩子進(jìn)行教學(xué)。

為解決上述場(chǎng)景需求，可通過(guò)結(jié)合搜索和大語(yǔ)言模型的方式來(lái)實(shí)現(xiàn)。首先，可以利用企業(yè)自身積累的數(shù)據(jù)資產(chǎn)建立一個(gè)知識(shí)庫(kù)。其次，對(duì)于特定的問(wèn)答任務(wù)，可以使用搜索功能對(duì)知識(shí)庫(kù)進(jìn)行有效的召回，然后將召回的知識(shí)進(jìn)行利用，增強(qiáng)大語(yǔ)言模型。通過(guò)這一方法，可以實(shí)現(xiàn)對(duì)問(wèn)答任務(wù)的解決。

在企業(yè)知識(shí)庫(kù)建立和搜索服務(wù)方面，亞馬遜云科技擁有云端托管式搜索服務(wù)Amazon OpenSearch和基于AI/ML的智能企業(yè)搜索服務(wù)Amazon Kendra。雖然上述服務(wù)能夠提供基本的搜索引擎和框架，解決了用戶(hù)在硬件投入大和管理難的痛點(diǎn)，然而上述服務(wù)并且不能夠滿足基于文檔的進(jìn)行問(wèn)答需求。為了解決用戶(hù)需求和亞馬遜云科技服務(wù)之間的差距，借助亞馬遜云科技的服務(wù)，構(gòu)建了基于智能搜索的大語(yǔ)言模型增強(qiáng)方案。該方案以Amazon OpenSearch/Amazon Kendra為基礎(chǔ)構(gòu)建搜索引擎，結(jié)合托管到Amazon SageMaker上的大語(yǔ)言模型，提供一站式的智能知識(shí)庫(kù)搜索問(wèn)答平臺(tái)。

基于智能搜索的大語(yǔ)言模型增強(qiáng)方案介紹

架構(gòu)圖

該平臺(tái)將包括五大核心內(nèi)容

1. 智能搜索

傳統(tǒng)僅依靠關(guān)鍵詞匹配的分詞搜索的方式在很多場(chǎng)景下可以提供快速有效的查詢(xún)，但是也存在一些固有的局限性。例如匹配一些包括停用詞在內(nèi)的無(wú)關(guān)詞匯，無(wú)法識(shí)別同義詞和缺乏抽象能力。為了解決這些問(wèn)題，本方案中一方面使用意圖識(shí)別模型，對(duì)關(guān)鍵信息進(jìn)行提取，從而可以有效的避免停用詞等無(wú)法詞匯對(duì)搜索造成的干擾。另一方面，引入AI/ML的方法來(lái)輔助實(shí)現(xiàn)語(yǔ)意搜索。具體來(lái)講，使用同一個(gè)向量編碼的模型對(duì)搜索語(yǔ)句和文檔數(shù)據(jù)庫(kù)進(jìn)行語(yǔ)意編碼，在檢索的過(guò)程中，使用knn方法進(jìn)行向量匹配。以下是一個(gè)傳統(tǒng)分詞搜索與語(yǔ)意向量搜索的對(duì)比展示。可以看到，使用向量搜索功能后，可以召回更多自然語(yǔ)意上相近而關(guān)鍵詞無(wú)關(guān)的內(nèi)容，增加召回范圍和提升搜索準(zhǔn)確性。

在本方案中，以Amazon OpenSearch和Amazon Kendra為基礎(chǔ)構(gòu)建搜索引擎。提供分詞搜索，模糊查詢(xún)和AI/ML輔助搜索功能。不在局限于某一種搜索方式，而是將所有搜索方法取長(zhǎng)補(bǔ)短，進(jìn)行有機(jī)的整合。

智能引導(dǎo)

造成搜索不準(zhǔn)確的原因，一方面是由于搜索引擎本身的能力不足，另外一方面的原因是因?yàn)樗阉鞯恼Z(yǔ)句不夠準(zhǔn)確和具體。因此，本方案中提出了一種引導(dǎo)式的搜索機(jī)制來(lái)幫助檢索人員逐步豐富輸入的搜索語(yǔ)句，最終達(dá)到提升搜索準(zhǔn)確性的目的。

以下面制造業(yè)大型設(shè)備維保知識(shí)庫(kù)的搜索流程為例。該知識(shí)庫(kù)存儲(chǔ)歷史維修記錄，包括故障現(xiàn)象，故障原因，維修方案等字段。

當(dāng)用戶(hù)輸入檢索詞“電路”后，除了從知識(shí)庫(kù)中返回與電路相關(guān)的條目之外，還會(huì)給予一些提示詞，例如“門(mén)系統(tǒng)”、“控制系統(tǒng)”等，這些詞代表與“電路”相關(guān)的故障往往伴隨可能出現(xiàn)問(wèn)題的系統(tǒng)，提示用戶(hù)進(jìn)一步豐富當(dāng)前的搜索描述。

當(dāng)用戶(hù)進(jìn)一步輸入“主板”后，會(huì)將“電路”和“主板”進(jìn)行聯(lián)合查詢(xún)，返回相關(guān)的條目，并進(jìn)一步給出新的提示詞。

用戶(hù)可以重復(fù)以上過(guò)程，直到搜索出來(lái)更為精準(zhǔn)的結(jié)果。

提示詞的獲取：根據(jù)實(shí)際情況，可以采用人工打標(biāo)、無(wú)監(jiān)督聚類(lèi)、有監(jiān)督分類(lèi)、大語(yǔ)言模型（LLM）等方法進(jìn)行提取，并提前注入到數(shù)據(jù)庫(kù)中。

智能優(yōu)化

通常情況下，由于知識(shí)庫(kù)的迭代更新，檢索的準(zhǔn)確率可能會(huì)隨時(shí)時(shí)間的推薦逐步降低，一方面是因?yàn)槲覀兺荒鼙ＷC，數(shù)據(jù)庫(kù)和搜索引擎一次性構(gòu)建完成后就達(dá)到很好的效果。另外一方面是因?yàn)閷?duì)于過(guò)時(shí)的知識(shí)沒(méi)有進(jìn)行有效的處理。因此，本方案提出以用戶(hù)行為對(duì)搜索引擎進(jìn)行持續(xù)優(yōu)化。

具體來(lái)講包括兩個(gè)步驟：

用戶(hù)行為收集：將歷史用戶(hù)的行為進(jìn)行收集，例如用戶(hù)對(duì)某個(gè)搜索詞條的打分。

模型訓(xùn)練和部署：通過(guò)用戶(hù)行為，整理得到搜索詞條和知識(shí)庫(kù)之間的相關(guān)度。使用該相關(guān)度訓(xùn)練和部署一個(gè)重排模型，該重排模型可以根據(jù)歷史的用戶(hù)行為，給予用戶(hù)更加偏好的內(nèi)容更高的權(quán)重得分。

值得注意的是，該模型是基于傳統(tǒng)機(jī)器學(xué)習(xí)模型xgboost的，所以所需要的訓(xùn)練數(shù)據(jù)量和推理所需要的資源都是很小的（例如只需要幾十條數(shù)據(jù)和t3.small機(jī)型），因此可以基于不同的用戶(hù)/用戶(hù)群訓(xùn)練不同的重排模型，達(dá)到千人千面，個(gè)性化搜索的目的。

4.智能問(wèn)答

基于私有知識(shí)庫(kù)進(jìn)行問(wèn)答是另外一個(gè)廣泛應(yīng)用的場(chǎng)景，例如智能客戶(hù)聊天機(jī)器人系統(tǒng)，IT/HR系統(tǒng)智能問(wèn)答系統(tǒng)等。

如果僅使用搜索引擎，只能基于問(wèn)題從數(shù)據(jù)庫(kù)中提取與該問(wèn)題相關(guān)的內(nèi)容，而不能直接給出答案。

如果僅使用大語(yǔ)言模型（Large Language Model，LLM），不能基于私有知識(shí)庫(kù)進(jìn)行問(wèn)答。一種可行的方式是將私有知識(shí)庫(kù)和問(wèn)題直接以prompt的形式直接一次性給到LLM，然后讓LLM給出回答。但是受限于LLM Token的限制，無(wú)法一次性輸入過(guò)多的知識(shí)庫(kù)。

因此，在本方案中，將兩者結(jié)合。如下圖所示，當(dāng)用戶(hù)提出一個(gè)問(wèn)題后，首先使用搜索提取與問(wèn)題相關(guān)的知識(shí)，然后再將問(wèn)題和提取的知識(shí)給到LLM進(jìn)行總結(jié)，最后直接給出問(wèn)題答案。

5. 非結(jié)構(gòu)化數(shù)據(jù)注入

可供搜索引擎進(jìn)行檢索的企業(yè)知識(shí)庫(kù)是一種結(jié)構(gòu)化的數(shù)據(jù)，但往往企業(yè)的原始知識(shí)都是以非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲(chǔ)的，來(lái)自多個(gè)渠道，也包含了多種格式，例如Words，PDF，Excel等。

為了能夠幫助企業(yè)快速將這些結(jié)構(gòu)化數(shù)據(jù)利用起來(lái)，本方案提供了非結(jié)構(gòu)化數(shù)據(jù)注入功能，該功能將企業(yè)的知識(shí)文檔進(jìn)行自動(dòng)段落拆分和向量編碼，建立結(jié)構(gòu)化企業(yè)知識(shí)庫(kù)。

模型技術(shù)細(xì)節(jié)

LLM

最近半年，大語(yǔ)言模型（LLM）在自然語(yǔ)言處理領(lǐng)域取得了飛速的發(fā)展。大語(yǔ)言模型通?；赥ransformer架構(gòu)，在大規(guī)模的網(wǎng)絡(luò)文本數(shù)據(jù)上進(jìn)行訓(xùn)練，其核心是使用一個(gè)自我監(jiān)督的目標(biāo)來(lái)預(yù)測(cè)部分句子中的下一個(gè)單詞。亞馬遜云科技已推出大語(yǔ)言模型Titan和大語(yǔ)言模型平臺(tái)Amazon Bedrock，另外還有許多研究機(jī)構(gòu)推出開(kāi)源大語(yǔ)言模型，如斯坦福大學(xué)的Alpaca和清華大學(xué)的ChatGLM等。這些大語(yǔ)言模型都具備強(qiáng)大的文本處理能力，廣泛應(yīng)用在智能問(wèn)答、文本總結(jié)、文本生成等場(chǎng)景。

Embedding

各類(lèi)非結(jié)構(gòu)化數(shù)據(jù)廣泛存在于我們的生活和工作場(chǎng)景，如文本、圖片、視頻等，為了處理這些非結(jié)構(gòu)化數(shù)據(jù)，亞馬遜云科技通常使用Embedding模型提取這些數(shù)據(jù)的特征，并把數(shù)據(jù)特征轉(zhuǎn)化成向量，通過(guò)特征向量對(duì)這些非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和檢索。通用的預(yù)訓(xùn)練語(yǔ)言模型都有把文本進(jìn)行向量化的功能，可以根據(jù)不同的場(chǎng)景和語(yǔ)種，選用合適的預(yù)訓(xùn)練模型作為Embedding模型。

Intent Detection

搜索意圖識(shí)別主要功能是分析用戶(hù)的核心搜索需求，例如在電商場(chǎng)景，用戶(hù)找的電子產(chǎn)品，是電腦類(lèi)的，還是手機(jī)類(lèi)的，是家庭場(chǎng)景用的，還是戶(hù)外場(chǎng)景用的等等，如果意圖識(shí)別不準(zhǔn)，會(huì)有很多不相關(guān)的商品展現(xiàn)給用戶(hù)，導(dǎo)致產(chǎn)生非常差的用戶(hù)體驗(yàn)，因此精準(zhǔn)的意圖識(shí)別非常重要。意圖識(shí)別主要包括類(lèi)目預(yù)測(cè)和實(shí)體識(shí)別模型，類(lèi)目預(yù)測(cè)模型主要采用文本多分類(lèi)模型，根據(jù)平臺(tái)的用戶(hù)行為數(shù)據(jù)，將查詢(xún)文本預(yù)測(cè)屬于各個(gè)類(lèi)目的概率。實(shí)體識(shí)別模型將查詢(xún)文本中的實(shí)體詞識(shí)別出來(lái)，實(shí)體詞是描述商品的維度信息，如品牌、顏色、材質(zhì)等，通過(guò)實(shí)體識(shí)別模型識(shí)別出查詢(xún)文本的實(shí)體詞后，再到搜索引擎進(jìn)行精準(zhǔn)查詢(xún)。

Controlled Text Generation

可控文本生成是在傳統(tǒng)文本生成的基礎(chǔ)上，增加對(duì)生成文本的控制，如指定生成文本的關(guān)鍵詞、格式、風(fēng)格等，從而使生成的文本符合我們的預(yù)期，比如生成與某人相同風(fēng)格的文本，生成有固定內(nèi)容格式的報(bào)告，根據(jù)簡(jiǎn)單的故事線生成完整的小說(shuō)等等?？煽匚谋旧捎袑?duì)預(yù)訓(xùn)練模型finetune、重新訓(xùn)練文本生成模型和重構(gòu)預(yù)訓(xùn)練模型輸出結(jié)果等方式。在大語(yǔ)言模型推出后，目前可以方便的通過(guò)Prompt提示詞，指導(dǎo)大語(yǔ)言模型進(jìn)行可控文本生成，針對(duì)不同的場(chǎng)景和文本生成目標(biāo)，設(shè)計(jì)不同格式和內(nèi)容的提示詞，生成滿足需求的文本。

審核編輯 黃宇