作者：黃楠

向量數(shù)據(jù)庫(kù)可實(shí)現(xiàn) 80% 非結(jié)構(gòu)化數(shù)據(jù)能力的覆蓋。

在保險(xiǎn)行業(yè)這個(gè)海量數(shù)據(jù)的“聚居地”上，數(shù)據(jù)庫(kù)應(yīng)用已久。

近年來(lái)，保司數(shù)據(jù)化轉(zhuǎn)型提速，各類(lèi)文本、音視頻的憑證票證核保及跑批需求不斷增加，許多機(jī)構(gòu)便將數(shù)據(jù)庫(kù)引入至業(yè)務(wù)流程中。

但是，隨著數(shù)據(jù)庫(kù)深入保司業(yè)務(wù)，一個(gè)真實(shí)的情況是：傳統(tǒng)數(shù)據(jù)庫(kù)只能處理機(jī)器容易處理的、如字符串等結(jié)構(gòu)化數(shù)據(jù)，以點(diǎn)查和范圍查找的形式進(jìn)行匹配，但面對(duì)許多長(zhǎng)尾場(chǎng)景下格式繁復(fù)、無(wú)法統(tǒng)一處理的非結(jié)構(gòu)化數(shù)據(jù)時(shí)，則無(wú)能為力，只能繼續(xù)投入大量人力，進(jìn)行手動(dòng)的數(shù)據(jù)錄入和人工檢驗(yàn)。

一位從業(yè)人員告訴 AI 科技評(píng)論，目前在保險(xiǎn)公司內(nèi)人為處理的事情居多，其業(yè)務(wù)內(nèi)容中人為比例可達(dá)到 90% ，AI 只支持 10% 的信息存取、數(shù)據(jù)流轉(zhuǎn)。

受技術(shù)瓶頸的掣肘，沒(méi)有一套通用的方法論得以解決傳統(tǒng)數(shù)據(jù)庫(kù)的存儲(chǔ)、檢索和分析難題。數(shù)據(jù)局限的桎梏不僅發(fā)生在保險(xiǎn)公司里，各行各業(yè)均受其困擾已久。直至大模型+向量數(shù)據(jù)庫(kù)的出現(xiàn)。

數(shù)月來(lái)，大模型風(fēng)口正盛，向量數(shù)據(jù)庫(kù)可以為大模型解決數(shù)據(jù)更新、知識(shí)圖譜構(gòu)建、消除幻覺(jué)等問(wèn)題，使其在短短時(shí)間內(nèi)，一躍成為最受關(guān)注的領(lǐng)域之一。向量數(shù)據(jù)庫(kù)類(lèi)產(chǎn)品數(shù)量激增，當(dāng)中既有創(chuàng)業(yè)公司，大廠(chǎng)更是戰(zhàn)局中主要的競(jìng)爭(zhēng)對(duì)手。

今年 7 月，騰訊云發(fā)布了 AI 原生向量數(shù)據(jù)庫(kù) Tencent Cloud VectorDB，該產(chǎn)品在 11 月 1 日正式全量開(kāi)放公測(cè)，同時(shí)在性能上也實(shí)現(xiàn)了大幅提升。

向量數(shù)據(jù)庫(kù)之于大模型，是實(shí)現(xiàn)降本增效重要的基礎(chǔ)設(shè)施。數(shù)據(jù)顯示，企業(yè)在使用向量數(shù)據(jù)庫(kù)后，可實(shí)現(xiàn) 80% 非結(jié)構(gòu)化數(shù)據(jù)能力的覆蓋。

大模型的角斗場(chǎng)上，一個(gè)行業(yè)共識(shí)是，誰(shuí)能夠更好地利用數(shù)據(jù)，把數(shù)據(jù)沉淀到工程化中里，更快讓數(shù)據(jù)接入到大模型和整個(gè) AI 體系之中，誰(shuí)就有可能走在最前列。而選擇一個(gè)對(duì)的服務(wù)伙伴，至關(guān)重要。

1大模型的“數(shù)據(jù)”局限

眾所周知，數(shù)據(jù)在 MaaS 時(shí)代很重要，市場(chǎng)的火熱映射到具體的企業(yè)行為上，表現(xiàn)為大批量垂直模型的推出、數(shù)據(jù)庫(kù)企業(yè)融資數(shù)量增加、數(shù)據(jù)庫(kù)使用量陡然增長(zhǎng)等。

但在企業(yè)落地的過(guò)程中，大模型所面臨的難題依舊沒(méi)有解決。

經(jīng)過(guò)近半年的觀(guān)察，數(shù)據(jù)局限對(duì)企業(yè)做大模型帶來(lái)的影響，可歸結(jié)為以下三點(diǎn)：

首先是對(duì)數(shù)據(jù)的管理和運(yùn)維。如上所述，隨著文本、圖片、視頻等多模態(tài)的、非結(jié)構(gòu)化數(shù)據(jù)的使用需求增加，許多企業(yè)所產(chǎn)出的非結(jié)構(gòu)化數(shù)據(jù)量級(jí)可高達(dá) 80%，如果選擇以預(yù)訓(xùn)練的方式將數(shù)據(jù)“喂”給模型，與之而來(lái)的則是難以承載的高成本。

身為明星創(chuàng)業(yè)公司的百川智能，在模型訓(xùn)練和調(diào)試時(shí)就曾遇見(jiàn)過(guò)類(lèi)似問(wèn)題。

未使用向量數(shù)據(jù)庫(kù)之前，百川智能一直使用的是開(kāi)源方案，比如以向量索引為內(nèi)核，相當(dāng)于在訓(xùn)練時(shí)給模型準(zhǔn)備一個(gè) library 級(jí)別或算法級(jí)別的知識(shí)庫(kù)，這些知識(shí)庫(kù)使用簡(jiǎn)單，采用分布式系統(tǒng)的方式，具有擴(kuò)展性。但其缺點(diǎn)也很直觀(guān)，隨著數(shù)量增長(zhǎng)到一定規(guī)模時(shí)，這種分布式存儲(chǔ)的方式會(huì)很快遇到瓶頸。

不僅如此，由于市面上缺少成熟的管理工具，數(shù)據(jù)格式該怎么組織、數(shù)據(jù)的更新頻率如何安排、新舊數(shù)據(jù)的更迭等等，百川智能都需要額外交給工程師去做，大大增加了人員成本。

第二點(diǎn)，雖然大模型支持的 token 數(shù)量在持續(xù)增加，具備了“短暫記憶”的能力，但“一本正經(jīng)地胡說(shuō)八道”的問(wèn)題仍無(wú)法解決，當(dāng)中不乏有敏感內(nèi)容的出現(xiàn)，稍不注意，便可能帶來(lái)嚴(yán)重的影響。因此，支撐模型訓(xùn)練的數(shù)據(jù)不僅要數(shù)量多，質(zhì)量也必須足夠高。

比如大模型和教育行業(yè)的結(jié)合，雖然模型可以完成一定的推理和解題，但進(jìn)入實(shí)際應(yīng)用中，好未來(lái)就發(fā)現(xiàn)了，大模型在面對(duì)數(shù)學(xué)問(wèn)題時(shí)，其表現(xiàn)仍然不夠好。要想解決這個(gè)問(wèn)題，必須基于龐大的、高質(zhì)量的數(shù)據(jù)庫(kù)，像教程題庫(kù)、數(shù)學(xué)錯(cuò)題集等，在此之上嘗試啟發(fā)式內(nèi)容生成。

第三，如何保障企業(yè)數(shù)據(jù)的安全性，數(shù)據(jù)在空間和時(shí)間上會(huì)有很大的限制。

一方面，企業(yè)很難把自己具有核心競(jìng)爭(zhēng)力的數(shù)據(jù)放到大模型中去訓(xùn)練；有行業(yè)人士就曾向 AI 科技評(píng)論指出，許多應(yīng)用型公司并不愿意將自身微調(diào)的模型貢獻(xiàn)到公有版本里、與其他人分享，而是傾向于訓(xùn)練自己的大模型，而后進(jìn)行本地私有化部署。這個(gè)過(guò)程中，企業(yè)要解決的主要難點(diǎn)是，如何將私有化業(yè)務(wù)數(shù)據(jù)跟大模型結(jié)合。

銷(xiāo)售易是很早就在智能 CRM 業(yè)務(wù)中引入了大模型，例如提供相似客戶(hù)推薦、做問(wèn)答機(jī)器人等服務(wù)。但客戶(hù)在使用過(guò)程時(shí)卻發(fā)現(xiàn)，大模型所推薦的客戶(hù)類(lèi)型經(jīng)常會(huì)出現(xiàn)匹配度不高的情況，向它提問(wèn)與企業(yè)相關(guān)的的系統(tǒng)功能問(wèn)題時(shí)，大模型也回答不出來(lái)。

另一方面，企業(yè)的業(yè)務(wù)數(shù)據(jù)變化速度快，且實(shí)時(shí)性強(qiáng)，因此私有化部署后的大模型、在數(shù)據(jù)層上也很難做到秒、天級(jí)別的更新。

當(dāng)上述諸多問(wèn)題橫亙于企業(yè)和大模型落地之間，學(xué)術(shù)界和工業(yè)界也提出了兩種解決方案。

一是采用 Fine-tuning 的方式迭代演進(jìn)，讓大模型學(xué)到更多的知識(shí)；二是通過(guò) Vector search 的方法，把最新的私域知識(shí)存在向量數(shù)據(jù)庫(kù)中，需要時(shí)在向量數(shù)據(jù)庫(kù)中做基于語(yǔ)義的向量檢索，這兩種方法都可以為大模型提供更加精準(zhǔn)的答案。

但是從成本方面來(lái)看，行業(yè)人士指出，向量數(shù)據(jù)庫(kù)的成本僅為 Fine-tuning 的千分之一。向量數(shù)據(jù)庫(kù)通過(guò)把數(shù)據(jù)向量化，進(jìn)行存儲(chǔ)和查詢(xún)可以有效解決大模型預(yù)訓(xùn)練成本高、沒(méi)有“長(zhǎng)期記憶”、幻覺(jué)、知識(shí)更新不及時(shí)等問(wèn)題。

因此，憑借其優(yōu)勢(shì)，向量數(shù)據(jù)庫(kù)也被視為了加速大模型落地行業(yè)場(chǎng)景的關(guān)鍵突破口。

2向量數(shù)據(jù)庫(kù)的大模型之路

自大模型火爆以來(lái)，原已沉寂多年的向量數(shù)據(jù)庫(kù)再次受到企業(yè)和資本市場(chǎng)的高度關(guān)注，據(jù)公開(kāi)數(shù)據(jù)顯示，2023 年 4 月以來(lái)，以向量數(shù)據(jù)庫(kù)為代表的 AI 投資領(lǐng)域呈增長(zhǎng)趨勢(shì)，包括 Pinecone、Chroma 和 Weviate 等多家向量數(shù)據(jù)庫(kù)初創(chuàng)企業(yè)均拿到了上億級(jí)美元融資。

為了最大程度上幫助企業(yè)應(yīng)對(duì)數(shù)據(jù)局限問(wèn)題，更好地將大模型能力釋放到行業(yè)和產(chǎn)業(yè)中，騰訊云走在國(guó)內(nèi)云廠(chǎng)商前列，于今年 7 月便正式上線(xiàn)了向量數(shù)據(jù)庫(kù) Tencent Cloud VectorDB，并在 11 月 1 日全量開(kāi)放公測(cè)。

這也體現(xiàn)了騰訊云在大模型時(shí)代下的視角：大模型技術(shù)的創(chuàng)新只是第一步，如向量數(shù)據(jù)庫(kù)這類(lèi)數(shù)據(jù)存儲(chǔ)、檢索、分析等基礎(chǔ)設(shè)施的搭建也同等重要，騰訊不僅提供直接的大模型服務(wù)，更重要的是向企業(yè)遞“鏟子”、提供有效趁手的平臺(tái)工具。

市面上不缺乏好用的向量數(shù)據(jù)庫(kù)，那么，騰訊云相比于其他廠(chǎng)商的產(chǎn)品有什么不一樣的地方呢？

首先在架構(gòu)上，騰訊云就采用了 AI 原生的開(kāi)發(fā)架構(gòu)，從接入層、計(jì)算層、存儲(chǔ)層提供給全面 AI 化的解決方案，形成一套完整的端到端、一站式服務(wù)技術(shù)棧，讓不同階段、不同需求的用戶(hù)，都能在騰訊云向量數(shù)據(jù)庫(kù)里找到對(duì)應(yīng)可用的 AI 能力。

騰訊云全面 AI 化解決方案

比如在接入層上，騰訊云向量數(shù)據(jù)庫(kù)支持自然語(yǔ)言文本的數(shù)據(jù)，采用“標(biāo)量+向量”的查詢(xún)方式，可支持全內(nèi)存索引；計(jì)算層，AI 原生的開(kāi)發(fā)范式能實(shí)現(xiàn)全量數(shù)據(jù) AI 計(jì)算，一站解決企業(yè)搭建私域知識(shí)庫(kù)時(shí)數(shù)據(jù)切分等難題。

這些能力不僅可以讓交互更自然，同時(shí)在計(jì)算結(jié)果、效率、成本等方面，也能得到進(jìn)一步的優(yōu)化。

在百川智能的工程師們看來(lái)，向量數(shù)據(jù)庫(kù)帶來(lái)最直觀(guān)的改變是，數(shù)據(jù)分片、導(dǎo)入導(dǎo)出等工作效率得到了極大的提升。面對(duì)每天約 2 億的數(shù)據(jù)量，以往使用的單線(xiàn)程序處理速度有限，但加入了向量數(shù)據(jù)庫(kù)后，加上百川智能所使用的RAG 框架，可以有效解決私有數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)，同時(shí)在數(shù)據(jù)齊備的情況下，還能消除部分由數(shù)據(jù)帶來(lái)的幻覺(jué)問(wèn)題。

數(shù)據(jù)顯示，將騰訊云向量數(shù)據(jù)庫(kù)用于大模型預(yù)訓(xùn)練數(shù)據(jù)的分類(lèi)、去重和清洗，相比傳統(tǒng)方式可以實(shí)現(xiàn) 10 倍效率的提升，如果將向量數(shù)據(jù)庫(kù)作為外部知識(shí)庫(kù)用于模型推理，則可以將成本降低 2 - 4 個(gè)數(shù)量級(jí)。

以前企業(yè)將現(xiàn)有數(shù)據(jù)接入一個(gè)大模型需要花 1 個(gè)月左右時(shí)間，使用騰訊云向量數(shù)據(jù)庫(kù)后，最短 3 天時(shí)間即可完成，極大降低了企業(yè)的接入成本。

第二是集成了 Embedding 功能，企業(yè)用戶(hù)無(wú)需關(guān)注向量生成過(guò)程，使用起來(lái)更簡(jiǎn)單。

騰訊云向量數(shù)據(jù)庫(kù) AI 套件

與騰訊云合作以前，好未來(lái)曾使用過(guò)一些小型的基于內(nèi)存的向量數(shù)據(jù)庫(kù)，雖然也具備了語(yǔ)義結(jié)合的能力，但無(wú)論是產(chǎn)品的性能還是維護(hù)等方面，使用效果不佳。

而在騰訊云向量數(shù)據(jù)庫(kù)上，通過(guò)語(yǔ)音召回加語(yǔ)義 Embedding 功能，這種采用語(yǔ)義結(jié)合進(jìn)行檢索的方式，讓模型能力得到了提升，召回內(nèi)容更多、內(nèi)容更精準(zhǔn)、召回速度更快等等，從而提供更好的用戶(hù)體驗(yàn)。

例如同樣是搜索題庫(kù)中的“第一單元”，文本召回必須準(zhǔn)確地提供“第一單元”這一提示詞，但借助向量數(shù)據(jù)庫(kù)的相似性檢索，語(yǔ)義檢索就可以將“Unit1”等近似語(yǔ)義的內(nèi)容也進(jìn)行召回。

第三，自研分布式向量數(shù)據(jù)庫(kù)核心引擎，服務(wù)更穩(wěn)定可靠、高可用。

AI 科技評(píng)論了解到，騰訊云向量數(shù)據(jù)庫(kù)所用的核心引擎，是其 2019 年于內(nèi)部上線(xiàn)使用的 Olama，經(jīng)過(guò) 4 年的探索和迭代，Olama 實(shí)現(xiàn)了大規(guī)模升級(jí)，包括集成了騰訊在內(nèi)的業(yè)界優(yōu)秀的向量算法、降低 Olama 成本、提升穩(wěn)定性等等，從而更好地適配大語(yǔ)言模型應(yīng)用。

截至今年 7 月份，Olama 已覆蓋騰訊 30 多個(gè)業(yè)務(wù)、100 多個(gè)場(chǎng)景，日均調(diào)用量超過(guò) 1200 億，調(diào)用成功率為 100%，搜索成功率為 99.995%。

可以看到，面對(duì)企業(yè)在大模型落地中的普遍難題，騰訊云向量數(shù)據(jù)庫(kù)力圖在每個(gè)環(huán)節(jié)提供便捷、有效的解決方案，突破數(shù)據(jù)的局限，加速大模型+向量數(shù)據(jù)庫(kù)的使用，以解決企業(yè)實(shí)實(shí)在在的痛點(diǎn)和難題。

3應(yīng)用是風(fēng)口

受限于研發(fā)成本和開(kāi)發(fā)難度，過(guò)去十年，全球僅有 1% 開(kāi)發(fā)者專(zhuān)注于 AI 領(lǐng)域的研發(fā)工作。而到了今天，以大模型為能力基座，一個(gè) AI 應(yīng)用開(kāi)發(fā)的難度縮短至只需兩三個(gè)工程師、一個(gè)周末時(shí)間變成完成。

其中，向量數(shù)據(jù)庫(kù)也從以搜索、廣告、推薦為主要服務(wù)領(lǐng)域，隨著 AI 的大規(guī)模發(fā)展，開(kāi)始深入千行百業(yè)中去，與 C 端用戶(hù)鏈接也更加緊密。

舉一個(gè)銷(xiāo)售易與騰訊云的合作案例。

作為一家企業(yè)級(jí) CRM 服務(wù)商，每天有數(shù)萬(wàn)次用戶(hù)問(wèn)答在智能客戶(hù)場(chǎng)景中發(fā)生。在以前，傳統(tǒng)的 NLP 客服機(jī)器人智能做一問(wèn)一答，這種基于分詞語(yǔ)法關(guān)鍵字的檢索方式，容易出現(xiàn)搜索答案不精準(zhǔn)的情況，用戶(hù)使用感不佳，慢慢地也失去了提問(wèn)的積極性。

比如客戶(hù)希望在業(yè)務(wù)分析中檢索調(diào)用出多個(gè)數(shù)據(jù)報(bào)表，想要在成千上萬(wàn)個(gè)報(bào)表中找到指定數(shù)據(jù)，對(duì)模型的信息抽取能力有很高的需求，直接關(guān)系到業(yè)務(wù)的分析效率。

但在同騰訊云合作后，銷(xiāo)售易可以先將報(bào)表以 Embedding 的形式存入自有向量數(shù)據(jù)庫(kù)中，當(dāng)用戶(hù)端發(fā)生自然語(yǔ)言問(wèn)詢(xún)時(shí)，這個(gè)客服機(jī)器人就可以智能化分析問(wèn)詢(xún)者的意圖，并在向量數(shù)據(jù)庫(kù)內(nèi)去檢索相關(guān)的知識(shí)文檔，從而得出一個(gè)更接近于人的思考方式的回答。

這樣的客服機(jī)器人不僅可以支持多輪對(duì)話(huà)，更關(guān)鍵的是，它還支持了檢索模糊的相關(guān)性，不需要維護(hù)大量同義詞、詞典或是相似的問(wèn)法，類(lèi)似相關(guān)性的語(yǔ)言可以交給大模型+向量數(shù)據(jù)庫(kù)來(lái)解決。

而在潛在客戶(hù)推薦的場(chǎng)景中，騰訊云向量數(shù)據(jù)庫(kù)帶來(lái)的影響也十分明顯。

過(guò)去，銷(xiāo)售易主要是依據(jù)客戶(hù)的特征字段，在結(jié)構(gòu)化信息里檢索有相關(guān)特征的企業(yè)信息，這種檢索對(duì)于內(nèi)部的銷(xiāo)售人員要求很高，必須準(zhǔn)確地檢索近上百個(gè)字段，如企業(yè)介紹等描述性?xún)?nèi)容很難被檢測(cè)，久而久之，員工經(jīng)常會(huì)出現(xiàn)關(guān)鍵字匹配度不高等問(wèn)題。

而使用了向量數(shù)據(jù)庫(kù)后，基于相關(guān)性的特征來(lái)檢索是從文本進(jìn)行描述，當(dāng)銷(xiāo)售人員想要檢索某個(gè)行業(yè)、某種產(chǎn)品或是某種業(yè)務(wù)需求的客戶(hù)時(shí)，可以借助文本進(jìn)行自然語(yǔ)言模糊的相關(guān)性檢索，使用簡(jiǎn)單，檢索的結(jié)果也更真實(shí)、準(zhǔn)確，智能化效果明顯，大幅提升了員工從事客戶(hù)推薦業(yè)務(wù)的難度。

騰訊云超級(jí)底座

可以看到，向量數(shù)據(jù)庫(kù)之于大模型應(yīng)用落地、之于 AI 技術(shù)發(fā)展的意義已經(jīng)逐漸顯現(xiàn)。

騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理羅云就曾指出，數(shù)據(jù)、向量數(shù)據(jù)庫(kù)、大模型三者怎么能更好地服務(wù)全行業(yè)是首要問(wèn)題，“只有向量數(shù)據(jù)庫(kù)變得更 AI 化，數(shù)據(jù)、向量數(shù)據(jù)庫(kù)、大模型三者才能形成一個(gè)飛輪效應(yīng)，彼此之間相互拉動(dòng)，相互促進(jìn)，這是我們對(duì)向量數(shù)據(jù)庫(kù)未來(lái)發(fā)展的判斷?！?/p>

這也是騰訊云在當(dāng)下推出向量數(shù)據(jù)庫(kù) Tencent Cloud VectorDB 的原因所在。

數(shù)據(jù)顯示，自 7 月份正式發(fā)布以來(lái)，騰訊云向量數(shù)據(jù)庫(kù)的日請(qǐng)求量達(dá) 1600 億次，服務(wù)騰訊集團(tuán)內(nèi)部 40 多個(gè)業(yè)務(wù)，外部客戶(hù)數(shù)更多達(dá)數(shù)百家，其中就包括了上述提到的百川智能、好未來(lái)、銷(xiāo)售易，幫助教育、SaaS、工具、游戲等多行業(yè)客戶(hù)快速進(jìn)行 AI 方向的探索。

大模型進(jìn)一步推動(dòng)了對(duì)向量數(shù)據(jù)庫(kù)的需求。業(yè)界共識(shí)是，所有產(chǎn)品應(yīng)用都值得用 AI 重做一次，在這個(gè)背景下，企業(yè)將會(huì)越來(lái)越重視如何將其跟 AI、大模型的能力結(jié)合起來(lái)。而騰訊云向量數(shù)據(jù)庫(kù)在提出之時(shí)，就已經(jīng)看到了企業(yè)在應(yīng)用落地中的痛點(diǎn)，用向量數(shù)據(jù)庫(kù)在技術(shù)“大腦”中構(gòu)建起一個(gè)健康、且旺盛的“海馬體”，為企業(yè)邁進(jìn)大模型時(shí)代提供堅(jiān)實(shí)的基座。

這次 Techo Day 技術(shù)開(kāi)放日將資料和課件都整合成了一份《騰訊云工具指南》，這份資料技術(shù)含量很高，可以幫助學(xué)習(xí)了解向量數(shù)據(jù)庫(kù)的技術(shù)優(yōu)勢(shì)和價(jià)值應(yīng)用。

編輯：黃飛

?