大型語(yǔ)言模型（LLM）將向量數(shù)據(jù)庫(kù)從晦澀難懂的搜索技術(shù)，轉(zhuǎn)變?yōu)锳I成功的必備產(chǎn)品。在ChatGPT之前，只有少數(shù)“原生”的向量數(shù)據(jù)庫(kù)，如Pinecone、Milvus、Zilliz等。

由于大模型中檢索增強(qiáng)生成（RAG）依賴于檢索最相關(guān)的數(shù)據(jù)，因此向量索引成為數(shù)據(jù)庫(kù)技術(shù)的核心焦點(diǎn)。主流數(shù)據(jù)庫(kù)開始支持向量索引。對(duì)于多模態(tài)的NoSQL和關(guān)系數(shù)據(jù)庫(kù)，添加向量數(shù)據(jù)類型是輕而易舉的事。幾乎在一夜之間，許多現(xiàn)有的數(shù)據(jù)庫(kù)供應(yīng)商Oracle、Elastic、DataStax、Couchbase、MongoDB、Teradata、AWS等能夠存儲(chǔ)、索引和處理向量數(shù)據(jù)了。

無(wú)疑向量數(shù)據(jù)庫(kù)市場(chǎng)的競(jìng)爭(zhēng)日益加劇。當(dāng)遍地都是向量數(shù)據(jù)庫(kù)時(shí)，在企業(yè)為AI大模型選擇向量數(shù)據(jù)庫(kù)時(shí)，卻面臨很多棘手的問題，如性能不能滿足要求，吞吐量太小，延遲太大；沒缺少Serverless（無(wú)服務(wù)器）版本，向量數(shù)據(jù)庫(kù)的配置和管理太難等。

在向量數(shù)據(jù)庫(kù)發(fā)展上，目前很多企業(yè)有不少創(chuàng)新舉措，給市場(chǎng)帶了別具一格的功能和超一流的性能。

向量數(shù)據(jù)庫(kù)也有了“推理”能力

使用過AI大模型的用戶對(duì)其推理功能應(yīng)該不陌生。推理就是指模型能夠根據(jù)輸入的信息，運(yùn)用已有的知識(shí)和邏輯，進(jìn)行分析、推斷、預(yù)測(cè)和決策等思維活動(dòng)，從而生成有意義的輸出結(jié)果，就如同人類通過推理來解決問題和得出結(jié)論一樣。

而云原生向量數(shù)據(jù)庫(kù)企業(yè)Pinecone在則2024年底，將推理功能集成到其向量數(shù)據(jù)庫(kù)中，引起了行業(yè)的廣泛關(guān)注。

構(gòu)建AI應(yīng)用通常涉及使用多種工具和模型進(jìn)行推理、檢索和數(shù)據(jù)庫(kù)管理。為了幫助企業(yè)釋放非結(jié)構(gòu)化數(shù)據(jù)的潛在價(jià)值，Pinecone擴(kuò)展了其知識(shí)平臺(tái)Pinecone Knowledge Platform，通過將領(lǐng)先的稀疏嵌入和重新排序模型等集成到其安全、完全托管的平臺(tái)中，以簡(jiǎn)化推理過程，所有這些都可以通過新的數(shù)據(jù)庫(kù)終端節(jié)點(diǎn)訪問。

Pinecone集成推理圖

Pinecone新的集成推理功能與數(shù)據(jù)庫(kù)完全托管在一起，不需要AI或領(lǐng)域?qū)I(yè)知識(shí)，可以更輕松地在同一個(gè)Pinecone環(huán)境中獲得高質(zhì)量的結(jié)果。

在工作流程中使用重新排序，提高了準(zhǔn)確性，減少token浪費(fèi)，以降低成本。Pinecone引入了用于搜索結(jié)果重新排序的模型，如Cohere Rerank 3.5，以及Pinecone的專有模型pinecone-rerank-v0，結(jié)合了稀疏向量和密集向量，在將它們從最相關(guān)到最不相關(guān)重新排序之前，使用每個(gè)查詢文檔計(jì)算相關(guān)性分?jǐn)?shù)，可確保僅將最相關(guān)的文檔作為上下文傳遞給LLM。

測(cè)試結(jié)果顯示，新的重新排名模型pinecone-rerank-v0將搜索準(zhǔn)確率提高了60%，與BEIR（評(píng)估信息檢索模型零樣本學(xué)習(xí)能力的基準(zhǔn)）基準(zhǔn)測(cè)試中的行業(yè)領(lǐng)先模型相比，平均提高了9%。

而Cohere的重新排名模型cohere-rerank-v3.5在Pinecone的基礎(chǔ)設(shè)施上完全托管，平衡了各種企業(yè)搜索應(yīng)用程序的性能和延遲。平臺(tái)集成的一種流行的開源多語(yǔ)言重新排名模型bge-reranker-v2-m3，可以用于平衡延遲和性能。

雖然集成推理可以幫助加速用戶的AI開發(fā)，但Pinecone還支持來自任何嵌入模型或模型提供商的高達(dá)20k維的密集嵌入。

密集嵌入和檢索在理解非結(jié)構(gòu)化數(shù)據(jù)的含義和語(yǔ)義方面表現(xiàn)出色，使用戶能夠按照自己的思維方式進(jìn)行搜索（如語(yǔ)義搜索）。但是，當(dāng)查詢搜索某些實(shí)體或?qū)Ｓ忻~（如關(guān)鍵字或詞法搜索）時(shí)，單獨(dú)的密集檢索可能會(huì)導(dǎo)致次優(yōu)結(jié)果。通過支持稀疏和密集嵌入和檢索，用戶可以獲得高召回率和相關(guān)性的優(yōu)勢(shì)。

Pinecone開發(fā)了專有的稀疏向量嵌入模型pinecone-sparse-english-v0，用于處理詞匯搜索和稀疏向量索引，這種優(yōu)化使得在處理大規(guī)模稀疏數(shù)據(jù)時(shí)，能夠更高效地進(jìn)行檢索，提升了整體性能。

使用稀疏嵌入模型pinecone-sparse-english-v0提高了基于關(guān)鍵字的查詢的性能，與TREC（國(guó)際性評(píng)測(cè)活動(dòng)）上的BM25（一種用于信息檢索和文本挖掘的算法）相比，NDCG@10（評(píng)估推薦系統(tǒng)或搜索算法的性能，特別是在排序質(zhì)量方面的指標(biāo)）提高了44%，平均提高了23%。

多語(yǔ)言密集嵌入模型（multilingual-e5-large）則平衡了延遲和質(zhì)量，適用于雜亂的數(shù)據(jù)，并且適用于預(yù)期返回中等長(zhǎng)度文本段落的短查詢。

另外，Pinecone采用了級(jí)聯(lián)搜索方法，結(jié)合密集和稀疏向量搜索的結(jié)果，并通過重新排序進(jìn)行優(yōu)化。這種方法不僅提高了搜索結(jié)果的準(zhǔn)確性，還使得關(guān)鍵字搜索和語(yǔ)義搜索能夠更好地協(xié)同工作。

另外在引入推理功能的同時(shí)，Pinecone還加強(qiáng)了安全功能，包括基于角色的訪問控制(RBAC)、客戶管理的加密密鑰、審計(jì)日志以及AWS PrivateLink私有端點(diǎn)的普遍可用性，確保了數(shù)據(jù)的安全性和隱私保護(hù)。

在向量數(shù)據(jù)庫(kù)中集成推理功能，至少有以下好處：

簡(jiǎn)化了集成。Pinecone集成推理功能提供了一站式的解決方案，從數(shù)據(jù)存儲(chǔ)到推理都可以在一個(gè)平臺(tái)上完成。例如，一個(gè)小型的機(jī)器學(xué)習(xí)團(tuán)隊(duì)在開發(fā)一個(gè)文本分類應(yīng)用時(shí)，只需要專注于Pinecone平臺(tái)上的數(shù)據(jù)準(zhǔn)備和推理算法的調(diào)整，而不用花費(fèi)精力在系統(tǒng)集成上。

提高了效率。Pinecone集成推理功能后，可以在向量數(shù)據(jù)庫(kù)環(huán)境中直接進(jìn)行推理操作。例如，在自然語(yǔ)言處理場(chǎng)景中，當(dāng)用戶輸入一個(gè)查詢語(yǔ)句時(shí)，它能夠快速地基于存儲(chǔ)的向量數(shù)據(jù)進(jìn)行推理，實(shí)時(shí)返回最相關(guān)的答案，而不需要將數(shù)據(jù)傳輸?shù)酵獠康耐评硪?，從而減少了數(shù)據(jù)傳輸和處理的延遲，提高了推理的響應(yīng)速度。

減少系統(tǒng)開銷，消除與跨網(wǎng)絡(luò)通信相關(guān)的安全風(fēng)險(xiǎn)。傳統(tǒng)的方式可能需要在多個(gè)不同的系統(tǒng)之間進(jìn)行數(shù)據(jù)交互和協(xié)調(diào)，以完成存儲(chǔ)和推理的任務(wù)。集成推理功能后，減少了系統(tǒng)之間的協(xié)調(diào)成本，將存儲(chǔ)和推理緊密結(jié)合在一個(gè)平臺(tái)上，節(jié)省了資源開銷，使整個(gè)流程更加高效。

Serverless，延伸到了向量數(shù)據(jù)庫(kù)

傳統(tǒng)上，企業(yè)在自主管理的服務(wù)器上部署數(shù)據(jù)庫(kù)系統(tǒng)，并且必須確保服務(wù)器配置在數(shù)據(jù)庫(kù)需求增加或者減少時(shí)得到更新和良好維護(hù)。

相比之下，無(wú)服務(wù)器數(shù)據(jù)庫(kù)（Serverless數(shù)據(jù)庫(kù)）在完全托管的云基礎(chǔ)架構(gòu)上運(yùn)行，其底層數(shù)據(jù)庫(kù)服務(wù)器和IT基礎(chǔ)設(shè)施由第三方云提供商進(jìn)行管理，并保證隨著工作負(fù)載的變化而彈性擴(kuò)展?？蛻艨梢垣@得無(wú)服務(wù)器體驗(yàn)，包括節(jié)省成本、高彈性、零基礎(chǔ)設(shè)施管理、增強(qiáng)的安全性、運(yùn)營(yíng)敏捷性和提高運(yùn)營(yíng)效率等。

常用的無(wú)服務(wù)器數(shù)據(jù)庫(kù)可以是關(guān)系數(shù)據(jù)庫(kù)或NoSQL數(shù)據(jù)庫(kù)。這些數(shù)據(jù)庫(kù)提供固有的可用性、容錯(cuò)能力和可靠性，用戶只需為實(shí)際的數(shù)據(jù)庫(kù)使用付費(fèi)。服務(wù)等級(jí)協(xié)議（SLA）管理性能能力，然用戶放心地專注于數(shù)據(jù)收集和分析，而不是數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施。

2024向量數(shù)據(jù)庫(kù)將無(wú)服務(wù)器化作為一個(gè)主流發(fā)展方面，出現(xiàn)不少新產(chǎn)品。Databricks Vector Search就是一個(gè)無(wú)縫集成在Data Intelligence Platform中的無(wú)服務(wù)器向量數(shù)據(jù)庫(kù)。

與其他數(shù)據(jù)庫(kù)不同，Databricks Vector Search支持從源到索引的自動(dòng)數(shù)據(jù)同步，從而消除了復(fù)雜且昂貴的維護(hù)，同時(shí)利用了組織已經(jīng)構(gòu)建的相同安全和數(shù)據(jù)治理工具。憑借其無(wú)服務(wù)器設(shè)計(jì)，Databricks Vector Search可以輕松擴(kuò)展，以支持每秒數(shù)十億次嵌入和數(shù)千次實(shí)時(shí)查詢。在多達(dá)100萬(wàn)個(gè)OpenAI嵌入數(shù)據(jù)集上，它的性能比其他領(lǐng)先的向量數(shù)據(jù)庫(kù)快5倍。

Databricks Vector Search通過在引入、修改或刪除新數(shù)據(jù)時(shí)自動(dòng)更新相應(yīng)的向量索引來實(shí)時(shí)同步源數(shù)據(jù)。在后臺(tái)，Databricks會(huì)執(zhí)行嵌入向量的生成和管理，并自動(dòng)管理故障、處理重試、優(yōu)化吞吐量，并執(zhí)行自動(dòng)批量大小調(diào)整和自動(dòng)縮放，而無(wú)需任何干預(yù)。

云原生數(shù)據(jù)庫(kù)的代表在云中擴(kuò)展的兩個(gè)方向：一是提供無(wú)服務(wù)器向量數(shù)據(jù)庫(kù)；另一個(gè)是與盡可能多的云服務(wù)商合作，例如Pinecone先后的在AWS、Google Cloud和 Microsoft Azure上將其向量數(shù)據(jù)庫(kù)作為無(wú)服務(wù)器產(chǎn)品提供。

作為Pinecone Serverless托管云服務(wù)商，AWS數(shù)據(jù)顯示自推以來，Pinecone Serverless已贏得了包括Notion、CS Disco、Gong和其他100多家公司。AWS認(rèn)為，多租戶計(jì)算層按需為數(shù)千名用戶提供強(qiáng)大而高效的檢索，實(shí)現(xiàn)了開發(fā)人員無(wú)需預(yù)置、管理甚至考慮基礎(chǔ)設(shè)施的無(wú)服務(wù)器體驗(yàn)，以及基于使用量的計(jì)費(fèi)，使公司只需為他們使用的內(nèi)容付費(fèi)。

Pinecone無(wú)服務(wù)器架構(gòu)的主要優(yōu)勢(shì)包括：

提高彈性。Serverless架構(gòu)簡(jiǎn)化了水平擴(kuò)展，因?yàn)橛脩魺o(wú)需進(jìn)行容量規(guī)劃即可彈性擴(kuò)展以滿足需求。

節(jié)省成本。通過采用Pinecone無(wú)服務(wù)器，與傳統(tǒng)的向量數(shù)據(jù)庫(kù)架構(gòu)相比，像Gong這樣的客戶將成本降低了10倍或更多。

提升運(yùn)營(yíng)效率。Pinecone無(wú)服務(wù)器消除了預(yù)置、部署、更新、監(jiān)控或以其他方式管理服務(wù)器的需要，因?yàn)檫@些任務(wù)由Pinecone處理。

為了使Pinecone成為開發(fā)人員最愛的易用性，Pinecone Serverless正在推出與GenAI技術(shù)堆棧中其他一流解決方案的集成，包括Anthropic、Anyscale、Cohere、Confluent、Langchain、Pulumi、Vercel等。

Hybrid Search為向量數(shù)據(jù)庫(kù)設(shè)定了新方向

AI模型的快速發(fā)展，不管是Meta的Llama-3、OpenAI的GPT-4、Google的Gemini和Databricks的DBRX，還是百度的文心一言、阿里巴巴的通義千問、騰訊混元、華為盤古、科大訊飛的星火認(rèn)知等，正在引領(lǐng)智能的新時(shí)代。有遠(yuǎn)見的企業(yè)正在投資為AI應(yīng)用構(gòu)建的強(qiáng)大檢索系統(tǒng)。

混合搜索涉及將向量搜索和文本搜索以及元數(shù)據(jù)篩選合并到單個(gè)查詢中。通過混合搜索為下一代搜索和AI應(yīng)用程序鋪平了道路。用戶現(xiàn)在可以利用混合搜索來組合向量、文本、地理空間和結(jié)構(gòu)化搜索，以檢索和排名最相關(guān)的結(jié)果。

搜索和分析數(shù)據(jù)庫(kù)供應(yīng)商Rockset在2024年年中推出其Rockset Hybrid Search版本，被認(rèn)為是為向量數(shù)據(jù)庫(kù)設(shè)定了新方向。通過此版本，Rockset為下一代搜索和AI應(yīng)用鋪平了道路。用戶現(xiàn)在可以利用混合搜索來組合向量、文本、地理空間和結(jié)構(gòu)化搜索，以檢索和排名最相關(guān)的結(jié)果。

構(gòu)建搜索和AI應(yīng)用的工程師需要不斷整合新的信號(hào)、模型、索引和排名算法，以提高相關(guān)性。Rockset使用戶能夠在不影響實(shí)時(shí)搜索應(yīng)用的情況下重新索引向量。用戶可以靈活地為任何類型的數(shù)據(jù)編制索引，并使用SQL應(yīng)用排名和評(píng)分。這種靈活性使客戶能夠更快地構(gòu)建和迭代搜索和AI應(yīng)用，以推動(dòng)最相關(guān)的體驗(yàn)。

Rockset混合搜索新功能的好處有：包括BM25和倒數(shù)秩融合（RRF）在內(nèi)的排名算法，用于構(gòu)建混合搜索應(yīng)用程序；用于檢索增強(qiáng)生成（RAG）應(yīng)用的多租戶設(shè)計(jì)；新的搜索設(shè)計(jì)，使用壓縮位圖和覆蓋索引，以實(shí)現(xiàn)更快的大規(guī)模性能。

數(shù)據(jù)庫(kù)企業(yè)SingleStore隨后在Snowflake Data Cloud上將混合向量和全文搜索功能作為Snowflake原生應(yīng)用推出。通過利用Snowflake Data Cloud，SingleStore與Snowflake一起幫助組織存儲(chǔ)和查詢向量數(shù)據(jù)以及其他類型的數(shù)據(jù)，從而簡(jiǎn)化復(fù)雜工作?？蛻魧⒛軌蚴褂肦AG在存儲(chǔ)在SingleStore中的向量嵌入上構(gòu)建企業(yè)生成式AI應(yīng)用程序。

傳統(tǒng)上，實(shí)施混合搜索的組織被迫維護(hù)兩個(gè)獨(dú)立的系統(tǒng)——一個(gè)用于語(yǔ)義搜索，另一個(gè)用于關(guān)鍵字搜索——導(dǎo)致重復(fù)的基礎(chǔ)設(shè)施、復(fù)雜的集成和增加的運(yùn)營(yíng)成本。開源向量數(shù)據(jù)庫(kù)Milvus在2024年年底在其2.5版本中，通過一種創(chuàng)新的方法 ——Sparse-BM25技術(shù)，將這兩種功能統(tǒng)一在一個(gè)高性能平臺(tái)中，處理查詢的速度比傳統(tǒng)解決方案快30倍，標(biāo)志著各種規(guī)模的組織都可以使用復(fù)雜的AI驅(qū)動(dòng)的搜索的重大進(jìn)步。

與開源向量數(shù)據(jù)庫(kù)不同，星環(huán)科技在其自主研發(fā)的企業(yè)級(jí)向量數(shù)據(jù)庫(kù)Transwarp Scope，支持混合搜索，能夠高效處理多種數(shù)據(jù)類型，提供強(qiáng)大的數(shù)據(jù)檢索和分析能力。

未來所有搜索都將是混合搜索。相似性搜索在域感知方面存在局限性，需要將向量搜索結(jié)果與文本搜索、地理空間搜索和結(jié)構(gòu)化搜索相結(jié)合，以提供必要的上下文。對(duì)混合搜索的支持需要專為快速檢索而設(shè)計(jì)的一流索引技術(shù)，這是不同企業(yè)技術(shù)創(chuàng)新的核心點(diǎn)。

其實(shí)，混合查詢是一種在搜索過程中同時(shí)結(jié)合語(yǔ)義搜索（Semantic search）和關(guān)鍵詞搜索（keyword search）的方法。在這種查詢中，搜索引擎會(huì)同時(shí)考慮文本的語(yǔ)義信息以及關(guān)鍵詞的匹配程度，以提供更相關(guān)的搜索結(jié)果。

具體來說，在混合查詢中，語(yǔ)義搜索通常使用文本的語(yǔ)義信息來計(jì)算相似度，例如使用文本嵌入向量（Dense embeddings）來表示文本的語(yǔ)義信息。這種方法可以捕獲文本之間的語(yǔ)義相似度，即使查詢文本與文檔之間沒有直接的關(guān)鍵詞匹配，也能夠找到相關(guān)的結(jié)果。但是，對(duì)于領(lǐng)域外的查詢（Out-of-domain queries），語(yǔ)義搜索的結(jié)果可能不夠準(zhǔn)確或不夠相關(guān)。

為了提高搜索結(jié)果的相關(guān)性，混合查詢還結(jié)合了關(guān)鍵詞搜索的結(jié)果。關(guān)鍵詞搜索通常根據(jù)關(guān)鍵詞的匹配程度來進(jìn)行檢索，如使用詞頻-逆文檔頻率（TF-IDF）等方法。這種方法可以捕獲文本中關(guān)鍵詞的匹配程度，即使文本之間的語(yǔ)義相似度較低，但如果它們包含相同的關(guān)鍵詞，則可能被認(rèn)為是相關(guān)的。

通過在查詢過程中同時(shí)使用語(yǔ)義搜索和關(guān)鍵詞搜索，混合查詢可以更全面地考慮文本的相關(guān)性，從而提供更相關(guān)的搜索結(jié)果。這種方法特別適用于處理領(lǐng)域外查詢或文本之間語(yǔ)義相似度較低的情況，可以改善搜索結(jié)果的質(zhì)量和相關(guān)性。

向量數(shù)據(jù)庫(kù)從開發(fā)轉(zhuǎn)移到生產(chǎn)，性能必須跟得上

隨著人工智能技術(shù)的快速發(fā)展，向量數(shù)據(jù)庫(kù)在處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)方面的重要性日益凸顯。市場(chǎng)對(duì)向量數(shù)據(jù)庫(kù)的性能要求不斷提高，主要表現(xiàn)在延遲、吞吐量、向量嵌入數(shù)量等關(guān)鍵指標(biāo)上。

對(duì)于向量數(shù)據(jù)庫(kù)，延遲衡量的是從發(fā)起查詢到收到查詢結(jié)果所需的時(shí)間。低延遲意味著系統(tǒng)能夠更快地返回查詢結(jié)果，從而提高用戶體驗(yàn)。目前在關(guān)鍵性應(yīng)用如客戶推薦系統(tǒng)中，向量數(shù)據(jù)庫(kù)很多以亞秒級(jí)延遲運(yùn)行查詢，運(yùn)行時(shí)間從1秒到500毫秒不等。

吞吐量則衡量數(shù)據(jù)庫(kù)在單位時(shí)間內(nèi)處理查詢的能力，高吞吐量意味著系統(tǒng)能夠在相同時(shí)間內(nèi)處理更多的查詢，從而提高整體性能。向量數(shù)據(jù)庫(kù)通常每秒提供50到100個(gè)查詢。目前有越來越多的在線服務(wù)應(yīng)用場(chǎng)景，希望每秒有1萬(wàn)個(gè)查詢，一些超級(jí)流行的應(yīng)用擁有數(shù)億用戶，可能希望每秒1萬(wàn)個(gè)到3萬(wàn)個(gè)，甚至更多。

在向量嵌入數(shù)量上，早期一些簡(jiǎn)單的應(yīng)用場(chǎng)景下可能只需要處理數(shù)千個(gè)向量嵌入。在LLM部署中，可以使用向量數(shù)據(jù)庫(kù)來存儲(chǔ)LLM訓(xùn)練產(chǎn)生的向量嵌入。通過存儲(chǔ)代表LLM廣泛訓(xùn)練的潛在數(shù)十億個(gè)向量嵌入，向量數(shù)據(jù)庫(kù)執(zhí)行最重要的相似性搜索，找到用戶的提示（他或她提出的問題）和特定向量嵌入之間的最佳匹配。

隨著公司將GenAI應(yīng)用程序從開發(fā)轉(zhuǎn)移到生產(chǎn)，其向量數(shù)據(jù)庫(kù)的規(guī)模正在增加。一年前，許多向量數(shù)據(jù)庫(kù)可能有100萬(wàn)個(gè)向量嵌入。但現(xiàn)在，向量數(shù)據(jù)庫(kù)存儲(chǔ)1億到數(shù)10億個(gè)向量的情況變得越來越普遍。

在性能方面，向量數(shù)據(jù)庫(kù)企業(yè)已經(jīng)展開競(jìng)賽。Zilliz最近更新了其向量數(shù)據(jù)，將吞吐量和延遲提高了10倍，延遲降低到越來的1/10，更新三種新的搜索算法將搜索準(zhǔn)確率從70%提高到95%。Zilliz向量數(shù)據(jù)庫(kù)目前最大支持1000億個(gè)向量。另外，新的AutoIndexer，無(wú)需手動(dòng)配置數(shù)據(jù)庫(kù)即可在每個(gè)數(shù)據(jù)集上實(shí)現(xiàn)最佳性能。

Zilliz新向量數(shù)據(jù)庫(kù)可以與Nvidia GPU搭配使用時(shí)，向量數(shù)據(jù)庫(kù)還可以在GPU和CPU的混合上運(yùn)行，據(jù)說是第一次。

通過添加新的搜索算法，Zilliz Cloud客戶將能夠更多地利用所有這些高維數(shù)據(jù)。Zilliz Cloud現(xiàn)在支持四種搜索——密集向量搜索、稀疏向量搜索、標(biāo)量搜索和多向量搜索，將搜索結(jié)果的準(zhǔn)確性提升到另一個(gè)層次，從大約70%到80%的準(zhǔn)確率提高到95%甚至更高。

開源的向量數(shù)據(jù)庫(kù)Weaviate性能也在不斷改進(jìn)，可以將ML模型中的數(shù)據(jù)對(duì)象和向量嵌入無(wú)縫擴(kuò)展到數(shù)十億個(gè)數(shù)據(jù)對(duì)象。Weaviate可以在短短幾毫秒內(nèi)從數(shù)百萬(wàn)個(gè)對(duì)象中快速搜索最近的鄰居。從原型到大規(guī)模生產(chǎn)，Weaviate強(qiáng)調(diào)可擴(kuò)展性、復(fù)制和安全性。除了快速向量搜索外，Weaviate還提供推薦、摘要和神經(jīng)搜索框架集成。

2024年2月底，百度智能云推出了一款專用的向量數(shù)據(jù)庫(kù)VectorDB 1.0。相比同類開源產(chǎn)品，VDB 1.0的QPS在不同線程下平均時(shí)延最低，性能提升40~60%。

早在2023年，移動(dòng)云便聯(lián)合中國(guó)信通院發(fā)布了國(guó)內(nèi)首個(gè)向量數(shù)據(jù)庫(kù)技術(shù)標(biāo)準(zhǔn)。同年11月，移動(dòng)云向量數(shù)據(jù)庫(kù)服務(wù)通過“向量數(shù)據(jù)庫(kù)基礎(chǔ)能力”測(cè)試。目前，移動(dòng)云向量數(shù)據(jù)庫(kù)服務(wù)可支持高達(dá)百億級(jí)的向量檢索規(guī)模，將延遲控制在2秒內(nèi)，同時(shí)極致響應(yīng)時(shí)間低至毫秒級(jí)，實(shí)現(xiàn)用戶寫入即可查詢的便捷操作，顯著優(yōu)化用戶檢索體驗(yàn)。

性能優(yōu)化方面，移動(dòng)云提供HNSW（高召回率）與LSH（低延遲）等多種向量索引算法，滿足AI業(yè)務(wù)多場(chǎng)景性能檢索需求，助力業(yè)務(wù)方在多維信息復(fù)合搜索中靈活決策。

隨著我們進(jìn)入AI時(shí)代，向量數(shù)據(jù)庫(kù)在加速參與和增長(zhǎng)發(fā)展方面變得越來越重要。向量數(shù)據(jù)庫(kù)通過提供個(gè)性化服務(wù)和提高數(shù)據(jù)管理效率來增強(qiáng)客戶交互，從而降低運(yùn)營(yíng)成本。不過AI應(yīng)用的激增將為大型企業(yè)釋放關(guān)鍵商機(jī)，進(jìn)一步需要能夠快速擴(kuò)展和云可移植性的現(xiàn)代分布式SQL數(shù)據(jù)庫(kù)。隨著分布式SQL和向量數(shù)據(jù)庫(kù)融合，有可能催化數(shù)據(jù)庫(kù)行業(yè)的下一次變革性轉(zhuǎn)變。

來源：數(shù)據(jù)猿