為持續(xù)優(yōu)化固態(tài)硬盤(SSD)的使用,提升檢索增強生成(RAG)系統(tǒng)中AI向量數(shù)據(jù)庫搜索的可用性,全球存儲解決方案領導者Kioxia Corporation今日宣布更新其KIOXIA AiSAQ™(全存儲型乘積量化近似最近鄰搜索)軟件。此次新開源版本引入了靈活控制功能,使系統(tǒng)架構(gòu)師能夠在搜索性能與向量數(shù)量之間定義平衡點——這兩個因素在系統(tǒng)SSD存儲的固定容量中相互制約。這一成果帶來的益處是,RAG系統(tǒng)的架構(gòu)師無需對硬件進行任何修改,即可針對特定工作負載及其需求精細調(diào)整出最佳平衡點。
KIOXIA AiSAQ軟件于2025年1月首次推出,采用專為SSD優(yōu)化的新型近似最近鄰搜索(ANNS)算法,無需將索引數(shù)據(jù)存儲在DRAM中。通過支持直接在SSD上進行向量搜索并降低主機內(nèi)存需求,KIOXIA AiSAQ技術使向量數(shù)據(jù)庫能夠進行擴展,基本不受DRAM容量限制的影響。
當系統(tǒng)中SSD的安裝容量固定時,提升搜索性能(每秒查詢數(shù))需要每個向量消耗更多SSD容量,從而導致向量數(shù)量減少。反之,若要最大化向量數(shù)量,則需減少每個向量的SSD容量消耗,這將導致性能下降。這兩個對立條件的最佳平衡點因具體工作負載而異。為找到合適的平衡,KIOXIA AiSAQ軟件引入了靈活的配置選項。此次最新更新使管理員能夠在RAG系統(tǒng)中為各種不同工作負載選擇最佳平衡點。這一更新使KIOXIA AiSAQ技術不僅適用于RAG應用,還適用于離線語義搜索等其他向量密集型應用,成為基于SSD的理想ANNS解決方案。
隨著對可擴展AI服務的需求不斷增長,SSD為管理RAG系統(tǒng)所需的高吞吐量和低延遲提供了比DRAM更實用的替代方案。KIOXIA AiSAQ軟件能夠高效滿足這些需求,使大規(guī)模生成式AI得以實現(xiàn),而不受內(nèi)存資源有限的限制。
通過將KIOXIA AiSAQ軟件以開源形式發(fā)布,Kioxia強化了對AI社區(qū)的承諾,推動以SSD為中心的可擴展AI架構(gòu)發(fā)展。
請點擊此鏈接下載KIOXIA AiSAQ開源軟件。
https://github.com/kioxia-jp/aisaq-diskann
* KIOXIA AiSAQ(全存儲型乘積量化ANNS,一種新穎的索引數(shù)據(jù)放置方法)是Kioxia的商標。
* 所有其他公司名稱、產(chǎn)品名稱和服務名稱可能是第三方公司的商標。
關于Kioxia
Kioxia是全球存儲解決方案領域的領軍企業(yè),致力于閃存和固態(tài)硬盤(SSD)的開發(fā)、生產(chǎn)和銷售。其前身Toshiba Memory于2017年4月從1987年發(fā)明NAND閃存的公司Toshiba Corporation分拆而出。Kioxia致力于通過提供產(chǎn)品、服務和系統(tǒng)來為客戶創(chuàng)造選擇,并為社會創(chuàng)造基于存儲技術的價值,從而提升世界的“記憶”。Kioxia創(chuàng)新的3D閃存技術BiCS FLASH™正在塑造存儲技術在高密度應用領域(包括高級智能手機、PC、汽車系統(tǒng)、數(shù)據(jù)中心和生成式AI系統(tǒng))的未來。