【大语言模型】用这3种索引方法改进RAG管道

最近，检索增强生成框架（简称RAG）作为LLM的一种实际应用越来越受欢迎。

由于有了过多的框架，构建该系统的原型以构建不同用途的应用程序变得非常容易：与PDF聊天、根据英语指令生成SQL代码、构建辅助文档等。

RAG的原型制作很容易。这只是几行代码的问题。

然而，构建生产就绪的RAG是很困难的。这需要仔细的调整和大量的工程设计才能使这样的系统保持一致和可靠。

在本文中，我将讨论构建RAG时的数据索引。

我将超越我们通常使用的常见索引方法，探索3种不同的数据索引方法。

这些方法值得尝试，因为它们可以提高应用程序的性能和准确性。

让我们看看怎么做。

如果你对提高ML系统构建效率的实用技巧感兴趣，可以订阅我的时事通讯：The Tech Buffet。

我每周发送编程和系统设计方面的见解，帮助您更快地交付人工智能产品。

关于典型RAG中数据索引的提醒

在RAG系统的默认实现中，文档首先被分割成块。

然后，将每个块嵌入并索引到矢量数据库中。

在检索步骤中，还嵌入输入查询，并提取最相似的块。