嵌入模型

选择最适合您的数据的模型

OpenAI最近发布了他们的新一代嵌入模型，称为嵌入v3，他们将其描述为性能最高的嵌入模型，具有更高的多语言性能。这些模型分为两类：一类较小，称为text-embedding-3-small，另一类较大，功能更强大，称为text-embedding-3-large。

关于这些模型的设计和训练方式，披露的信息很少。作为他们之前发布的嵌入模型（2022年12月，ada-002模型类），OpenAI再次选择了一种封闭源方法，其中模型只能通过付费的API访问。

但是，这些表演是否如此之好，以至于值得付出代价？

这篇文章的动机是将这些新模型的性能与开源模型的性能进行实证比较。我们将依赖于数据检索工作流，在该工作流中，必须在给定用户查询的情况下找到语料库中最相关的文档。

我们的语料库将是《欧洲人工智能法案》，该法案目前正处于最后的验证阶段。这个语料库的一个有趣的特点是，除了是世界上第一个人工智能的法律框架外，它还有24种语言。这使得可以比较不同语言族的数据检索准确性。

该职位将经历以下两个主要步骤：

A curated list of awesome embedding models tutorials, projects and communities. Please feel free to pull requests to add links.