置信度评分

在这篇文章中，我们将着眼于使用通过OpenAI API可用的置信度分数。

在第一部分中，我们将从对这些分数的温和探索开始，并在自定义聊天界面的帮助下了解它们的含义。

在第二节中，我们将探讨在代码中使用置信度得分。

探索“信心”

首先，快速入门LLM在其响应中为每个令牌做了什么：

• 该模型为其词汇表中的每个标记输出一个值（~100000个值）
• 然后，这些值被转化为我们（怀疑地）称之为“概率”的值。这些价值观是本文的重点。
• 然后以概率方式选择单个令牌（有时是具有最高值的令牌，有时不是）并在响应中使用

现在，让我们对一些术语进行排序：我们在这篇文章中使用的值并不是真正的“概率”（在“某事发生的可能性有多大”的意义上），也不是任何有意义的“信心”。它们只是LLM输出的数字，经过调整使其为正并加1（对于数学家来说，这足以获得任何一组数字的标签“概率分布”）。

因此，你可以将“概率”添加到术语列表中，这些术语在学术界意味着一件事，但在现实世界中却略有不同，导致广泛的误解（以及“理论”、“意义”等）。