LLM应用架构

Dify与Ragflow：LLM应用程序开发的关键差异

使用大型语言模型（LLM）的应用程序开发随着Dify和Ragflow等平台的发展而显著发展。了解这两者之间的关键区别可以帮助开发人员根据自己的需求选择合适的工具。

数据准备

Dify通过提供数据收集和预处理的集成工具，在数据准备方面表现出色。这最大限度地减少了对大量编码的需求，使开发人员能够专注于更高级别的任务。相比之下，Ragflow可能需要在数据清理和注释方面进行更多的手动干预，这可能会减缓开发过程。

提示工程

Dify提供了一个所见即所得（WYSIWYG）界面，用于快速编辑和调试。此功能允许基于用户输入进行实时优化，使在没有深厚技术知识的情况下更容易细化提示。Ragflow虽然功能强大，但可能无法提供相同水平的用户友好的快速工程工具，这可能会导致新用户的学习曲线更陡峭。

嵌入和上下文管理

借助Dify，嵌入和上下文管理实现了自动化，从而增强了可扩展性和效率。开发人员不需要编写大量代码来管理长上下文，因为Dify可以无缝地处理这个问题。另一方面，Ragflow可能需要更多的手动编码来实现类似的结果，这可能会增加开发时间和复杂性。

在过去的一年里，我们与数十个团队合作，在各个行业构建了大型语言模型（LLM）智能体。一直以来，最成功的实现并没有使用复杂的框架或专门的库。相反，他们用简单、可组合的模式进行构建。

在这篇文章中，我们分享了我们从与客户和构建智能体合作中学到的东西，并为开发人员提供了构建有效智能体的实用建议。

什么是智能体？

“Agent”可以通过多种方式定义。一些客户将智能体定义为在长时间内独立运行的完全自主的系统，使用各种工具来完成复杂的任务。其他人则使用该术语来描述遵循预定义工作流的更规范的实现。在Anthropic，我们将所有这些变体归类为智能体系统，但在工作流和智能体之间进行了重要的架构区分：

• 工作流是通过预定义的代码路径编排LLM和工具的系统。
• 另一方面，智能体是LLM动态指导自己的流程和工具使用的系统，保持对它们如何完成任务的控制。

下面，我们将详细探讨这两种类型的智能体系统。在附录1（“实践中的智能体”）中，我们描述了客户发现使用这些系统具有特殊价值的两个领域。

改进检索增强生成（RAG）涉及基于用户意图和关注上下文对查询进行分类。还利用SLM和微调来提供更准确和相关的结果。

简而言之

选择正确的RAG（检索增强生成）架构主要取决于具体的用例和实现要求，确保系统与任务需求保持一致。

Agent RAG的重要性将越来越高，与Agent X的概念相一致，其中Agent能力嵌入个人助理、工作流程和流程中。

在这里，“X”代表了代理系统的无限适应性，实现了无缝的任务自动化和跨不同环境的知情决策，以提高组织效率和自主性。

综合不同的文档源对于有效解决复杂的多部分查询至关重要。

介绍

提供准确的RAG实施的挑战包括检索相关数据、准确解释用户意图，以及利用LLM的推理能力完成复杂任务。

推理可以通过像ReAct这样的RAG代理方法来增强，在这种方法中，可以创建事件的推理和行为序列。

我从这项研究中发现了一个有趣的事实，即它指出没有一种单一的解决方案适用于所有数据增强的LLM应用程序。

上下文是指围绕对话的信息，帮助人工智能理解用户的意图并提供相关、连贯的回应。

这包括用户之前的输入、当前任务、环境以及可能影响对话的任何外部数据等因素。

搜索的下一个前沿：检索增强生成与互序融合和生成查询

RAG的过程很复杂，包含许多组件。我们如何确定现有的RAG方法及其最佳组合，以确定最佳的RAG实践？

本文介绍了一项名为“搜索增强生成检索的最佳实践”的新研究。本研究旨在解决这个问题。

本文主要分为四个部分。首先，介绍了典型的RAG工艺。接下来，它介绍了每个RAG模块的最佳实践。然后，它提供了一个全面的评估。最后，它分享了我的想法和见解，并以总结结束。

典型RAG工作流程

生成式人工智能（GenAI）实现了先进的人工智能用例和创新，但也改变了企业架构的样子。大型语言模型（LLM）、矢量数据库和检索增强生成（RAG）需要新的数据集成模式和数据工程最佳实践。Apache Kafka和Apache Flink的数据流在大规模实时摄取和管理传入数据集、连接各种数据库和分析平台以及分离独立业务部门和数据产品方面发挥着关键作用。这篇博客文章探讨了事件流和传统请求-响应API和数据库之间可能的架构、示例和权衡。

（最初发布在Kai Waehner的博客上：“Apache Kafka+矢量数据库+LLM=实时GenAI”……
 

TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM

TensorRT-LLM为用户提供了一个易于使用的Python API，以定义大型语言模型（LLM）并构建包含最先进优化的TensorRT引擎，从而在NVIDIA GPU上高效地执行推理。TensorRTLLM还包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。

https://github.com/NVIDIA/TensorRT-LLM/tree/f430a4b447ef4cba22698902d43eae0debf08594/tensorrt_llm/models/qwen

https://github.com/NVIDIA/TensorRT-LLM/tree/f430a4b447ef4cba22698902d43eae0debf08594/examples/qwen

TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM

TensorRT-LLM为用户提供了一个易于使用的Python API，以定义大型语言模型（LLM）并构建包含最先进优化的TensorRT引擎，从而在NVIDIA GPU上高效地执行推理。TensorRTLLM还包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。

在使用Neo4j和LangChain的RAG应用程序中构建和检索知识图信息的实用指南

编者按：以下是Tomaz Bratanic的客座博客文章，他专注于Neo4j的Graph ML和GenAI研究。Neo4j是一家图形数据库和分析公司，它帮助组织深入、轻松、快速地发现数十亿数据连接中隐藏的关系和模式。

图检索增强生成（Graph RAG）作为传统矢量搜索检索方法的强大补充，正在获得发展势头。这种方法利用了图数据库的结构化特性，将数据组织为节点和关系，以增强检索信息的深度和上下文性。

基于LLM的智能体通过访问其可支配的LLM和工具来维护自主权

关于智能体的更多信息

LangChain智能体在一套可用工具的上下文中是自主的。现在，您可以通过使用LangFlow在GUI中构建LangChain智能体。

LangChain智能体在收到请求时会使用各种操作。采取行动后，智能体进入观察步骤，在那里他们分享一个想法。如果未达到最终答案，Agent会循环返回以选择不同的操作，以便更接近最终答案。

智能体之所以有吸引力，是因为他们能够独立行动，不走预先确定的道路。

他们配备了一套工具，使他们能够响应这些工具范围内的任何请求。

这个执行管道使智能体能够独立地解决问题，可能需要多次迭代，直到达到所需的结果。