如果你一直在关注深度学习的最新消息，你就会意识到深度学习中的数据和模型非常庞大。数据集的大小可能达到PB级，模型本身的大小也可能达到数百GB。这意味着，即使是模型本身也无法放入标准GPU芯片的内存中。高效和智能的并行化以及可恢复性在深度学习领域至关重要。

最近的一些文献主要关注LLM系统的基础设施配置。如果你了解VAST，你就会知道这正是我们的专长，因为我们不仅喜欢谈论数据基础设施，还喜欢谈论所有可以推动技术从数据中获得最大价值的神奇方法。因此，事不宜迟，我们想向您介绍并行性如何影响当今最复杂模型中的检查点和恢复操作。

在所有维度上并行化

对于LLM和其他大规模深度学习算法中固有的大型数据集和大型模型，数据和模型本身都太大，无法放入内存。例如，具有数十亿个参数的典型LLM将不适合内存。GPT-3的大小大于500 GB，典型的GPU限制为80 GB的VMEM。此外，单个A100 GPU需要几百年的时间来训练GPT-3（实际上需要300多年）。因此，多维并行性对于训练和微调模型至关重要。

这一论点基于该领域的广泛研究，特别是斯坦福大学、英伟达和微软研究院的开创性论文《威震天LM大规模训练》。作者提出，并在现场得到证实，三种并行性的综合允许LLM中更易于管理和恢复的工作负载：

改进检索增强生成（RAG）涉及基于用户意图和关注上下文对查询进行分类。还利用SLM和微调来提供更准确和相关的结果。

简而言之

选择正确的RAG（检索增强生成）架构主要取决于具体的用例和实现要求，确保系统与任务需求保持一致。

Agent RAG的重要性将越来越高，与Agent X的概念相一致，其中Agent能力嵌入个人助理、工作流程和流程中。

在这里，“X”代表了代理系统的无限适应性，实现了无缝的任务自动化和跨不同环境的知情决策，以提高组织效率和自主性。

综合不同的文档源对于有效解决复杂的多部分查询至关重要。

介绍

提供准确的RAG实施的挑战包括检索相关数据、准确解释用户意图，以及利用LLM的推理能力完成复杂任务。

推理可以通过像ReAct这样的RAG代理方法来增强，在这种方法中，可以创建事件的推理和行为序列。

我从这项研究中发现了一个有趣的事实，即它指出没有一种单一的解决方案适用于所有数据增强的LLM应用程序。

上下文是指围绕对话的信息，帮助人工智能理解用户的意图并提供相关、连贯的回应。

这包括用户之前的输入、当前任务、环境以及可能影响对话的任何外部数据等因素。

RAG的过程很复杂，包含许多组件。我们如何确定现有的RAG方法及其最佳组合，以确定最佳的RAG实践？

本文介绍了一项名为“搜索增强生成检索的最佳实践”的新研究。本研究旨在解决这个问题。

本文主要分为四个部分。首先，介绍了典型的RAG工艺。接下来，它介绍了每个RAG模块的最佳实践。然后，它提供了一个全面的评估。最后，它分享了我的想法和见解，并以总结结束。

典型RAG工作流程

生成式人工智能（GenAI）实现了先进的人工智能用例和创新，但也改变了企业架构的样子。大型语言模型（LLM）、矢量数据库和检索增强生成（RAG）需要新的数据集成模式和数据工程最佳实践。Apache Kafka和Apache Flink的数据流在大规模实时摄取和管理传入数据集、连接各种数据库和分析平台以及分离独立业务部门和数据产品方面发挥着关键作用。这篇博客文章探讨了事件流和传统请求-响应API和数据库之间可能的架构、示例和权衡。

（最初发布在Kai Waehner的博客上：“Apache Kafka+矢量数据库+LLM=实时GenAI”……
 

🧵 Table of Contents

今天有相当多的LLM代理可用。一些最突出的是AutoGPT、AutoGen、BabyAGI和OpenAgents。本文旨在提供这些模型的并排比较，以及我们应该和不应该在哪些用例中使用它们。

AutoGen

AutoGen是一个框架，可以使用多个代理来开发LLM应用程序，这些代理可以相互对话以解决任务。AutoGen代理是可定制的、可交谈的，并无缝地允许人类参与。它们可以在各种模式下运行，这些模式采用LLM、人工输入和工具的组合。通过能够创建可定制和可交谈的代理，AutoGen允许人类在这些多代理对话中无缝参与。

AutoGPT是一个实验性开源应用程序，展示了GPT-4语言模型的功能。该程序由GPT-4驱动，将LLM“思想”链接在一起，以自主实现您设定的任何目标。作为GPT-4完全自主运行的首批例子之一，AutoGPT突破了人工智能的极限。

LLMOps代表“大型语言模型操作”，指的是在人工智能模型的整个生命周期中加快人工智能模型开发、部署和管理的专业实践和工作流程。

LLMOps平台可以提供更高效的库管理，降低运营成本，并使更少的技术人员能够完成任务。这些操作包括数据预处理、语言模型训练、监控、微调和部署。与机器学习操作（MLOps）一样，LLMOps建立在数据科学家、DevOps工程师和IT专业人员的合作基础上。

LLM，如使用GPT-4的OpenAI的ChatGPT和谷歌的BERT，代表了一类新的、更先进的
自然语言处理（NLP）模型可以快速回答自然语言问题、提供摘要并遵循复杂指令。

LLMOps平台将数据科学和软件工程带入一个协作环境，用于数据探索、实时实验跟踪、即时工程以及模型和管道管理。LLMOps自动化了机器学习生命周期中的操作和监控任务。

LLMOps与MLOps

由于LLMOp属于机器学习操作的范围，它可能会被忽视，甚至被称为“LLM的MLOps”，但LLMOp应该单独考虑，因为它特别专注于简化LLM开发。以下是机器学习（ML）工作流和需求随LLM而具体变化的两种方式。

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.