大型语言模型（LLM）将彻底改变我们构建和维护人工智能系统和产品的方式。在OpenAI的GPT、Meta的Llama和谷歌的BERT等LLM发布后，它们能够生成类似人类的文本、理解上下文并执行广泛的自然语言处理（NLP）任务。一种被称为“LLMOps”的新方法已经发展起来，并成为每个AI/ML社区的话题，以简化我们在生产中开发、部署和维护LLM的方式。

什么是MLOps？

机器学习操作（MLOps）可以被视为软件开发操作（DevOps）中的一个子集挑战，后者包括用于简化公司软件交付流程的软件工程最佳实践和原则。

MLOps专注于ML驱动的项目和产品开发带来的独特挑战，特别是由于ML的新生状态、工件管理和再现性问题、独特的基础设施要求、对实验和监控的永久需求以及对数据域不稳定性的控制。

LLMOps代表“大型语言模型操作”，指的是在人工智能模型的整个生命周期中加快人工智能模型开发、部署和管理的专业实践和工作流程。

LLMOps平台可以提供更高效的库管理，降低运营成本，并使更少的技术人员能够完成任务。这些操作包括数据预处理、语言模型训练、监控、微调和部署。与机器学习操作（MLOps）一样，LLMOps建立在数据科学家、DevOps工程师和IT专业人员的合作基础上。

LLM，如使用GPT-4的OpenAI的ChatGPT和谷歌的BERT，代表了一类新的、更先进的
自然语言处理（NLP）模型可以快速回答自然语言问题、提供摘要并遵循复杂指令。

LLMOps平台将数据科学和软件工程带入一个协作环境，用于数据探索、实时实验跟踪、即时工程以及模型和管道管理。LLMOps自动化了机器学习生命周期中的操作和监控任务。

LLMOps与MLOps

由于LLMOp属于机器学习操作的范围，它可能会被忽视，甚至被称为“LLM的MLOps”，但LLMOp应该单独考虑，因为它特别专注于简化LLM开发。以下是机器学习（ML）工作流和需求随LLM而具体变化的两种方式。

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.

近几个月来，大型语言模型（LLM）已成为自然语言理解和生成不可或缺的工具，在各个行业提供了广泛的潜力。然而，有效实施和管理这些LLM存在相当大的障碍。这就是LMOps（大型模型作战）进入画面的地方。LMOps包括简化LLM的实现、管理和优化的方法、工具和技术。在本文中，我们深入研究了LMOps的关键方面，包括蒸馏、微调和大型模型服务，以及大规模ML、GPU和加速器的结合如何增强LMOps。此外，我们将讨论T5X、PAX和威震天LM等LLM框架如何为LMOps的成功做出贡献，推动创新并交付卓越成果。

LMOps技术

蒸馏(Distillation )是一种旨在缩小大型语言模型的大小，同时保持其准确性的技术。通过在较大模型的输出上训练较小模型，较小模型学会模仿较大模型的预测。通过这一过程，较小的模型可以实现与原始模型相似的精度，同时占用显著较少的存储空间。蒸馏是在资源受限的环境中优化LLM部署的有效策略。

•  【LLM】LLMs 和 SQL
•  【LLM】LangChain 代理和大型语言模型
•  【LLM】LangChain TypeScript支持
•  【LLM】LangChain 利用上下文压缩改进文档检索
•  

TL；DR：我们正在引入一种新型的代理执行器，我们称之为“计划和执行”。这是为了与我们以前支持的代理类型形成对比，我们称之为“Action”代理。计划和执行代理在很大程度上受到了BabyAGI和最近的计划和解决论文的启发。我们认为Plan and Execute非常适合更复杂的长期规划，但代价是需要调用更多的语言模型。我们正在将其初始版本放入实验模块，因为我们预计会有快速的变化。

链接：

• Python Documentation
• JS/TS Documentation

到目前为止，LangChain中的所有代理都遵循ReAct文件开创的框架。让我们称之为“行动特工”。这些算法可以大致用以下伪代码表示：

TL；DR：我们宣布对我们的回调系统进行改进，该系统支持日志记录、跟踪、流输出和一些很棒的第三方集成。这将更好地支持具有独立回调的并发运行，跟踪深度嵌套的LangChain组件树，以及范围为单个请求的回调处理程序（这对于在服务器上部署LangChain非常有用）。