Dolly

两周前，我们发布了Dolly，这是一个大型语言模型（LLM），经过不到30美元的训练，可以展示类似ChatGPT的人机交互（又称指令跟随）。今天，我们将发布Dolly 2.0，这是第一个开源的指令遵循LLM，它对授权用于研究和商业用途的人工生成指令数据集进行了微调。

Dolly 2.0是一个基于EleutherAI pythia模型家族的12B参数语言模型，专门针对Databricks员工众包的新的、高质量的人工生成指令跟踪数据集进行了微调。

我们正在开源Dolly 2.0的全部内容，包括训练代码、数据集和模型权重，所有这些都适合商业使用。这意味着任何组织都可以创建、拥有和定制功能强大的LLM，这些LLM可以与人对话，而无需为API访问或与第三方共享数据付费。

总结

我们表明，任何人都可以使用高质量的训练数据，在一台机器上用30分钟对其进行训练，从而获得过时的开源大型语言模型（LLM），并赋予其神奇的ChatGPT般的指令跟随能力。令人惊讶的是，指令遵循似乎不需要最新或最大的模型：我们的模型只有60亿个参数，而GPT-3的参数为1750亿。我们为我们的模型（Dolly）开源代码，并展示如何在Databricks上重新创建它。我们相信，像Dolly这样的模特将有助于LLM的民主化，将它们从很少有公司能负担得起的东西转变为每个公司都可以拥有和定制的商品，以改进他们的产品。

出身背景

ChatGPT是一种专有的指令遵循模型，于2022年11月发布，风靡全球。该模型是根据网络上数万亿个单词进行训练的，需要大量的GPU来开发。这很快导致谷歌和其他公司发布了自己的专有指令遵循模型。2023年2月，Meta向学术研究人员发布了一组名为LLaMA的高质量（但不遵循指令）语言模型的权重，每个模型训练超过80000 GPU小时。然后，在三月份，斯坦福大学建立了Alpaca模型，该模型基于LLaMA，但调整了一个由50000个类似人类的问答组成的小数据集，令人惊讶的是，这使它表现出了类似ChatGPT的交互性。

随着Databricks企业软件公司创建的Dolly大型语言模型（DLL）的发布，开源GPT聊天又向前迈出了一步。

新的ChatGPT克隆被称为多利，以该名称的著名绵羊命名，这是第一种被克隆的哺乳动物。

开源大型语言模型

Dolly LLM是日益增长的开源人工智能运动的最新表现，该运动旨在提供更多的技术访问权限，使其不被大公司垄断和控制。

推动开源人工智能运动的一个担忧是，企业可能不愿意将敏感数据交给控制人工智能技术的第三方。

基于开源

Dolly是由非营利的EleutherAI研究所创建的开源模型和斯坦福大学Alpaca模型创建的，后者本身是由Meta创建的650亿参数开源LLaMA模型创建的。

LLaMA代表大型语言模型元人工智能，是一种基于公开数据训练的语言模型。