大型语言模型

该存储库包含用于编码、预训练和微调类似GPT的LLM的代码，是《构建大型语言模型（从头开始）》一书的官方代码存储库。

（如果您从Manning网站下载了代码包，请考虑访问GitHub上的官方代码库，网址为https://github.com/rasbt/LLMs-from-scratch.)

随着Databricks企业软件公司创建的Dolly大型语言模型（DLL）的发布，开源GPT聊天又向前迈出了一步。

新的ChatGPT克隆被称为多利，以该名称的著名绵羊命名，这是第一种被克隆的哺乳动物。

开源大型语言模型

Dolly LLM是日益增长的开源人工智能运动的最新表现，该运动旨在提供更多的技术访问权限，使其不被大公司垄断和控制。

推动开源人工智能运动的一个担忧是，企业可能不愿意将敏感数据交给控制人工智能技术的第三方。

基于开源

Dolly是由非营利的EleutherAI研究所创建的开源模型和斯坦福大学Alpaca模型创建的，后者本身是由Meta创建的650亿参数开源LLaMA模型创建的。

LLaMA代表大型语言模型元人工智能，是一种基于公开数据训练的语言模型。