category
今年2月，我们宣布了Gemma，这是我们的轻量级、最先进的开放式模型家族，采用了与Gemini模型相同的研究和技术。社区令人难以置信的反应——包括令人印象深刻的微调变体、Kaggle笔记本、与工具和服务的集成、使用MongoDB等数据库的RAG配方等等——真的很鼓舞人心。
今天，我们很高兴地宣布我们对Gemma系列的第一轮添加，扩大了ML开发人员负责任创新的可能性：用于代码完成和生成任务以及指令遵循的CodeGemma，以及用于研究实验的效率优化架构RecurrentGemma。此外，我们还分享了Gemma的一些更新和我们的条款，旨在根据我们从社区和合作伙伴那里听到的宝贵反馈进行改进。
介绍前两个Gemma变体
CodeGemma：为开发人员和企业提供代码完成、生成和聊天
CodeGemma利用我们Gemma模型的基础，为社区带来了强大而轻量级的编码功能。CodeGemma模型有专门用于代码完成和代码生成任务的7B预训练变体，用于代码聊天和指令跟随的7B指令调优变体，以及适用于本地计算机的用于快速代码完成的2B预训练变体。CodeGemma模型具有以下几个优点：
- 智能代码完成和生成：完成行、函数，甚至生成整个代码块——无论您是在本地工作还是利用云资源。
- 增强的准确性：CodeGemma模型基于来自网络文档、数学和代码的5000亿个主要是英语的数据标记进行训练，生成的代码不仅在语法上更正确，而且在语义上更有意义，有助于减少错误和调试时间。
- 精通多种语言：您对Python、JavaScript、Java和其他流行语言的宝贵编码助手。
- 优化的工作流程：将CodeGemma模型集成到您的开发环境中，以编写更少的样板文件，并更快地关注有趣且差异化的重要代码。
This table compares the performance of CodeGemma with other similar models on both single and multi-line code completion tasks. Learn more in the technical report.
在我们的报告中了解更多关于CodeGemma的信息，或在本快速入门指南中尝试。
RecurrentGemma：研究人员在更大批量下进行高效、更快的推理
RecurrentGemma是一个技术上不同的模型，它利用递归神经网络和局部注意力来提高记忆效率。在实现与Gemma 2B模型类似的基准分数性能的同时，RecurratGemma独特的架构带来了几个优势：
- 减少内存使用：更低的内存要求允许在内存有限的设备上生成更长的样本，如单个GPU或CPU。
- 更高的吞吐量：由于其减少了内存使用，RecurrentGemma可以在显著更高的批处理大小下执行推理，从而每秒生成更多的令牌（尤其是在生成长序列时）。
- 研究创新：RecurrentGemma展示了一种实现高性能的非变压器模型，突出了深度学习研究的进步。
This chart reveals how RecurrentGemma maintains its sampling speed regardless of sequence length, while Transformer-based models like Gemma slow down as sequences get longer.
要了解底层技术，请查看我们的论文。为了进行实际探索，可以试试笔记本，它演示了如何微调模型。
建立在Gemma的基础上，扩展能力
在与原Gemma模型相同的原则指导下，新模型变体提供：
- 开放式可用性：鼓励创新和合作，使其对每个人都可用，并提供灵活的使用条件。
- 高性能和高效功能：利用特定于代码的领域专业知识和优化设计，提升开放模型的功能，以实现异常快速的完成和生成。
- 负责任的设计：我们对负责任的人工智能的承诺有助于确保模型提供安全可靠的结果。
- 多样化软件和硬件的灵活性：
- CodeGemma和RecurrentGemma：使用JAX构建，并与JAX、PyTorch、拥抱面部变换器和Gemma.cpp兼容。实现跨各种硬件的本地实验和经济高效的部署，包括笔记本电脑、台式机、NVIDIA GPU和谷歌云TPU。
- CodeGemma：此外还与Keras、NVIDIA NeMo、TensorRT LLM、Optimum NVIDIA、MediaPipe以及Vertex AI上的可用性兼容。
- RecurrentGemma：对上述所有产品的支持将在未来几周内提供。
Gemma 1.1更新
除了新的模型变体，我们还发布了Gemma 1.1，其中包括性能改进。此外，我们听取了开发人员的反馈，修复了错误，并更新了我们的条款，以提供更多的灵活性。
立即开始
这些第一个Gemma模型变体在世界各地都有售，从今天开始，在Kaggle、Hugging Face和Vertex AI模型花园上都有售。以下是如何开始：
访问模型：访问Gemma网站、Vertex AI模型花园、拥抱脸、NVIDIA NIM API或Kaggle以获取下载说明。
探索集成选项：查找将模型与您喜爱的工具和平台集成的指南和资源。
实验和创新：将Gemma模型变体添加到您的下一个项目中，并探索其功能。
我们邀请您尝试CodeGemma和RecurrentGemma模型，并分享您对Kaggle的反馈。让我们一起塑造人工智能驱动的内容创作和理解的未来。
- 登录 发表评论