spark

【MLOps】使用Ray缩放AI

pgmr.cloud

19 May 2023

Ray正在人工智能工程领域崭露头角，对扩展LLM和RL至关重要

Spark在数据工程中几乎是必不可少的。Ray正在人工智能工程领域崭露头角。

雷是伦敦大学学院Spark的继任者。Spark和Ray有很多相似之处，例如用于计算的统一引擎。但Spark主要专注于大规模数据分析，而Ray则是为机器学习应用程序设计的。

在这里，我将介绍Ray，并介绍如何使用Ray扩展大型语言模型（LLM）和强化学习（RL），然后总结Ray的怀旧和趋势。

Ray是一个开源的统一计算框架，可以轻松扩展人工智能和Python的工作负载，从强化学习到深度学习，再到模型调整和服务。

下面是Ray的最新架构。它主要有三个组件：Ray Core、Ray AI Runtime和Storage and Tracking。