🦙 LlamaDeploy 🤖

LlamaDeploy（前身为 llama-agents）是一个异步优先的框架，用于部署、扩展和生产化基于 llama_index 中的工作流程 的代理式多服务系统。使用 LlamaDeploy，您可以在 llama_index 中构建任意数量的工作流程，然后将它们作为服务运行，通过 HTTP API 供用户界面或系统中的其他服务访问。

LlamaDeploy 的目标是轻松地将您在笔记本中构建的内容迁移到云端运行，同时对原始代码的修改量最小，甚至为零。为了使这种迁移变得愉快，将代理作为服务运行固有的复杂性由一个名为 API Server 的组件管理，它是 LlamaDeploy 中唯一面向用户的组件。您可以通过两种方式与 API Server 交互：

• 从 shell 使用 llamactl CLI。
• 从 Python 应用程序或脚本通过 LlamaDeploy SDK。

SDK 和 CLI 都随 LlamaDeploy Python 包一起分发，即插即用。

整体系统布局如下所示。

为什么选择 LlamaDeploy？

1. 无缝部署：它弥合了开发与生产之间的差距，允许您以最少的代码更改部署 llama_index 工作流程。
2. 可伸缩性：微服务架构使您的系统随着增长可以轻松扩展各个组件。
3. 灵活性：通过使用轮辐式架构，您可以轻松替换组件（如消息队列）或添加新服务，而不会中断整个系统。
4. 容错性：凭借内置的重试机制和故障处理，LlamaDeploy 在生产环境中增加了鲁棒性。
5. 状态管理：控制平面管理跨服务的状态，简化了复杂的多步骤流程。
6. 异步优先：专为高并发场景设计，适用于实时和高吞吐量应用程序。

等等，llama-agents 在哪里？

在 llama_index 中引入 工作流程 被证明是用户开发代理式应用程序最直观的方式。虽然我们继续在 llama_index 中构建越来越多的功能来支持代理式应用程序，但 LlamaDeploy 专注于弥合本地开发与将代理作为服务远程执行之间的差距。

安装

可以使用 pip 安装 llama_deploy，它包括 API Server Python SDK 和 llamactl

pip install llama_deploy