Aim 回调¶

Aim 是一个易于使用且功能强大的开源 AI 元数据追踪器，它记录你的所有 AI 元数据（实验、提示等），并提供一个 UI 来比较和观察它们，以及一个 SDK 来以编程方式查询它们。更多信息请参阅 Github 页面。

在此演示中，我们展示了 Aim 在 LlamaIndex 中运行查询时记录事件的功能。我们使用 AimCallback 存储输出，并展示如何使用 Aim Text Explorer 探索这些输出。

注意：这是一个测试版功能。AimCallbackManager 和 AimCallback 在不同类中的使用和 API 接口可能会发生变化！

设置¶

如果你在 Colab 上打开此 Notebook，你可能需要安装 LlamaIndex 🦙。

输入 [ ]

%pip install llama-index-callbacks-aim

%pip install llama-index-callbacks-aim

输入 [ ]

!pip install llama-index

!pip install llama-index

输入 [ ]

from llama_index.core.callbacks import CallbackManager
from llama_index.callbacks.aim import AimCallback
from llama_index.core import SummaryIndex
from llama_index.core import SimpleDirectoryReader

from llama_index.core.callbacks import CallbackManager from llama_index.callbacks.aim import AimCallback from llama_index.core import SummaryIndex from llama_index.core import SimpleDirectoryReader

让我们使用 SimpleDirectoryReader 从 'examples/data/paul_graham' 读取文档。

下载数据¶

输入 [ ]

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

!mkdir -p 'data/paul_graham/' !wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

输入 [ ]

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

现在，让我们初始化一个 AimCallback 实例，并将其添加到回调管理器列表中。

输入 [ ]

aim_callback = AimCallback(repo="./")
callback_manager = CallbackManager([aim_callback])

aim_callback = AimCallback(repo="./") callback_manager = CallbackManager([aim_callback])

在此代码片段中，我们初始化了一个回调管理器。接下来，我们通过传入文档阅读器和回调创建了一个 SummaryIndex 类的实例。之后，我们创建了一个查询引擎，用于在索引上运行查询并检索相关结果。

输入 [ ]

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager)
query_engine = index.as_query_engine()

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager) query_engine = index.as_query_engine()

最后，让我们根据提供的文档向 LM 提出一个问题

输入 [ ]

response = query_engine.query("What did the author do growing up?")

response = query_engine.query("What did the author do growing up?")

回调管理器将把 CBEventType.LLM 类型的事件记录为 Aim.Text，我们可以在 Text Explorer 中探索 LM 给出的提示和输出。首先执行 aim up 并通过给定的 URL 进行导航。