查询转换#
LlamaIndex 允许您对索引结构执行 查询转换。查询转换是能将一个查询转换为另一个查询的模块。它们可以是 单步 的,这意味着转换在对索引执行查询之前运行一次。
它们也可以是 多步 的,例如:
- 查询被转换,然后对索引执行,
- 获取响应。
- 后续查询以顺序方式进行转换/执行。
下面我们更详细地列出了一些查询转换。
用例#
查询转换有多种用例
- 将初始查询转换为更易于嵌入的形式(例如 HyDE)
- 将初始查询转换为更容易从数据中回答的子问题(单步查询分解)
- 将初始查询分解为多个可以更容易独立回答的子问题。(多步查询分解)
HyDE (假设文档嵌入)#
HyDE 是一种技术,给定一个自然语言查询,首先生成一个假设文档/答案。然后使用这个假设文档进行嵌入查找,而不是使用原始查询。
要使用 HyDE,下面是一个示例代码片段。
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.indices.query.query_transform.base import (
HyDEQueryTransform,
)
from llama_index.core.query_engine import TransformQueryEngine
# load documents, build index
documents = SimpleDirectoryReader("../paul_graham_essay/data").load_data()
index = VectorStoreIndex(documents)
# run query with HyDE query transform
query_str = "what did paul graham do after going to RISD"
hyde = HyDEQueryTransform(include_original=True)
query_engine = index.as_query_engine()
query_engine = TransformQueryEngine(query_engine, query_transform=hyde)
response = query_engine.query(query_str)
print(response)
请查看我们的示例 notebook,获取完整的演练。
多步查询转换#
多步查询转换是在现有单步查询转换方法基础上的泛化。
给定一个初始的复杂查询,该查询被转换并对索引执行。从查询中获取响应。给定响应(以及先前的响应)和查询,也可以对索引提出后续问题。这种技术允许针对单个知识源运行查询,直到该查询满足所有问题。
下面是一个示例图片。
下面是相应的示例代码片段。
from llama_index.core.indices.query.query_transform.base import (
StepDecomposeQueryTransform,
)
# gpt-4
step_decompose_transform = StepDecomposeQueryTransform(llm, verbose=True)
query_engine = index.as_query_engine()
query_engine = MultiStepQueryEngine(
query_engine, query_transform=step_decompose_transform
)
response = query_engine.query(
"Who was in the first batch of the accelerator program the author started?",
)
print(str(response))
请查看我们的示例 notebook,获取完整的演练。