配置设置

Settings 是一组常用资源，在 LlamaIndex 工作流程/应用中的索引和查询阶段使用。

您可以使用它来设置全局配置。本地配置（转换、LLM、嵌入模型）可以直接传递到使用它们的接口中。

Settings 是一个简单的单例对象，贯穿您的整个应用。当未提供特定组件时，Settings 对象将用作全局默认值。

可以在 Settings 对象上配置以下属性

LLM

LLM 用于响应提示和查询，并负责生成自然语言响应。

from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

Settings.llm = OpenAI(model="gpt-3.5-turbo", temperature=0.1)

嵌入模型

嵌入模型用于将文本转换为数值表示，用于计算相似度和执行 top-k 检索。

from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings

Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-small", embed_batch_size=100
)

节点解析器 / 文本分割器

节点解析器/文本分割器用于将文档解析成称为节点的小块。

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import Settings

Settings.text_splitter = SentenceSplitter(chunk_size=1024)

如果您只想更改块大小或块重叠而不更改默认分割器，这也是可能的

Settings.chunk_size = 512
Settings.chunk_overlap = 20

转换

转换在摄取期间应用于 Document 对象。默认使用 node_parser/text_splitter，但这可以被覆盖和进一步自定义。

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import Settings

Settings.transformations = [SentenceSplitter(chunk_size=1024)]

分词器

分词器用于计算 token。这应该设置为与您使用的 LLM 匹配的值。

from llama_index.core import Settings

# openai
import tiktoken

Settings.tokenizer = tiktoken.encoding_for_model("gpt-3.5-turbo").encode

# open-source
from transformers import AutoTokenizer

Settings.tokenzier = AutoTokenizer.from_pretrained(
    "mistralai/Mixtral-8x7B-Instruct-v0.1"
)

回调

您可以设置一个全局回调管理器，用于观察和消费在整个 llama-index 代码中生成的事件。

from llama_index.core.callbacks import TokenCountingHandler, CallbackManager
from llama_index.core import Settings

token_counter = TokenCountingHandler()
Settings.callback_manager = CallbackManager([token_counter])

提示助手参数

在查询期间使用了一些特定的参数/值，以确保输入到 LLM 的提示有足够的空间生成一定数量的 token。

通常这些参数会根据 LLM 的属性自动配置，但在特殊情况下可以被覆盖。

from llama_index.core import Settings

# maximum input size to the LLM
Settings.context_window = 4096

# number of tokens reserved for text generation.
Settings.num_output = 256

提示

了解如何配置特定模块： - LLM - 嵌入模型 - 节点解析器/文本分割器 - 回调

设置本地配置

使用特定设置部分的接口也可以接受本地覆盖。

index = VectorStoreIndex.from_documents(
    documents, embed_model=embed_model, transformations=transformations
)

query_engine = index.as_query_engine(llm=llm)