大型语言模型

常见问题

1. 如何使用自定义/本地嵌入模型？
2. 如何使用本地 Hugging Face 嵌入模型？
3. 如何自定义我的提示
4. 是否需要微调我的模型？
5. 我想让 LLM 用中文/意大利语/法语回答，但它只用英语回答，该如何操作？
6. LlamaIndex 支持 GPU 加速吗？

---

1. 如何定义一个自定义 LLM？

您可以访问 使用自定义 来定义一个自定义 LLM。

---

2. 如何使用不同的 OpenAI 模型？

要使用不同的 OpenAI 模型，您可以访问 配置模型 来设置您自己的自定义模型。

---

3. 如何自定义我的提示？

您可以访问 提示 来学习如何自定义您的提示。

---

4. 是否需要微调我的模型？

不需要。有一些独立的模块可能会提供更好的结果，但这并非必需，您无需微调模型即可使用 LlamaIndex。

---

5. 我想让 LLM 用中文/意大利语/法语回答，但它只用英语回答，该如何操作？

为了让 LLM 更准确地用其他语言回答，您可以更新提示以更强调输出语言。

response = query_engine.query("Rest of your query... \nRespond in Italian")

或者

from llama_index.core import Settings
from llama_index.llms.openai import OpenAI

llm = OpenAI(system_prompt="Always respond in Italian.")

# set a global llm
Settings.llm = llm

query_engine = load_index_from_storage(
    storage_context,
).as_query_engine()

---

6. LlamaIndex 支持 GPU 加速吗？

是的，您可以在本地运行语言模型 (LLM) 时使用 GPU 加速。您可以在 llama2 安装 文档中找到设置支持 GPU 的 LLM 的示例。

---