跳到内容

[测试版] 多模态模型#

概念#

大语言模型 (LLM) 是文本输入、文本输出的模型。大型多模态模型 (LMM) 将这一概念扩展到文本以外的模态。例如，像 GPT-4V 这样的模型允许你同时输入图像和文本，并输出文本。

我们引入了一个基础的 MultiModalLLM 抽象，以便支持文本+图像模型。注意：此命名可能会更改！

使用模式#

  1. 以下代码片段展示了如何开始使用 LMM，例如使用 GPT-4V。
from llama_index.multi_modal_llms.openai import OpenAIMultiModal
from llama_index.core.multi_modal_llms.generic_utils import load_image_urls
from llama_index.core import SimpleDirectoryReader

# load image documents from urls
image_documents = load_image_urls(image_urls)

# load image documents from local directory
image_documents = SimpleDirectoryReader(local_directory).load_data()

# non-streaming
openai_mm_llm = OpenAIMultiModal(
    model="gpt-4-vision-preview", api_key=OPENAI_API_KEY, max_new_tokens=300
)
response = openai_mm_llm.complete(
    prompt="what is in the image?", image_documents=image_documents
)
  1. 以下代码片段展示了如何构建多模态向量存储/索引。
from llama_index.core.indices import MultiModalVectorStoreIndex
from llama_index.vector_stores.qdrant import QdrantVectorStore
from llama_index.core import SimpleDirectoryReader, StorageContext

import qdrant_client
from llama_index.core import SimpleDirectoryReader

# Create a local Qdrant vector store
client = qdrant_client.QdrantClient(path="qdrant_mm_db")

# if you only need image_store for image retrieval,
# you can remove text_store
text_store = QdrantVectorStore(
    client=client, collection_name="text_collection"
)
image_store = QdrantVectorStore(
    client=client, collection_name="image_collection"
)

storage_context = StorageContext.from_defaults(
    vector_store=text_store, image_store=image_store
)

# Load text and image documents from local folder
documents = SimpleDirectoryReader("./data_folder/").load_data()
# Create the MultiModal index
index = MultiModalVectorStoreIndex.from_documents(
    documents,
    storage_context=storage_context,
)
  1. 以下代码片段展示了如何使用多模态检索器和查询引擎。
from llama_index.multi_modal_llms.openai import OpenAIMultiModal
from llama_index.core import PromptTemplate
from llama_index.core.query_engine import SimpleMultiModalQueryEngine

retriever_engine = index.as_retriever(
    similarity_top_k=3, image_similarity_top_k=3
)

# retrieve more information from the GPT4V response
retrieval_results = retriever_engine.retrieve(response)

# if you only need image retrieval without text retrieval
# you can use `text_to_image_retrieve`
# retrieval_results = retriever_engine.text_to_image_retrieve(response)

qa_tmpl_str = (
    "Context information is below.\n"
    "---------------------\n"
    "{context_str}\n"
    "---------------------\n"
    "Given the context information and not prior knowledge, "
    "answer the query.\n"
    "Query: {query_str}\n"
    "Answer: "
)
qa_tmpl = PromptTemplate(qa_tmpl_str)

query_engine = index.as_query_engine(
    multi_modal_llm=openai_mm_llm, text_qa_template=qa_tmpl
)

query_str = "Tell me more about the Porsche"
response = query_engine.query(query_str)

图例

  • ✅ = 应该工作正常
  • ⚠️ = 有时不可靠，可能需要进一步调优以改进
  • 🛑 = 目前不可用。

端到端多模态工作流#

下面的表格试图展示使用各种 LlamaIndex 特性构建您自己的多模态 RAG（检索增强生成）的**初始**步骤。您可以将不同的模块/步骤组合在一起，构建您自己的多模态 RAG 编排。

查询类型 数据源
用于多模态
向量存储/索引		 多模态
嵌入		 检索器 查询
引擎		 输出
数据
类型
文本 ✅ 文本 ✅ 文本 ✅ Top-k 检索 ✅
简单融合检索 ✅		 简单查询引擎 ✅ 检索到的文本 ✅
生成的文本 ✅
图像 ✅ 图像 ✅ 图像 ✅
图像到文本嵌入 ✅		 Top-k 检索 ✅
简单融合检索 ✅		 简单查询引擎 ✅ 检索到的图像 ✅
生成的图像 🛑
音频 🛑 音频 🛑 音频 🛑 🛑 🛑 音频 🛑
视频 🛑 视频 🛑 视频 🛑 🛑 🛑 视频 🛑

多模态 LLM 模型#

这些 notebook 作为示例，展示了如何利用和集成多模态 LLM 模型、多模态嵌入、多模态向量存储、检索器、查询引擎来组合多模态检索增强生成 (RAG) 编排。

多模态
视觉模型		 单个
图像
推理		 多个
图像
推理		 图像
嵌入		 简单
查询
引擎		 Pydantic
结构化
输出
GPT4V
(OpenAI API)		 ✅ ✅ 🛑 ✅ ✅
GPT4V-Azure
(Azure API)		 ✅ ✅ 🛑 ✅ ✅
Gemini
(Google)		 ✅ ✅ 🛑 ✅ ✅
CLIP
(本地主机)		 🛑 🛑 ✅ 🛑 🛑
LLaVa
(replicate)		 ✅ 🛑 🛑 ✅ ⚠️
Fuyu-8B
(replicate)		 ✅ 🛑 🛑 ✅ ⚠️
ImageBind
[待集成]		 🛑 🛑 ✅ 🛑 🛑
MiniGPT-4
 ✅ 🛑 🛑 ✅ ⚠️
CogVLM
 ✅ 🛑 🛑 ✅ ⚠️
Qwen-VL
[待集成]		 ✅ 🛑 🛑 ✅ ⚠️

多模态向量存储#

下表列出了一些支持多模态用例的向量存储。LlamaIndex 内置的 MultiModalVectorStoreIndex 支持为图像和文本嵌入向量存储构建单独的向量存储。MultiModalRetriever 和 SimpleMultiModalQueryEngine 支持文本到文本/图像、图像到图像的检索以及用于组合文本和图像检索结果的简单排序融合函数。| 多模态
向量存储 | 单一
向量
存储 | 多个
向量
存储 | 文本
嵌入 | 图像
嵌入 | | ----------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------- | --------------------------- | --------------------------------------------------------- | ------------------------------------------------------- | | LlamaIndex 自建
多模态索引 | 🛑 | ✅ | 可以是任意
文本嵌入
(默认为 GPT3.5) | 可以是任意
图像嵌入
(默认为 CLIP) | | Chroma | ✅ | 🛑 | CLIP ✅ | CLIP ✅ | | Weaviate
[待集成] | ✅ | 🛑 | CLIP ✅
ImageBind ✅ | CLIP ✅
ImageBind ✅ |

多模态 LLM 模块#

我们支持与 GPT4-V、Anthropic (Opus, Sonnet)、Gemini (Google)、CLIP (OpenAI)、BLIP (Salesforce) 以及 Replicate (LLaVA, Fuyu-8B, MiniGPT-4, CogVLM) 等模型的集成。

多模态检索增强生成#

我们支持使用不同的多模态 LLM 和多模态向量存储进行多模态检索增强生成。

评估#

我们支持对多模态 LLM 和检索增强生成进行基本评估。