文本嵌入推理¶

本笔记本演示了如何配置 TextEmbeddingInference 嵌入。

第一步是部署嵌入服务器。有关详细说明，请参阅 Text Embeddings Inference 的官方仓库。如果您在 Habana Gaudi/Gaudi 2 上部署，请参阅 tei-gaudi 仓库。

部署后，下面的代码将连接并提交嵌入进行推理。

如果您在 colab 上打开此 Notebook，您可能需要安装 LlamaIndex 🦙。

In [ ]

%pip install llama-index-embeddings-text-embeddings-inference

%pip install llama-index-embeddings-text-embeddings-inference

In [ ]

!pip install llama-index

!pip install llama-index

In [ ]

from llama_index.embeddings.text_embeddings_inference import (
    TextEmbeddingsInference,
)


embed_model = TextEmbeddingsInference(
    model_name="BAAI/bge-large-en-v1.5",  # required for formatting inference text,
    timeout=60,  # timeout in seconds
    embed_batch_size=10,  # batch size for embedding
)

from llama_index.embeddings.text_embeddings_inference import ( TextEmbeddingsInference, ) embed_model = TextEmbeddingsInference( model_name="BAAI/bge-large-en-v1.5", # 推理文本格式化所需 timeout=60, # 超时时间（秒） embed_batch_size=10, # 嵌入的批量大小 )

In [ ]

embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

embeddings = embed_model.get_text_embedding("Hello World!") print(len(embeddings)) print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]

In [ ]

embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

embeddings = await embed_model.aget_text_embedding("Hello World!") print(len(embeddings)) print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]