Oracle Cloud Infrastructure 生成式 AI¶

Oracle Cloud Infrastructure (OCI) 生成式 AI 是一项完全托管的服务，提供一套最先进、可定制的大型语言模型（LLMs），涵盖广泛的使用场景，并通过单一 API 提供访问。使用 OCI 生成式 AI 服务，您可以访问即用型预训练模型，或基于您自己的数据在专用 AI 集群上创建并托管您自己微调的自定义模型。有关服务和 API 的详细文档可在此处找到，以及在此处找到。

本笔记本解释了如何在 LlamaIndex 中使用 OCI 的生成式 AI 嵌入模型。

设置¶

如果您在 colab 上打开此笔记本，您可能需要安装 LlamaIndex 🦙。

In [ ]

%pip install llama-index-embeddings-oci-genai

%pip install llama-index-embeddings-oci-genai

In [ ]

!pip install llama-index

!pip install llama-index

您还需要安装 OCI sdk

In [ ]

!pip install -U oci

!pip install -U oci

基本用法¶

In [ ]

from llama_index.embeddings.oci_genai import OCIGenAIEmbeddings

embedding = OCIGenAIEmbeddings(
    model_name="cohere.embed-english-light-v3.0",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)

e1 = embedding.get_text_embedding("This is a test document")
print(e1[-5:])

e2 = embedding.get_query_embedding("This is a test document")
print(e2[-5:])

docs = ["This is a test document", "This is another test document"]
e3 = embedding.get_text_embedding_batch(docs)
print(e3)

from llama_index.embeddings.oci_genai import OCIGenAIEmbeddings embedding = OCIGenAIEmbeddings( model_name="cohere.embed-english-light-v3.0", service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com", compartment_id="MY_OCID", ) e1 = embedding.get_text_embedding("This is a test document") print(e1[-5:]) e2 = embedding.get_query_embedding("This is a test document") print(e2[-5:]) docs = ["This is a test document", "This is another test document"] e3 = embedding.get_text_embedding_batch(docs) print(e3)