Desdobramento de LLM em Oracle Cloud Infrastructure

ByVolnei Filho

jun 4, 2024 #Balanceador de Carga, #Cloud Computing, #Container Engine, #GPUs, #Inferência de modelo, #Kubernetes, #LLM, #Modelo de língua grande, #Oracle Cloud Infrastructure, #Registro de contêineres

Neste artigo, vamos apresentar os principais pontos discutidos em um vídeo que demonstra como implantar um LLM ajustado em Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE). A seguir, vamos resumir os passos para implantar um LLM ajustado em OKE.Crie um Cluster

Para começar, é necessário acessar a console do OCI e selecionar uma forma de GPU. Em seguida, clique em “Criar um Cluster” para implantar o cluster.

Construa e Publique a Imagem

Em seguida, é necessário construir um arquivo de imagem contendo todas as dependências necessárias para servir o modelo ajustado. Depois disso, publique a imagem no Registro de Contêineres do OCI.

Acesse o Cluster e Aplique o Manifesto

Acesse o cluster a partir do Cloud Shell do OCI e aplique o manifesto do Kubernetes para buscar o modelo personalizado do bucket de armazenamento do OCI.

Implante o Serviço de Balanceador de Carga

Para interagir com o modelo, é necessário implantar um serviço de balanceador de carga.

Interaja com o Modelo

Finalmente, use comandos curl para enviar solicitações para o endereço IP do balanceador de carga. Como alternativa, você pode implantar um cliente de inferência para interagir com o modelo.

Este approach permite aproveitar os benefícios do Kubernetes sem as complexidades de implantar e gerenciar um cluster do Kubernetes.

Recomendamos assistir ao vídeo original para entender completamente o processo de desdobramento de um LLM em Oracle Cloud Infrastructure.