Para começar, é necessário acessar a console do OCI e selecionar uma forma de GPU. Em seguida, clique em “Criar um Cluster” para implantar o cluster.
Construa e Publique a Imagem
Em seguida, é necessário construir um arquivo de imagem contendo todas as dependências necessárias para servir o modelo ajustado. Depois disso, publique a imagem no Registro de Contêineres do OCI.
Acesse o Cluster e Aplique o Manifesto
Acesse o cluster a partir do Cloud Shell do OCI e aplique o manifesto do Kubernetes para buscar o modelo personalizado do bucket de armazenamento do OCI.
Implante o Serviço de Balanceador de Carga
Para interagir com o modelo, é necessário implantar um serviço de balanceador de carga.
Interaja com o Modelo
Finalmente, use comandos curl para enviar solicitações para o endereço IP do balanceador de carga. Como alternativa, você pode implantar um cliente de inferência para interagir com o modelo.
Este approach permite aproveitar os benefícios do Kubernetes sem as complexidades de implantar e gerenciar um cluster do Kubernetes.
Recomendamos assistir ao vídeo original para entender completamente o processo de desdobramento de um LLM em Oracle Cloud Infrastructure.