Pré-requisitos
Antes de começar, é necessário ter o Poetry instalado, que é um gerenciador de dependências para Python. Em seguida, execute o comando “npx create-llama” para gerar o aplicativo.
Configurando o Backend
Para configurar o backend, você precisa instalar o Poetry e gerar os embeddings usando os comandos “llama pull” e “llama embed-text”. Isso irá criar um backend Fast API com dois pontos de acesso: um.streaming `/api/chat` e outro não-streaming `/api/chat/request`.
Configurando o LLaMA 3
Para configurar o aplicativo para usar o LLaMA 3 em vez do OpenAI, você precisa configurar variáveis de ambiente, incluindo a chave LLaMA Cloud, provedor de modelo, tamanho de embedding e chave OpenAI. Além disso, você precisa escolher um modelo de embedding, no caso, o modelo “shnomic-embed-text” foi escolhido.
Importância dos arquivos de configuração
Existem dois arquivos importantes a serem configurados: os arquivos de variáveis de ambiente e o arquivo `settings.py`. Os arquivos de variáveis de ambiente incluem a chave LLaMA Cloud, provedor de modelo, tamanho de embedding, entre outros.
Executando o Aplicativo
Após configurar todos os arquivos, você pode executar o aplicativo usando o comando “npm dev”, que irá iniciar um servidor Fast API com pontos de acesso streaming e não-streaming. Em seguida, você pode testar o aplicativo, pedindo ao modelo de linguagem que resume um documento PDF, por exemplo.
Conclusão
Neste artigo, vimos como criar um aplicativo de assistente de leitura utilizando o LLaMA 3 e o Next.js. Além disso, aprendemos sobre a importância de configurar os arquivos de variáveis de ambiente e o arquivo `settings.py`. Se tiver alguma dúvida, sinta-se à vontade para perguntar no comentário.