O modelo LLaMA 2 é um modelo de linguagem de código aberto recentemente lançado pela Meta, que vem chamando atenção devido à sua eficiência e alta qualidade de saída. Neste artigo, vamos explorar como fine-tunar o modelo LLaMA 2 em um conjunto de dados personalizado.
Introdução ao Modelo LLaMA 2
O LLaMA 2 é uma família de modelos de linguagem pré-treinados e fine-tunados com 7 bilhões a 70 bilhões de parâmetros, com comprimentos de contexto mais longos de 4k tokens em comparação com modelos anteriores como Falcon e JET-GPT. O modelo utiliza aprendizado por reforço através de feedback humano (RLHF) para fine-tunar seu desempenho. Está disponível em diferentes versões, incluindo 7 bilhões, 13 bilhões e 70 bilhões de parâmetros.
Para fine-tunar o modelo LLaMA 2, criamos um conjunto de dados personalizado baseado nos arquivos CSV “departamento” e “produto” do Instacart. Acrescentamos uma nova coluna ao conjunto de dados, que é um formato de conversação com uma pergunta (nome do produto) e uma resposta (nome do departamento) separada por um delimitador.
O objetivo é fine-tunar o modelo LLaMA 2 nesse conjunto de dados de resposta a perguntas, onde o modelo é esperado para prever o nome do departamento dado um nome de produto.
Preparação do Conjunto de Dados
Instalamos as bibliotecas necessárias, carregamos os dados do Instacart e dividimos o conjunto de dados em conjuntos de treinamento e teste usando o método de divisão de treinamento-teste. Carregamos também o modelo LLaMA 2, específicamente o modelo “llama-billon-vf16-started”, que é adequado para ambientes de baixa memória como o caderno de notas Google Colab.
Teste do Modelo Base
Antes de fine-tunar, testamos o modelo base para ver o que ele prediz, notando que não é esperado que ele se saia bem pois não está fine-tunado. Mostramos três exemplos de nomes de produtos e o modelo prediz a próxima palavra na sequência em vez do nome do departamento.
Fine-tuning com PEFT
Para fine-tunar o modelo, vamos usar a biblioteca PEFT, que utiliza a técnica de adaptação de baixa.rank (LoRA) para adicionar adaptadores a algumas camadas do modelo. Isso permite fine-tunar em um conjunto de dados personalizado com mínimos parâmetros adicionais. Mostramos um exemplo de treinamento do modelo em um conjunto de dados do Kaggle Instagram, onde a entrada é um nome de produto e a saída esperada é o nome do departamento. Após o treinamento, o modelo produz resultados mais concisos e precisos em comparação com um modelo anterior (Falcon).
Conclusão
Neste artigo, exploramos como fine-tunar o modelo LLaMA 2 em um conjunto de dados personalizado. Mostramos como preparar o conjunto de dados, testar o modelo base e fine-tunar o modelo usando a biblioteca PEFT. Esperamos que este artigo tenha sido útil para você e que continue a aprender sobre o uso de modelos de linguagem.