Para utilizar o modelo, é necessário instalar e testá-lo localmente. Isso pode ser feito usando Ubuntu 22.04 e uma placa de vídeo com 22GB VRAM, garantindo espaço suficiente (12-10 GB) para o modelo.
Um dos principais pontos a serem considerados ao utilizar o modelo Question_Builder são os hiperparâmetros. Estes incluem:
* Temperatura: controla a aleatoriedade da saída do modelo, com valores mais altos aumentando a diversidade e imprevisibilidade.
* Top P (amostragem de núcleo): controla a proporção de probabilidade a ser considerada para amostragem.
* Top K: limita o número de tokens mais prováveis a serem considerados para amostragem.
* Typical P: semelhante ao Top P, controla a proporção de massa de probabilidade a ser considerada para amostragem.
* Minimum P: um limiar de probabilidade mínima para tokens serem considerados para amostragem.
* Penalidade de repetição: penaliza o modelo por repetir os mesmos tokens, com valores mais altos aumentando a penalidade.
Para utilizar o modelo, você precisará seguir os seguintes passos:
1. Importar bibliotecas necessárias.
2. Baixar o modelo Question_Builder em formato de 8 bits e carregá-lo na GPU.
3. Definir um parágrafo sobre felicidade e solicitar ao modelo que gere perguntas a partir dele.
4. Tokenizar o texto de entrada e prepará-lo para o modelo.
5. Enviar a entrada para o modelo, especificando hiperparâmetros como temperatura, Top P e Top K.
6. Decodificar a saída do modelo usando o tokenizer.
7. Imprimir as perguntas geradas, como “O que significa encontrar felicidade verdadeira para você? Como você acha que podemos alcançar isso?”
Além disso, o tutorial também demonstra como gerar perguntas a partir de outro prompt sobre romance. O modelo é mostrado como sendo eficaz em gerar perguntas relevantes a partir do texto de entrada.
Por fim, o tutorial conclui com uma discussão sobre as possíveis aplicações do modelo, como gerar conjuntos de dados sintéticos para treinamento supervisionado ou DPU. Além disso, são fornecidos conselhos sobre como utilizar o modelo, incluindo a necessidade de fornecer entrada de texto suficiente (cerca de 8-10 linhas) para obter resultados bons.