O Gemma 7B supera o modelo Lama 2 em diversas tarefas e foi treinado com 6 trilhões de tokens. Além disso, é disponível para uso comercial e pode ser acessado por meio da Hugging Face. No entanto, após testes, foi constatado que o modelo apresenta desempenho inconsistente e pobre em tarefas mais complexas, apesar de seu tamanho significativo.
Além disso, o modelo enfrenta problemas de censura, comum em modelos do Google. O Gemma também foi testado com prompts de lógica e raciocínio, mas apresentou erros graves, incluindo problemas de gramática, ortografia e lógica. Em comparação com seu desempenho no Hugging Face Chat, o modelo se saiu ligeiramente melhor, mas ainda cometeu erros.
Conclusão
Apesar da promessa do Gemma, sua performance foi desapontadora. Seu tamanho e capacidade de processamento não foram suficientes para superar seus erros e incoerências. É importante ter cuidado ao utilizar modelos de linguagem como o Gemma, especialmente em situações que requerem precisão e confiabilidade. É preciso esperar por versões futuras que melhorem o desempenho do modelo.