Os resultados do modelo em benchmarks são impressionantes, alcançando 69% no benchmark MMLU e 8,38% no benchmark MTBench. Isso é possível graças ao seu conjunto de dados de treinamento, que é uma versão escalonada do conjunto de dados utilizado no FII 2, composto por dados filtrados da internet e dados sintéticos.
Além disso, o modelo FII 3 Mini foi testado em comparação com o modelo ChatGPT, outro modelo de linguagem natural. Embora o FII 3 Mini demonstre habilidades impressionantes, ainda apresenta limitações, como “alucinações” ou respostas incorretas, especialmente em sua versão de 4 bits. No entanto, surpreende com respostas corretas em questões difíceis.
O modelo também foi testado em prompts variados, incluindo questões de matemática, história do Brasil e execução de código Python. Embora o FII 3 Mini apresente resultados promissores, não é tão preciso quanto o ChatGPT. No entanto, sua habilidade de funcionar em dispositivos móveis a torna uma tecnologia revolucionária.
A criação do FII 3 Mini abre oportunidades para aplicativos móveis avançados de processamento de linguagem natural, permitindo que os dispositivos móveis realizem tarefas complexas de processamento de linguagem. Além disso, sua capacidade de funcionar em dispositivos móveis mais antigos torna possível a aplicação em uma variedade de dispositivos.
Em resumo, o FII 3 Mini é uma tecnologia inovadora que promete revolucionar a área de processamento de linguagem natural. Embora ainda apresente limitações, seus resultados promissores e sua habilidade de funcionar em dispositivos móveis a tornam uma tecnologia muito interessante para acompanhar.