No entanto, o modelo ainda não supera os modelos proprietários em desempenho, levantando dúvidas sobre se os modelos proprietários usam “truques” que não são discutidos publicamente. Além disso, a licença do modelo proíbe o uso comercial como provedor de API, o que pode bloquear as empresas de criar endpoints de API para vender o modelo.
Importância da Curação de Dados e Aprendizado por Curriculum
A cura de dados e o aprendizado por curriculum são fundamentais para o desempenho dos modelos de linguagem. O método Evol Instruct do grupo Wizard LM, que conquistou melhorias significativas em tarefas como geração de código, é um exemplo disso. A fine-tuning em datasets cuidadosamente curados contribuiu para essas melhorias, e não a utilização do aprendizado por reforço.
Desempenho do Falcon 180B e Limitações
O Falcon 180B model foi fine-tuned em datasets públicos e apresenta um desempenho razoável em tarefas, como sugerir atividades em São Francisco. No entanto, o modelo pode não superar os modelos fine-tuned como o Llama 2. Além disso, a execução do modelo localmente seria desafiadora devido ao seu tamanho, e requer recursos significativos.
Desafios e Oportunidades
A criação de modelos de linguagem mais eficazes depende de avanços em cura de dados, aprendizado por curriculum e treinamento de modelos. A disponibilidade de modelos como o Falcon 180B fornece oportunidades para os desenvolvedores e pesquisadores explorarem novas abordagens e técnicas. No entanto, resta a questão sobre como os modelos proprietários alcançam seu desempenho e quais “truques” eles podem estar usando.