O estudo treinou uma rede neural em uma sequência de movimentos do jogo Othello sem explicitamente lhe dar as regras ou a estrutura do tabuleiro, e a rede conseguiu prever o próximo movimento com alta precisão. As ativações ocultas da rede revelaram que ela havia construído uma representação da atual posição do tabuleiro e dos movimentos legais disponíveis, indicando que havia construído um modelo do mundo.
Isso sugere que os LLMs não apenas memorizam estatísticas, mas construem modelos complexos do mundo que lhes permitem realizar tarefas além de seus dados de treinamento. Embora a questão de compreensão seja uma questão de filosofia em vez de ciência, há evidências de que os LLMs construem modelos do mundo que permitem que eles compreendam o mundo de certa forma.
Além disso, um artigo chamado “Representações do Mundo Emergentes” explora as capacidades dos modelos de linguagem e se eles construem representações internas do mundo ou apenas memorizam estatísticas superficiais. O artigo usa uma variante do modelo GPT para prever movimentos legais em um jogo de tabuleiro simples, demonstrando que o modelo constrói um modelo do mundo e exibe habilidades emergentes.
Também foi discutida a técnica de mapas de saliência latente, que fornece uma representação visual das partes da rede neural envolvidas na tomada de decisão. Esses mapas podem ajudar a entender como o modelo está fazendo previsões e o que ele está focando.
Um estudo sobre o Othello GPT criou um grande conjunto de dados de jogos de Othello, representados como sentenças com cada movimento sendo uma palavra. Eles treinaram o modelo nesse conjunto de dados e, em seguida, solicitaram que o modelo predisse o próximo movimento em um jogo. O modelo foi capaz de prever movimentos com precisão, mas a pergunta é se ele está verdadeiramente entendendo o jogo ou apenas memorizando padrões.
A discussão sobre se esses modelos de linguagem estão verdadeiramente entendendo e representando o estado do jogo ou apenas confiando em estatísticas é uma questão em aberto na comunidade de IA. No entanto, a abordagem de usar uma “sonda” para examinar as obras internas do modelo fornece evidências de que o Othello GPT está realmente mantendo uma representação do estado do tabuleiro e não apenas confiando em estatísticas.
O vídeo também destaca a importância de entender como os sistemas de IA desenvolvem modelos mentais de sistemas complexos e se eles estão verdadeiramente entendendo o que estão dizendo ou apenas gerando respostas estocásticas.