O artigo em questão propõe que os sistemas de IA sejam projetados com provas matemáticas formais de segurança, onde o modelo de mundo é especificado e provado matematicamente. No entanto, Goertzel argumenta que essa abordagem pode ser perigosa, pois não há garantia de que o modelo de mundo seja correto, e uma IA superinteligente poderia facilmente identificar falhas no modelo.
Além disso, Goertzel alerta que se apenas algumas empresas ou governos controlarem o desenvolvimento de IA, isso pode levar a uma concentração de poder e ao potencial desuso. Em vez disso, ele defende uma abordagem mais aberta e descentralizada para o desenvolvimento de IA Avançada e IA Geral (AGI).
O desenvolvimento de AGI deve ser guiado por processos democráticos e descentralizados, e não controlado por corporações ou gouvernos. A discussão sobre “IA Segura Garantida” é muitas vezes usada como justificativa para uma regulação pesada e controle corporativo, o que é indesejável.
Em vez disso, é necessário uma abordagem criativa e colaborativa para o desenvolvimento de AGI, que permita a coevolução e a inovação. Além disso, é fundamental duvidar da possibilidade de alcançar uma AGI completamente segura, pois a AGI, por definição, tem seus próprios objetivos e pode potencialmente superar as salvaguardas humanas.
Portanto, é fundamental que o desenvolvimento de AGI seja realizado de forma aberta, democrática e descentralizada, livre do controle corporativo e da regulação excessiva do governo.