Pontos-chave
Desempenho do GPT-4.5 no teste de Turing
O GPT-4.5 foi identificado como humano 73% das vezes ao usar uma persona, superando a chance aleatória de 50%.Comparação entre modelos de IA
Modelos mais antigos como ELIZA superaram alguns modelos avançados recentes em detecção humana, com ELIZA atingindo 23% contra 21% do GPT-4o.Implicações do uso de LLMs
LLMs podem substituir pessoas em interações rápidas, trazendo risco de automação de empregos e ataques mais eficazes de engenharia social.Um dos principais modelos de IA, o GPT-4.5 da OpenAI, passou em uma versão atualizada do teste de Turing, um experimento famoso para medir a inteligência humana em máquinas.
Em um estudo recente, pesquisadores descobriram que, quando o GPT-4.5 foi instruído a assumir uma persona (como a de um jovem antenado na internet), ele foi identificado como humano 73% das vezes por participantes, um número muito superior à chance aleatória de 50%. Esse resultado sugere que, em certos cenários, a IA consegue se passar por humano de forma convincente.
Além do GPT-4.5, o estudo também testou outros modelos, como o LLama 3.1-405B da Meta e o GPT-4o da OpenAI. Surpreendentemente, o modelo mais antigo, ELIZA, criado há 80 anos, superou o GPT-4o, com uma taxa de sucesso de 23%, enquanto o GPT-4o teve apenas 21%.
O teste de Turing foi criado em 1950 por Alan Turing e consiste em uma conversa em que um interrogador tenta distinguir um humano de uma máquina. Se a máquina enganar o interrogador, isso indica que ela tem alguma forma de inteligência humana.
O estudo foi realizado com quase 300 participantes em um ambiente online. Os resultados mostraram que, quando a IA usava uma persona, ela era muito mais convincente do que quando não a usava. O GPT-4.5 teve um desempenho impressionante com o prompt de persona, mas quando não usou uma persona, seu sucesso caiu para apenas 36%.
Apesar de os LLMs (Modelos de Linguagem de Grande Escala) conseguirem conversar de forma convincente, isso não significa que eles pensam como seres humanos. François Chollet, do Google, lembra que o teste de Turing era mais um experimento teórico do que um teste literal.
Jones, o autor principal do estudo, afirmou que os resultados indicam que LLMs podem ser usados para substituir pessoas em interações rápidas, o que pode levar à automação de empregos e até mesmo a ataques mais eficazes de engenharia social.
Embora o teste de Turing tenha sido um grande marco, ele também reflete a maneira como as pessoas percebem a tecnologia, e é possível que, com o tempo, elas fiquem mais habilidosas em detectar IAs.