Agora mesmo inteligência artificial (IA) está em todo lugar. Quando você escreve um documento, provavelmente será perguntado se você precisa do seu “assistente de IA”. Abra um PDF e você poderá ser perguntado se deseja que uma IA lhe forneça um resumo. Mas se você usou Bate-papoGPT ou programas semelhantes, você provavelmente está familiarizado com um certo problema—isso inventa coisasfazendo com que as pessoas vejam o que ele diz com desconfiança.
Tornou-se comum descrever esses erros como “alucinações.” Mas falar sobre ChatGPT dessa forma é enganoso e potencialmente prejudicial. Em vez disso, chame isso de besteira.
Não dizemos isso levianamente. Entre os filósofos, “besteira” tem um significado especializadopopularizada pelo falecido filósofo americano Harry Frankfurt. Quando alguém fala besteira, não está dizendo a verdade, mas também não está mentindo de verdade. O que caracteriza o mentiroso, disse Frankfurt, é que ele simplesmente não se importa se o que diz é verdade. O ChatGPT e seus pares não podem se importar, e eles são, em vez disso, em um sentido técnico, máquinas de mentira.
Podemos ver facilmente por que isso é verdade e por que é importante. No ano passado, por exemplo, um advogado se viu em maus lençóis quando usou o ChatGPT em sua pesquisa ao escrever um resumo jurídico. Infelizmente, o ChatGPT incluiu citações de casos fictícios. Os casos que ele citou simplesmente não existiam.
Isso não é raro ou anômalo. Para entender o porquê, vale a pena pensar um pouco sobre como esses programas funcionam. O ChatGPT da OpenAI, o chatbot Gemini do Google e o Llama da Meta funcionam de maneiras estruturalmente semelhantes. Em seu núcleo está um LLM — um grande modelo de linguagem. Todos esses modelos fazem previsões sobre a linguagem. Dada alguma entrada, o ChatGPT fará alguma previsão sobre o que deve vir a seguir ou qual é uma resposta apropriada. Ele faz isso por meio de uma análise de enormes quantidades de texto (seus “dados de treinamento”). No caso do ChatGPT, o dados de treinamento inicial incluiu bilhões de páginas de texto da Internet.
A partir desses dados de treinamento, o LLM prevê, a partir de algum fragmento de texto ou prompt, o que deve vir a seguir. Ele chegará a uma lista das palavras mais prováveis (tecnicamente, tokens linguísticos) para vir em seguida, então selecione um dos candidatos principais. Permitir que ele não escolha a palavra mais provável a cada vez permite uma linguagem mais criativa (e mais humana). O parâmetro que define quanto desvio é permitido é conhecido como “temperatura”. Mais tarde no processo, treinadores humanos refinam previsões julgando se as saídas constituem discurso sensato. Restrições extras também podem ser colocadas no programa para evitar problemas (como ChatGPT dizendo coisas racistas), mas essa previsão token por token é a ideia que fundamenta toda essa tecnologia.
Agora, podemos ver a partir desta descrição que nada sobre a modelagem garante que as saídas descrevam com precisão qualquer coisa no mundo. Não há muita razão para pensar que as saídas estejam conectadas a qualquer tipo de representação interna. Um chatbot bem treinado produzirá texto semelhante ao humano, mas nada sobre o processo verifica se o texto é verdadeiro, e é por isso que duvidamos fortemente que um LLM realmente entenda o que ele diz.
Relacionado: 32 vezes que a inteligência artificial errou catastroficamente
Então, às vezes, o ChatGPT diz coisas falsas. Nos últimos anos, à medida que fomos nos acostumando com a IA, as pessoas começaram a se referir a essas falsidades como “Alucinações de IA“Embora essa linguagem seja metafórica, achamos que não é uma boa metáfora.
Considere a alucinação paradigmática de Shakespeare na qual Macbeth vê uma adaga flutuando em sua direção. O que está acontecendo aqui? Macbeth está tentando usar suas capacidades perceptivas de sua maneira normal, mas algo deu errado. E suas capacidades perceptivas são quase sempre confiáveis — ele geralmente não vê punhais flutuando aleatoriamente! Normalmente sua visão é útil para representar o mundo, e é boa nisso por causa de sua conexão com o mundo.
Agora pense no ChatGPT. Sempre que ele diz algo, ele está simplesmente tentando produzir um texto humanoide. O objetivo é simplesmente fazer algo que soe bem. Isso nunca está diretamente ligado ao mundo. Quando dá errado, não é porque não conseguiu representar o mundo dessa vez; ele nunca tenta representar o mundo! Chamar suas falsidades de “alucinações” não captura essa característica.
Em vez disso, sugerimos, em um relatório de junho em Ética e Tecnologia da Informaçãoque um termo melhor seria “besteira”. Como mencionado, um mentiroso simplesmente não se importa se o que diz é verdade.
Portanto, se considerarmos o ChatGPT como alguém que mantém uma conversa connosco, embora até isso pode ser um pouco fingimento—então parece se encaixar no perfil. Por mais que pretenda fazer alguma coisa, pretende produzir um texto convincente e humanoide. Não está tentando dizer coisas sobre o mundo. É só besteira. E, crucialmente, é besteira mesmo quando diz coisas verdadeiras!
Por que isso importa? “Alucinação” não é apenas uma metáfora legal aqui? Realmente importa se não é apropriado? Achamos que importa por pelo menos três razões:
Primeiro, a terminologia que usamos afeta a compreensão pública da tecnologia, o que é importante por si só. Se usarmos termos enganosos, as pessoas têm mais probabilidade de interpretar mal como a tecnologia funciona. Achamos que isso por si só é algo ruim.
Segundo, como descrevemos a tecnologia afeta nosso relacionamento com essa tecnologia e como pensamos sobre ela. E isso pode ser prejudicial. Considere as pessoas que foram iludidas por uma falsa segurança por carros “autônomos”. Estamos preocupados que falar de IA “alucinante” — um termo geralmente usado para a psicologia humana — corra o risco de antropomorfizar os chatbots. O efeito ELIZA (nomeado em homenagem a um chatbot da década de 1960) ocorre quando as pessoas atribuem características humanas a programas de computador. Vimos isso in extremis no caso do Funcionário do Google que passou a acreditar que um dos chatbots da empresa era senciente. Descrever o ChatGPT como uma máquina de mentiras (mesmo que seja uma máquina impressionante) ajuda a mitigar esse risco.
Terceiro, se atribuirmos agência aos programas, isso pode desviar a culpa daqueles que usam o ChatGPT, ou seus programadores, quando as coisas derem errado. Se, como parece ser o caso, esse tipo de tecnologia for cada vez mais usado em questões importantes como cuidados de saúdeé crucial que saibamos quem é o responsável quando as coisas dão errado.
Então, da próxima vez que você vir alguém descrevendo uma IA inventando algo como uma “alucinação”, diga que é besteira!
Este é um artigo de opinião e análise, e as opiniões expressas pelo autor ou autores não são necessariamente as mesmas. Ciência Viva ou Americano científico.
Este artigo foi publicado pela primeira vez em Americano científico. © ScientificAmerican.com. Todos os direitos reservados. Seguir em TikTok e Instagram, X e Facebook.
