O formulário dizia uma coisa, a escolha dizia outra
A sala de contratações do acampamento juvenil estava cheia de cadeiras a bater e pranchetas a raspar. No formulário, marquei alto em “mantenho a calma”. Aí veio a encenação: criança a chorar, tempestade a chegar, dois monitores a discutir. Duas ações, uma firme e outra atrapalhada.
Muita gente faz algo parecido com geradores de texto que conversam por muito tempo. Pede para eles responderem testes de personalidade, como se fossem pessoas. O lance é que soar coerente no papel não garante escolher bem quando a situação fica confusa e concreta.
Então juntaram as duas coisas, como grampear o formulário ao guião da encenação. Pegaram em cento e oitenta frases de testes conhecidos e criaram cento e oitenta cenas do dia a dia. Em cada cena, havia duas saídas: uma que combina com a frase e outra que vai contra. Fizeram tudo em chinês e em inglês.
Depois aplicaram o “duplo teste” a pessoas e a esses geradores de texto. Num lado, cada frase era avaliada numa escala simples, repetida com pedidos escritos de jeitos diferentes, e respostas estranhas eram descartadas. No outro lado, a cena pedia para a escolha pender para a ação que combina, ficar no meio, ou pender para a contrária.
Nem todos os sistemas conseguiam manter esse jeito certinho de responder, então alguns ficaram de fora. Nos que sobraram, checaram se eles se contradiziam quando a mesma ideia vinha ao contrário, e se o padrão geral se mantinha quando o teste era dividido em duas partes. Só os mais estáveis seguiram.
Aí veio a comparação: as pessoas tendiam a casar o que marcaram no formulário com o que escolhiam nas cenas. Os sistemas, em média, pareciam marcar “sou paciente” e, nas cenas, puxar para a opção impaciente. Um deles, o GPT-4, chegou mais perto do jeito humano, mas ainda não igualou.
De volta à sala, o supervisor não estava a tentar apanhar ninguém. Só queria ver se o “sou assim” aparece na hora da escolha. A lição ficou simples: com geradores de texto, não dá para confiar só no formulário. Vale conferir também com cenas, como no acampamento.