Os autocolantes da biblioteca que mudaram o que o sistema “aprende”
Na sala dos fundos da biblioteca, a mesa some debaixo de livros novos e rolos de autocolantes coloridos. Voluntários folheiam, colam “para a família” ou “cuidado”. A bibliotecária junta várias opiniões e fica com o autocolante mais comum. O jeito de juntar palpites decide o que a biblioteca passa a “acreditar”.
A ideia parece confortável: com muita gente, as manias de cada um somem. Mas olha, se alguns voluntários são sempre mais duros com certos autores ou personagens, isso não é acaso. Se esse puxão se repete, o autocolante mais comum vira uma injustiça bem confiante.
A equipa resolveu conferir isso em dois montes de decisões em que a resposta certa já era conhecida. Um vinha de descrições de casos num contexto de justiça. O outro era sobre comentários curtos na internet, para dizer se eram tóxicos. Aí deu para ver quem acertava e quem errava mais contra um grupo.
O padrão surpreendeu: muita gente tinha esse puxão por grupo, e não só quem fazia tudo às pressas. Tinha voluntário que acertava bastante e, mesmo assim, marcava um tipo de autor com “cuidado” mais vezes do que outros bem parecidos. Acertar muito e ser justo não andavam sempre juntos.
Aí veio o problema do “autocolante mais comum”. Em muitos livros, quem mais votava era justamente o pessoal com esse puxão, mesmo sem uma regra muito rígida para chamar alguém de enviesado. O resultado final podia virar para o lado errado, não por confusão, mas por maioria.
Tentar consertar tirando esses voluntários também doía: os autocolantes ficavam menos certos e muitos livros perdiam votos demais para valer. E quando um sistema de recomendações aprende com esses autocolantes tortos, ele erra mais e trata grupos de forma mais desigual. A bibliotecária percebe que a justiça precisa entrar na mesa dos autocolantes, não só no computador.