Наклейки в библиотеке, которые учат компьютер быть несправедливым
В подсобке библиотеки стол завален новыми книгами и рулонами цветных наклеек. Волонтёры листают по паре страниц и клеят одно из двух: «можно всем» или «осторожно». Чтобы было честно, библиотекарь просит нескольких людей оценить одну и ту же книгу и берёт наклейку, которую выбрали чаще всего.
Идея успокаивает: чем больше мнений, тем меньше случайных странностей. Штука в том, что перекос не всегда случайность. Если кто-то строже к книгам определённых авторов или к героям «не как у всех», частая наклейка может стать уверенно несправедливой.
Потом проверили это на двух больших кучах таких «наклеек», где правильные ответы уже были известны. Там люди оценивали короткие описания дел из судебной жизни и отдельно отмечали, токсичный ли комментарий. Для каждого человека смотрели сразу две вещи: насколько часто он прав и кого его ошибки цепляют сильнее.
Вылезло неприятное: перекос встречался у многих и не только у тех, кто часто ошибается. Бывали люди, которые в целом угадывали неплохо, но к разным группам относились неровно. В нашей библиотеке это волонтёр, который обычно клеит верно, но один тип авторов помечает «осторожно» заметно чаще похожих других.
А потом ударило по голосованию «как у большинства». На многих книгах среди назначенных волонтёров оказывалось слишком много перекошенных, и итоговая наклейка переворачивалась не из-за путаницы, а потому что их больше. Выгнать таких людей тоже не спасает: точность часто падает, а часть книг остаётся почти без наклеек.
Пробовали и «умнее считать голоса». Иногда выходило чуть точнее, но перекос никуда не уходил, а порой даже рос, если ожидания подсчёта не совпадали с тем, как люди ошибаются. Когда потом обучали обычные предсказатели на этих наклейках, они становились и менее точными, и более неровными к группам. Если библиотека хочет честные советы, за наклейками надо следить сразу, а не после.