Die Sticker im Bibliothekskeller, die alles in eine Richtung schieben
Im Hinterzimmer der Bibliothek liegt ein Tisch voller neuer Bücher. Daneben Rollen mit bunten Stickern: „familienfreundlich“ oder „Vorsicht“. Mehrere Helfer kleben pro Buch, am Ende zählt der häufigste Sticker. Merksatz: Wie man viele kleine Urteile zusammenzählt, lenkt leise, was später als „wahr“ gilt.
Die Bibliothekarin denkt: Viele Meinungen glätten Eigenarten. Aber wenn ein paar Helfer bei bestimmten Autorinnen oder Figuren immer strenger sind, sind das keine Zufallsfehler. Sammeln sich genug solche Sticker, wirkt der häufigste Sticker nicht neutral, sondern sicher und unfair.
Später schaut das Team auf zwei große Stapel mit Urteilen, bei denen die richtige Antwort schon feststand. Ein Stapel kam aus einem Umfeld mit Rechtsfällen, der andere aus kurzen Online-Kommentaren. So konnten sie bei jeder Person prüfen: oft richtig, und trifft sie mit Fehlern manche Gruppen öfter?
Dann der Knackpunkt: Schiefe Urteile kamen nicht nur von nachlässigen Leuten. Manche lagen oft richtig und klebten trotzdem bei bestimmten Gruppen auffällig häufiger „Vorsicht“. Trefferquote und Fairness liefen also nicht zuverlässig zusammen. Wie ein Helfer, der meist richtig liegt, aber immer denselben Typ Buch strenger behandelt.
Und jetzt kommt’s für den „häufigster Sticker gewinnt“-Trick: Bei vielen Büchern waren ausgerechnet die schiefen Helfer in der Überzahl. Dann kippt der End-Sticker weg von der richtigen Einordnung, nicht aus Verwirrung, sondern weil die falsche Richtung genug Stimmen hat. Schickt man die Schiefen weg, wird es oft ungenauer, und viele Bücher bleiben ganz ohne Sticker.
Auch cleverere Arten, Stimmen zu mischen, halfen nur manchmal ein bisschen und machten die Schieflage nicht zuverlässig kleiner. Wenn später ein Computer aus den fertigen Stickern lernt, übernimmt er beides: mehr Fehler und ungleiches Behandeln. Die Bibliothekarin merkt: Fair sein muss schon beim Kleben anfangen, nicht erst beim Empfehlen.