Die kleine Truppe, die plötzlich wie eine große klingt
In der Theaterwerkstatt hängt Sägemehl in der Luft, während Kulissen flach in einen einzigen Laster rutschen. Die Regie schwankt: eine riesige Truppe für alle Rollen, oder wenige Leute und endlose Proben mit Stapeln geliehener Texte.
Viele tippen auf die große Truppe, mehr Köpfe, mehr Text im Kopf. Bei Sprach-KI denken viele ähnlich: mehr innere Stellschrauben gleich besser. Aber eine große Truppe kostet auf Tour Zeit, Geld, Platz. Merksatz: Mehr Üben kann mehr bringen als mehr Leute, wenn die Show bezahlbar bleiben soll.
Sie nehmen die kleine Besetzung und proben wie verrückt. So baute das LLaMA-Team mehrere Größen und ließ auch die kleineren viel länger lesen als üblich. Gelesen wurde nur frei zugängliches Schreiben: aufgeräumte Webseiten, Enzyklopädien, Bücher, Programmtext, Frage-Antwort-Seiten, auch Fachtexte.
Lange Proben klappen nur, wenn keiner durcheinander rennt. Also klebt das Team klare Markierungen auf den Boden, hält Abläufe gleich und spart Atem in den Dialogen. Bei LLaMA gab es ähnliche Handgriffe, damit das Lernen stabil bleibt, der Faden in langen Texten nicht reißt und das Rechnen schneller läuft.
Premiere. Die kleine Truppe trifft Szenen, für die sonst eine viel größere Gruppe gebraucht wird. Berichtet wurde: LLaMA mit 13B schlägt oft ein älteres System mit 175B, und 65B hält bei starken Systemen mit, die mit mehr oder privaterem Material gefüttert wurden. Bei Mathe und Code hilft es, mehrere Anläufe zu machen und den stimmigsten zu nehmen.
Nach dem Applaus schauen sie hin, was schief mitläuft. Mit größerer Besetzung rutschen manchmal härtere Töne und alte Klischees in den Abend. Bei LLaMA zeigt sich Ähnliches: mit Größe kann Giftiges zunehmen, Vorurteile tauchen auf, und es erfindet manchmal selbstsicher falsche Antworten. Der Gewinn bleibt: starke, günstigere Systeme sind möglich, aber Sicherheit kommt nicht von allein.