Was KI aus unseren Urteilen lernt

Ein Gespräch mit Tom Sühr über Präferenzen, die Künstliche Intelligenz formen

Längere Antworten, mehr Schmeichelei, mehr Stichpunkte: Was uns an einer KI-Antwort gefällt, prägt, wie das nächste Modell antwortet. Tom Sühr erforscht die Interaktion von Mensch und KI; er fragt, wie menschliches Feedback maschinelles Lernen formt, und warum das nicht immer zu besseren Antworten führt.

Wenn wir ChatGPT und Co. benutzen, denken wir normalerweise nicht darüber nach, ob die KI etwas daraus lernt. Entwickeln wir inzwischen alle die KI weiter, ohne dass wir es eigentlich wissen?

Grundsätzlich sind menschliche Interaktionen für KI-Entwickler wertvolle Daten und können, je nach Unternehmen, in die Modellentwicklung einfließen – es sei denn, man schaltet das in den Einstellungen ab. Im Wettlauf der Anbieter wird alles genutzt, was die Modelle besser macht.

Wo genau steckt menschliches Feedback in der Entwicklung einer KI?

Ich untersuche zwei Stellen im Training von Sprachmodellen, an denen das passiert. Die eine ist das sogenannte Alignment; dabei soll das Modell lernen, was eine gute Antwort ist. Dazu gehören nicht nur Fakten, sondern auch Format, Länge, Schreibstil und Ton. Dafür setzt man schon sehr lange sogenanntes Reinforcement Learning with Human Feedback ein, Bestärkendes Lernen mit menschlichem Feedback. Viele kennen das: ChatGPT zeigt plötzlich zwei Antworten an, und man soll sagen, welche besser ist. Mit dieser Information kann man zukünftige Modelle trainieren.

Und die zweite Stelle, an der menschliches Feedback eingeht?

Das ist die Evaluation; sie funktioniert mit derselben Methode. Spezialisierte Unternehmen bieten Plattformen an, auf denen man immer zwei Antworten von unterschiedlichen Modellen bekommt. Dasjenige, das am häufigsten gewinnt, gilt als das beste. So entstehen für Forschung und Industrie einflussreiche Ranglisten.

Je nachdem, wen man fragt, fallen die Urteile vermutlich sehr unterschiedlich aus.

Genau. Und mit der Auswahl der Befragten entscheidet man, wessen Präferenzen das Modell lernt. US-Amerikaner könnten zum Beispiel ganz andere Vorlieben bei Stil und Textlänge haben als asiatische Nutzer.

Aber darüber hinaus gibt es noch eine andere Schwierigkeit: Die Qualität eines Textes hat ja viele Dimensionen: Stimmt er inhaltlich, ist er gut lesbar, passt der Stil? Eine Bewertung wie „Text A ist besser“ kann dem kaum gerecht werden, und das kann zu Problemen führen. Einige davon sind schon relativ gut erforscht: Bei zu intensivem Training werden die Texte extrem lang, weil längere Texte diese Vergleiche offenbar öfter gewinnen. Auch zu viel Formatierung mit Stichpunkten und Emojis kann auftreten. Dazu kommt Sycophancy, was auf Deutsch etwas umgangssprachlich Speichelleckerei bedeutet: Das Modell lobt ständig und schmeichelt den Nutzern: „Tolle Frage!“, „Danke für den guten Einwand!“. Ob auch das ein Artefakt der paarweisen Vergleiche ist, weiß man noch nicht genau.

Wie untersucht man solche Fragen?

Zur Erforschung solcher Fragen haben wir die frei verfügbare Plattform Comparity.ai entwickelt, auf der einige tausend Nutzende kostenlos verschiedene KI-Modelle testen und jeweils die bessere von zwei Antworten wählen konnten. Bei bestehenden Datensätzen kennen wir nämlich nur das Ergebnis: Modell, Prompt, Antwort. Aber nur in einem eigenen Experiment können wir nachvollziehen, was da passiert. Wir wollen Effekte wie übermäßige Textlänge oder Sycophancy verstehen: Wie entstehen sie und wie lassen sie sich verhindern? Uns interessiert, nach welchen Kriterien Menschen ihre Entscheidung treffen und welche Auswirkungen das jeweils auf die KI hat. Dafür trainieren wir auch eigene Modelle auf den gesammelten Daten und vergleichen sie.

Gibt es Tricks, wie man sich nicht von der vordergründig beeindruckendsten KI-Antwort blenden lässt?

Die Modelle sind einfach extrem gut, und es fällt schwer, dabei kritisch zu bleiben. Eine Lösung kann ich leider noch nicht anbieten, aber wir arbeiten daran. Am Ende ist es wie beim Pilzesammeln: Der prächtigste und größte Pilz ist nicht immer der leckerste und bekömmlichste. Die eigentliche Frage ist zunächst, nach welchen Kriterien wir überhaupt entscheiden. Unsere Daten legen nahe: Länge verlockt zum Zugreifen, und die unscheinbaren, kurzen Antworten bleiben tendenziell liegen. Aber am Ende kann eben auch ein kleiner Pilz manchmal der bessere sein.