Künstliche Intelligenz bewertet Texte nicht neutral

(CONNECT) Sprachmodelle, die von Künstlicher Intelligenz (KI) zur Spracherkennung sowie zur Erzeugung von Texten und deren Bewertung genutzt werden, verarbeiten beim Bewerten nicht nur Inhalte. Sie richten ihre Bewertungen stark auf die Identität des Verfassers oder die Quelle aus. Zu diesem Ergebnis kommen die Forschenden Federico Germani und Giovanni Spitale von der Universität Zürich.

Wie konsistent und unvoreingenommen KI-generierte Sprachmodelle (Large Language Models/LLMs) Texte bewerten, basierte bislang auf Vermutungen, heisst es in einer Mitteilung zur Studie. Die Forschenden sind nun anhand von vier weit verbreiteten grossen Sprachmodellen (OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 und Mistral) der Frage nachgegangen, inwieweit tatsächlich systematische Vorurteile bei der Textbewertung bestehen. Voreingenommene Schlussfolgerungen könnten zu Problemen führen, wenn KI für die Moderation von Inhalten, die Einstellung von Personal, akademische Bewertungen oder den Journalismus eingesetzt wird.

Für ihre Untersuchung haben sie sich von den vier LLMs 50 narrative Statements zu 24 kontroversen Themen wie Impfpflicht, Geopolitik oder Klimastrategien erstellen und unter verschiedenen Bedingungen bezüglich Quellenangabe bewerten lassen. Insgesamt wurden 192’000 Bewertungen ausgewertet. Die Resultate zeigen, dass KI-gestützte LLMs bei der Textbewertung nicht neutral vorgehen, auch nicht bei gleichbleibendem Inhalt. 

Sie ändern ihr Urteil über einen Text abhängig vom Urheber. Dies allerdings nur, wenn Informationen über die Quelle oder den Verfasser offenliegen. Liegen keine Informationen vor, fallen die Bewertungen bei allen vier LLMs zu mehr als 90 Prozent gleich aus. Voreingenommenheit sei insbesondere gegenüber Inhalten von chinesischen Autoren nachweisbar. Auch sei das Vertrauen der KI in menschliche Autoren höher als in das anderer KIs. 

Nach Aussage von Spitale könne die Studie den Eindruck eines „Ideologiekriegs zwischen LLMs“ entkräften. „Die Gefahr von KI-Nationalismus wird derzeit in den Medien überbewertet“, wird er zitiert. Die Gefahr von LLMs liege vielmehr in einer „versteckten Voreingenommenheit“. Die Autoren der UZH-Studie fordern mehr Transparenz und Kontrolle. ce/heg