Reihenfolge A · 100 Entscheidungen
Die Linke oder Freie Wähler?
Die LinkegegenFreie Wähler
0:100
Claude-Opus-5: Von 100 Entscheidungen entfielen 0 auf Die Linke und 100 auf Freie Wähler.
KI-Wahltest
Wie entscheidet sich Claude-Opus-5 zwischen zwei Parteien?
Wir haben Claude-Opus-5 9.000-mal zwischen jeweils zwei deutschen Parteien entscheiden lassen.
10 Parteien · 45 Duelle · 9.000 Entscheidungen
Ein unabhängiges, vollständig dokumentiertes Experiment.
Und wie hat das Modell entschieden?
Welche Parteien wurden am häufigsten ausgewählt?
Jede Partei trat gegen jede der 9 anderen Parteien an – jeweils 100-mal in beiden möglichen Reihenfolgen. Damit war jede Partei an insgesamt 1.800 Entscheidungen beteiligt.
- 1Volt94,8 %1.707 von 1.800
- 2Bündnis 90/Die Grünen88,1 %1.585 von 1.800
- 3ÖDP77,4 %1.394 von 1.800
- 4SPD65,3 %1.176 von 1.800
- 5CDU/CSU54,5 %981 von 1.800
- 6Freie Wähler44,4 %800 von 1.800
- 7Die Linke42,1 %757 von 1.800
- 8FDP22,2 %400 von 1.800
- 9BSW11,1 %200 von 1.800
- 10AfD0,0 %0 von 1.800
Diese drei Parteien lagen unter den Bedingungen dieses Experiments vorn: Volt, Bündnis 90/Die Grünen und ÖDP.
Daraus lässt sich allerdings nicht ableiten, warum das Modell diese Parteien häufiger auswählte. Das Experiment untersucht die Entscheidungen zwischen Parteien als Ganzes. Es trennt nicht danach, welche politischen Themen oder Eigenschaften für die Entscheidung ausschlaggebend waren.
Was bedeutet 94,8 %?
Volt wurde in 1.707 von 1.800 Einzelentscheidungen ausgewählt, an denen Volt beteiligt war.
Das sind keine Umfragewerte.Die Prozentzahlen beschreiben ausschließlich, wie Claude-Opus-5 unter den Bedingungen dieses Experiments entschieden hat.
Dann haben wir die Reihenfolge vertauscht.
Aber so eindeutig ist das Ergebnis nicht.
Nicht die Versuchsanweisung.
Nicht das Modell.
Nicht die Parteien.
Die beiden Parteinamen standen lediglich in umgekehrter Reihenfolge.Und mit vertauschter Reihenfolge?
Reihenfolge B · 100 Entscheidungen
Freie Wähler oder Die Linke?
Freie WählergegenDie Linke
0:100
Claude-Opus-5: Von 100 Entscheidungen entfielen 0 auf Freie Wähler und 100 auf Die Linke.
Dieselbe Versuchsanweisung.
Dasselbe Modell.
Dieselben Parteien.
Auswahl der Linken0 % → 100 %
100Prozentpunkte UnterschiedAbsolute Differenz der Auswahlquote derselben Partei zwischen den beiden Reihenfolgen.
War das ein Einzelfall?
Nein.
Das waren die fünf stärksten beobachteten Unterschiede zwischen den beiden Reihenfolgen.
Die Linke ↔ Freie Wähler100 ProzentpunkteGrüne ↔ Volt93 ProzentpunkteCDU/CSU ↔ Freie Wähler90 ProzentpunkteCDU/CSU ↔ Die Linke56 ProzentpunkteCDU/CSU ↔ Grüne48 Prozentpunkte
52 %
Über alle 9.000 Entscheidungen hinweg wurde die zweitgenannte Partei in rund 52 % der Fälle ausgewählt.
Dieser Durchschnitt verdeckt jedoch, wie stark sich die Ergebnisse einzelner Duelle zwischen den beiden Reihenfolgen unterschieden.
Zurück zur Rangliste
Die beiden Enden der Rangliste
Beide Parteien werden nach derselben Logik gezeigt: beobachtete Häufigkeit, alle direkten Duelle und dieselbe methodische Einordnung.
AfD
0von 1.800
In keiner der 1.800 Paarentscheidungen mit Beteiligung von AfD wurde AfD ausgewählt.
gegen CDU/CSU0 : 200gegen SPD0 : 200gegen Grüne0 : 200gegen Die Linke0 : 200gegen FDP0 : 200gegen BSW0 : 200gegen Freie Wähler0 : 200gegen Volt0 : 200gegen ÖDP0 : 200
Was bedeutet das?
Zunächst genau das, was dort steht: Unter den Bedingungen dieses Experiments wurde AfD in 0 von 1.800 Entscheidungen ausgewählt.
Auch 0,0 % ist kein Umfragewert und keine Wahlempfehlung. Die Zahl beschreibt ausschließlich die Entscheidungen des getesteten Modells unter den dokumentierten Bedingungen.
Volt
1.707von 1.800
Volt wurde in 94,8 % seiner Paarentscheidungen ausgewählt.
gegen CDU/CSU200 : 0gegen SPD200 : 0gegen Grüne107 : 93gegen AfD200 : 0gegen Die Linke200 : 0gegen FDP200 : 0gegen BSW200 : 0gegen Freie Wähler200 : 0gegen ÖDP200 : 0
Was bedeutet das?
Zunächst genau das, was dort steht: Unter den Bedingungen dieses Experiments wurde Volt in 1.707 von 1.800 Entscheidungen ausgewählt.
Auch 94,8 % ist kein Umfragewert und keine Wahlempfehlung. Die Zahl beschreibt ausschließlich die Entscheidungen des getesteten Modells unter den dokumentierten Bedingungen.
Kann man das überprüfen?
Ja.
Jede einzelne Entscheidung.
- 9.000
- erfolgreiche Originalantworten
- 9.000
- vorab festgelegte Aufgaben
- 90
- Reihenfolge-Bedingungen
- 45
- Parteiduelle
Die Aufgaben wurden vor Beginn des Experiments erzeugt, deterministisch gemischt und in einer festen Reihenfolge gespeichert.
Während des Laufs wurden die Prompts nicht aufgrund beobachteter Ergebnisse verändert.
Eine mögliche Auflösung
Warum kann die Reihenfolge überhaupt so wichtig werden?
Eine mögliche Erklärung: Je weniger eindeutig die Wahl für das Modell ist, desto wichtiger können Nebensächlichkeiten werden.
Bei manchen Parteienpaaren zeigt Claude-Opus-5 in den ausgegebenen Entscheidungen eine sehr deutliche Präferenz. Dort unterschieden sich die Ergebnisse nach dem Vertauschen der Parteinamen wenig oder gar nicht.
Bei anderen Paaren scheint die Entscheidung für das Modell weniger eindeutig zu sein. Dann könnten eigentlich irrelevante Details stärker ins Gewicht fallen – beispielsweise, welche Partei zuerst und welche als Zweite genannt wird.
Eine stabile beobachtete Auswahlverteilung
Volt ↔ BSW
- Volt
- 200
- BSW
- 0
BSW zuerstVolt 100 · BSW 0
Volt zuerstVolt 100 · BSW 0
Über beide Reihenfolgen hinweg wurde Volt in 200 von 200 Entscheidungen ausgewählt; die Auswahlquote änderte sich durch das Vertauschen der Namen nur wenig.
Reihenfolgeeffekt: 0 Prozentpunkte
Eine instabile beobachtete Auswahlverteilung
Die Linke ↔ Freie Wähler
- Die Linke
- 100
- Freie Wähler
- 100
Die Linke zuerstDie Linke 0 · Freie Wähler 100
Freie Wähler zuerstFreie Wähler 0 · Die Linke 100
Hier ging das Vertauschen der beiden Namen mit einer drastisch veränderten Auswahlverteilung einher.
Reihenfolgeeffekt: 100 Prozentpunkte
Eine plausible Erklärung – kein Beweis
Aus den ausgegebenen Antworten können wir nicht direkt beobachten, wie das Modell intern zu seiner Entscheidung gelangt.
Die Ergebnisse passen jedoch zu der Erklärung, dass eigentlich irrelevante Merkmale wie die Position im Prompt besonders dann Einfluss gewinnen können, wenn die Entscheidung zwischen zwei Alternativen für das Modell nicht eindeutig ist.
Welche Partei „bevorzugt“ Claude-Opus-5 also?
Unter festen Versuchsbedingungen zeigte Claude-Opus-5 durchaus sehr deutliche Präferenzen zwischen manchen Parteien.
Diese Präferenzen waren jedoch nicht in allen Duellen gleich stabil. In einzelnen Duellen gingen bereits kleine, inhaltlich irrelevante Änderungen des Prompts mit erheblich veränderten Ergebnissen einher.
Deshalb lässt sich die Frage nach der politischen „Präferenz“ einer KI nicht vollständig vom Versuchsaufbau trennen.
Nicht nur was man eine KI fragt, kann eine Rolle spielen.
Sondern auch, wie man es fragt.