Am 8. Juni sorgte eine CNN-Umfrage inmitten der Unruhen und der Wirtschaftskrise in den USA für Aufsehen: Der ehemalige Vizepräsident Joe Biden liegt derzeit mit 55% vor dem aktuellen Amtsinhaber Donald Trump, der nur noch auf 41% Zustimmung kommt. Der Vorsprung von 14% fällt damit deutlicher aus als bei jeder anderen Umfrage in diesem US-Wahljahr. Die Reaktion des US-Präsidenten ließ nicht lange auf sich warten:

Mit dem Laden des Tweets akzeptieren Sie die Datenschutzerklärung von Twitter.
Mehr erfahren

Inhalt laden

Twitter Tweets immer entsperren

Trump kritisiert die CNN-Umfrage als „Fake“, verlangt eine Korrektur und verweist auf die Methodenkritik von John McLaughlin, der mit seinem Unternehmen McLaughlin & Associates ein Vertrauter Trumps ist. Während Trump den Unternehmer im Tweet als „highly respected“ anführt, gilt er offenbar in der Branche als „in fact, a laughingstock within the profession“.

Methodik der CNN-Umfrage

Schauen wir uns zunächst die Methodik der CNN-Umfrage an, für die das Medium das Institut ssrs beauftragt hat. In der Zeit vom 2. bis 5. Juni 2020 befragte ssrs eine Zufallsstichprobe von 1.259 Personen. 448 dieser Personen wurden per Festnetz und 811 per Mobiltelefon interviewt (Dual-Frame-Telefonstichprobe). Die Befragten konnten zwischen einem englisch-und einem spanisch-sprachigen Interview wählen. Die Stichprobe umfasst US-Staatsbürger ab 18 Jahren. Die Frage, auf deren Antworten sich die Berichterstattung konzentriert, lautet wie folgt:

“Suppose that the presidential election were being held today and you had to choose between Joe Biden as the Democratic Party’s candidate, and Donald Trump as the Republican Party’s candidate. Who would you be more likely to vote for?”

Quelle: CNN.com

Um repräsentative Angaben des schwarzen Bevölkerungsanteils zu erhalten, sind diese in der Stichprobe mit 250 Personen zunächst überrepräsentiert. Mithilfe einer anschließenden Gewichtung werden die Kennzahlen der Stichprobe, darunter auch die Ethnie, entlang der Verteilung der Kennzahlen in der Gesamtbevölkerung gewichtet. Dieses Vorgehen ist beispielsweise auch in deutschsprachigen Umfragen üblich, bei denen man den Anteil Befragter aus den neuen Bundesländern zunächst „oversamplet“, um die Gruppe im Anschluss für bundesweite Schlüsse wieder auf ihr Gewicht in der Gesamtbevölkerung zu reduzieren.

Der entscheidende Vorteil sowohl hinsichtlich der schwarzen Bevölkerung in den USA als auch im Hinblick auf die neuen Bundesländer: Liegt eine umfangreiche Stichprobe spezieller Bevölkerungsgruppen vor, lassen sich auch innerhalb dieser Gruppen fundierte Analysen mit hoher statistischer Genauigkeit treffen. Die statistische Fehlertoleranz, die sich unter anderem aus der Stichprobengröße berechnet, gibt der Methodenbericht mit insgesamt +/-3,4% an.

CNN-Umfrage ist belastbar

Vor dem Hintergrund der 14%igen Differenz und der soliden Methodik der Befragung ist die Schlussfolgerung, dass Biden derzeit die Umfragen anführt, also durchaus belastbar. Ein möglicher Kritikpunkt der CNN-Umfrage ist der vergleichsweise kurze Erhebungszeitraum von vier Tagen. Schwer erreichbare Personen, häufig solche mit hohem Bildungsstand, sind häufig nur in längeren Zeiträumen mit mehreren Kontaktversuchen erreichbar (ähnliches gilt z. B. in Deutschland für Wähler der Grünen). Dies spricht allerdings eher dafür, dass man den Anteil von Biden-Befürwortern noch unterschätzt.

Gemäß Methodenbericht bezeichnen sich 32% der Stichprobe als Demokraten, 25% als Republikaner und 44% als unabhängig bzw. als Mitglied anderer Parteien – hier setzt die Hauptkritik des erwähnten Trump-Vertrauten John McLaughlin an. Seinen Angaben zufolge wird die Stichprobe der Bevölkerung nicht gerecht, weil sich zuletzt eine republikanische Wahlbeteiligung von 33% zeigte.

Auf Basis der Exit-Polls im Wahljahr 2016, bei denen Bürger nach Stimmabgabe nach ihrer Wahl und Parteiidentifikation gefragt werden, stimmt das auch tatsächlich. Er will aber offenbar bewusst übersehen, dass seit dieser Schätzung mehrere Jahre Präsidentschaft durch Donald Trump vergangen sind und die Werte sich natürlich zwischen zwei Präsidentschaftswahlen verändern – ansonsten wären Umfragen wohl ebenso wie demokratische Wahlen obsolet.

Noch bemerkenswerter ist, dass McLaughlin die Stichprobe scheinbar nach Parteizugehörigkeit gewichten will, was natürlich methodischer Unsinn ist. Man gewichtet Stichproben vielmehr entlang soziodemografischer Merkmale wie Geschlecht, Ethnie, Alter, Bildung und Region. Es macht selbstverständlich keinen Sinn, eine Stichprobe entlang der Faktoren zu gewichten, die das eigentliche Erkenntnisinteresse der Umfrage sind. Ich kann schließlich keine ernst gemeinte Umfrage mit der Frage durchführen, welche jeweilige Parteipräferenz vorliegt, um anschließend die Parteipräferenzen im Sinne des Auftraggebers hoch und runter zu gewichten.

Déjà-vu Präsidentschaftswahl 2016

McLaughlin führt noch weitere Kritikpunkte an, die ich hier nicht näher thematisiere (unter anderem das Timing der Umfrage). Der Berater und sein Unternehmen scheinen ohnehin innerhalb der US-Umfrageforschung isoliert. Dennoch gibt es Grund zur Sorge, zumal die zweifelhaften Umfragen der Präsidentschaftswahl 2016 und der überraschende Wahlsieg Trumps noch nicht lange zurück liegen. Die eigentliche Herausforderung für Wahlprognosen stellt nämlich das amerikanische Wahlsystem dar.

• 

• 

Ein kurzer Rückblick: Fast alle kurz vor der Präsidentschaftswahl 2016 durchgeführten Umfragen hatten Hillary Clinton als Wahlsiegerin prognostiziert. In den Umfragen betrug der Abstand Clintons vor Trump meist 2-3%. Und die Umfragen lagen damit nicht einmal daneben: Auf Clinton fielen 48,2% der Stimmen, auf Trump 46,1%. Es dürfte inzwischen bekannt sein, dass Trump den sogenannten Popular Vote mit einem Rückstand von etwa 2,5 Millionen Stimmen deutlich verlor. Präsident wurde Trump aber nicht aufgrund einer Mehrheitsentscheidung, sondern als Resultat eines „besonderen“ Wahlsystems.

Der Präsident wird zweistufig über Wahlmänner gewählt. Dem Kandidaten, der in einem der US-Bundesstaaten die Mehrheit der Stimmen auf sich vereinigt, werden nach dem Prinzip “the winner takes it all” alle Wahlmänner des Bundesstaates gut geschrieben. Im Extremfall und zur Veranschaulichung bedeutet das beispielsweise in Florida: Hat ein Kandidat auch nur eine Stimme mehr als der Kandidat mit dem zweithäufigsten Stimmen, stimmen alle 29 Wahlmänner (5,4 % aller Wählmänner der Bundesstaaten der USA) für den Wahlsieger, während die übrigen Stimmen für die anderen Kandidaten nun unter den Tisch fallen.

Wahlumfragen und das amerikanische Wahlsystem

Um diesem Wahlsystem gerecht zu werden, müssten die Umfrageinstitute größere Stichproben in jedem einzelnen dieser Staaten befragen. Wenn dagegen bundesweit 1.000 Personen befragt werden und auf dieser Basis Schlüsse für alle Staaten gezogen werden, sind die statistischen Unsicherheiten für eine verlässliche Prognose viel zu groß. Eine Vorhersage für einzelne Staaten auf Grundlage eines Stichprobenanteils, der unter Umständen nur noch 100 Personen umfasst, verfügt über eine so hohe Fehlertoleranz, dass ein Münzwurf letztlich die gleiche Prognosekraft bietet. Das amerikanische Wahlsystem macht es somit praktisch unmöglich, auf Basis landesweiter Umfragen mit üblichen Stichprobengrößen Prognosen für das Wahlergebnis zu erstellen.

Vielmehr muss für jeden einzelnen Bundesstaat eine ausreichend große Stichprobe vorliegen, die den Unterschied in der Zustimmung für die Kandidaten mit hinreichender Genauigkeit erfasst. Vereinzelt führt man das auf diese Weise durch, jedoch nicht in derselben Häufigkeit wie bei landesweiten Umfragen. Für Florida stammen die neuesten Ergebnisse aus einer Umfrage, für die Daten vom 29.05. bis 30.05. erfasst wurden. Die Befragung einer Vielzahl von Personen in einzelnen Staaten machen die Prognosen aufwändiger und teurer, weshalb diese nur vereinzelt und vor allem für die Swing States zu finden sind. Zudem geben sie unterschiedlichste Medien in Auftrag, was sie schwer vergleichbar macht.

Verlässliche Prognosen auf Basis landesweiter Umfragen sind also vor dem Hintergrund des Wahlsystems im Grunde nicht zulässig. Zudem handelt es sich auch bei der CNN-Umfrage nur um eine Momentaufnahme in einer dynamischen und krisengeprägten politischen Lage in den USA. Hoffen wir, dass der Popular Vote sich im aktuellen US-Wahljahr mit dem Wahlsieger deckt.