„Mehrheit traut keinem CDU-Politiker Kanzleramt zu“, „Alle Kanzlerkandidaten fallen durch“ – mehrere Medienhäuser nahmen eine Umfrage des Kantar-Instituts im Auftrag der Funke-Mediengruppe zum Anlass für eine Berichterstattung. Thema der Umfrage waren die möglichen Kanzlerkandidaten der CDU/CSU für die kommende Bundestagswahl. Zur Umfragemethodik findet man nur spärliche Informationen. Im Artikel der WAZ, die zur Funke-Gruppe gehört, findet sich lediglich ein kurzer Hinweis auf die Stichprobengröße und den Befragungszeitraum. Detailliertere Informationen oder gar einen Methodenbericht findet man auch nach dem Blick hinter die Paywall nicht:

„Das Insitut Kantar (ehemals Emnid) befragte am 24. Juni 2020 mehr als 500 repräsentativ ausgewählte Bundesbürger“.

Quelle: Waz.de

Trotz fehlender Methodendokumente lässt sich bereits anhand dieser Angaben schließen, dass aus der Umfrage keine belastbaren Schlüsse möglich sind und man daher von einer Berichterstattung im genannten Tenor absehen sollte. Gegen die Belastbarkeit der Umfrage spricht aus meiner Sicht vor allem eine naheliegende Schweigeverzerrung. Dennoch verkauft die WAZ mithilfe der Umfrage Abonnements und zahlreiche Drittmedien greifen die vermeintlich belastbaren Ergebnisse unreflektiert auf. Aus den folgenden Gründen halte ich es aber für essentiell, dass grundlegende Methodenkompetenz fester Bestandteil journalistischer Arbeit ist.

Bedeutung medialer Glaubwürdigkeit

Für die Begründung möchte ich mich unter anderem einem aktuellen Text des Spiegel-Kolumnisten Sascha Lobo bedienen, der die permanent aufgeregte Berichterstattung über Donald Trump thematisiert. Die immer wiederkehrenden Schlagzeilen nach dem Motto „Es wird eng für Trump“ und „Trump ist am Ende“ sorgen aufgrund nicht erfüllter Erwartungen beim Publikum dafür, dass Vertrauen in Medien beschädigt wird. Auch Rezo hatte in seiner Pressekritik argumentiert, dass der Vertrauensverlust in Medien und das zunehmende Potenzial von Verschwörungstheorien auch mit mangelnder journalistischer Sorgfalt begründet ist. Die Extremismusforschung zeigt konsistent, dass ein Zusammenhang zwischen medialem Vertrauensverlust und Radikalisierung besteht.

Ähnliche Konsequenzen muss man annehmen, wenn reflexartig schlagzeilentaugliche und klickfähige Schlüsse aus mangelhaften Umfragen gezogen werden, die sich so aller Voraussicht nach nicht bewahrheiten werden. Die Hauptkritik an der Kantar-Umfrage besteht aus meiner Sicht im ungewöhnlich kurzen Befragungszeitraum von einem Tag. Möchte man eine gezogene Stichprobe befragen, so muss ein Institut das Möglichste unternehmen, ausgewählte Personen auch tatsächlich zu erreichen.

Ein methodisch geleitetes Vorgehen erfordert es daher, dass versucht wird, die gewählten Personen teils über Tage hinweg und notfalls zig Male zu erreichen. Der simple Grund: Erreichbarkeit oder Nichterreichbarkeit hängt systematisch mit vielen sozialwissenschaftlich bedeutsamen Variablen zusammen (vgl. Nonrespone bzw. Schweigeverzerrung). Der Mechanismus lässt sich anhand zweier Beispiele aus der ALLBUS-Befragung (Allgemeine Bevölkerungsumfrage der Sozialwissenschaften) erläutern.

Beispiele für die Veränderung von Stichprobenwerten mit der Anzahl an Kontaktversuchen

Für Umfragen in der Vergangenheit galt für die Schweigeverzerrung beispielsweise noch: Der Anteil der Grünen-Wähler in der Stichprobe steigt mit der Anzahl der Kontaktversuche. Liegt ihr Anteil bei nur einem Kontaktversuch bei etwa 5%, so kann er bei mehr als 10 Kontaktversuchen auf über 6% steigen ¹. Eigene Analysen entlang des ALLBUS aus dem Jahr 2016 zeigen, dass dieser Mechanismus offenbar nicht mehr in der gleichen Richtung gilt: Je häufiger kontaktiert wird, desto geringer tendenziell der Anteil der Grünen-Wähler in der Stichprobe. Als Hypothese könnte man postulieren, dass hierfür eine Veränderung des Grünen-Wählerklientels und seiner Zusammensetzung ursächlich ist.

Ein weiteres Beispiel des ALLBUS 2016 verdeutlicht dieses Muster: Mit dem Anstieg der Kontaktversuche erhöht sich auch das mittlere Einkommen der Stichprobe. Demnach sind Personen mit sozioökonomisch höherem Status in der Regel schwieriger zu erreichen als Personen in niedrigeren Einkommensschichten. Führt man also eine Umfrage innerhalb eines Tages durch, so sind Personen mit höherem Sozialstatus mit an Sicherheit grenzender Wahrscheinlichkeit unterrepräsentiert. Schweigeverzerrung bedeutet in diesem Fall, dass die Ergebnisse zugunsten niedrigerer Einkommensgruppen verzerrt sind. In der Folge sind natürlich auch die Antworten auf alle anderen Fragen innerhalb der Umfrage verzerrt.

Vergleich mit der Forschungsgruppe Wahlen

In welche Richtung der Effekt jedoch auch immer gehen mag: Versucht man also nur ein einziges Mal und nur an einem Tag alle Personen in der Stichprobe zu erreichen, werden politisch relevante Kennzahlen mit Sicherheit unter- oder überschätzt. Hinzukommt, dass eine Stichprobengröße von nur 500 Personen über so große statistische Unsicherheiten verfügt, dass die bloße Nennung von Anteilen entscheidende Informationen zur Fehlertoleranz unterschlägt. Keiner der Artikel mit Bezug auf die Umfrage thematisiert jedoch diese Unsicherheit. Interessante Vergleiche erlaubt die thematisch gleiche Frage der Forschungsgruppe Wahlen, die deutlich höhere Ansprüche an ihre Methodik legt:

Während die Unterschiede zwischen den Erhebungsinstituten bei Laschet, Merz und Röttgen gering sind, beläuft sich die Differenz bei Söder auf ganze 19%. Hierfür sind zwei Erklärungen denkbar. Einerseits ist es möglich, dass die Zustimmung zu Söder sich zwischen dem 24. Juni bis 7. Juli tatsächlich um 19 Prozentpunkte verbessert hat. Deutlich wahrscheinlicher scheint mir jedoch, dass die Differenz durch unterschiedliche Bemühungen um das Erreichen von Befragungspersonen zustande kommt und somit der Schweigeverzerrung geschuldet ist. Die Vermutung liegt nahe, dass Personen mit höherem sozialen Status, die im Zuge der Kantar-Befragung unterrepräsentiert waren, in höherem Maße Söder favorisieren als untere Einkommensgruppen.

Im Übrigen ist eine Prognose des künftigen CDU/CSU-Kanzlerkanditaten auf der Grundlage von Bevölkerungsumfragen schon angesichts des Wahlverfahrens sinnlos: Der Parteivorsitzende und damit wahrscheinliche nächste Kanzlerkandidat der Union wird durch etwa 1.000 Delegierte beim CDU-Parteitag voraussichtlich im Dezember gewählt.

1. Schnell, Rainer (2012): Survey-Interviews, VS Verlag für Sozialwissenschaften: Wiesbaden. / Nichterreichbarkeit: S. 161
↩