Kritik an Demoskopen

Die geäußerte Kritik an den Demoskop*innen aus der letzten Lage ist inhaltlich meiner Ansicht nach nicht haltbar. Sozialwissenschaftliche Erhebungen können tatsächlich niemals Prognosen sein, da Menschen (anders als bei naturwissenschaftlichen Experimenten) ihr Verhalten an ihren Wissensstand anpassen. Dieser Wissensstand verändert sich durch neue sozialwissenschaftliche Erhebungen aber, was zu einer Art Rückkopplung der Wissenschaft auf ihren Untersuchungsgegenstand führt. Für Prognosefähig (jedenfalls in einem quantitativ genauen Sinn) können die Sozialwissenschaften daher nur erklärt werden, wenn ein eher mechanistisches Verständnis gesellschaftlicher Prozesse zugrunde gelegt wird.

3 „Gefällt mir“

Ich kann das nur unterstützen - selbstverständlich kann man die Reaktion auf eine Erhebung nicht in eine Prognose einpreisen. Erhebe ich einen hohen Vorsprung der CDU, bleiben einige CDU-Wähler zu Hause, andere wählen vielleicht eine kleinere Partei, der sie über die 5%-Hürde helfen wollen - und schon schmilzt der Vorsprung dahin. Melde ich hingegen einen knappen Vorsprung, so entscheiden sich viele demokratisch gesinnte Wechselwähler noch um, und da sie auf keinen Fall einen AfD-Sieg möchten - und nun wird der Vorsprung größer. So ähnlich war es z. B. auch bei der Brexit-Abstimmung. Wie sollte man diese Effekte in die Berechnung einbeziehen? Das ist einfach nicht möglich, käme einer Quadratur des Kreises gleich, da kann Ulf sich noch so weit aus dem Fenster lehnen…

Da muss man gar keine Quadratur des Kreises bemühen.
Wenn die „Messpunkte des Systems“ nicht zu den richtigen Vorhersagen führen, kann man zu dem Schluss kommen, dass sich das System geändert hat.
Das müssen sich die Demoskop*innen jetzt genauer anschauen.
Spontan fallen da jedem Einzelnen bestimmt ganz viele Veränderungen ein.

Was man auch bedenken sollte ist, dass ein System gerade an einem Tipping Point instabiles oder chaotisch Verhalten aufweisen kann, was dazu führt, dass kleine Änderungen große Ausschläge haben und Prognosen mehr als schwierig machen.

Für die Reaktion auf Informationen, sollte man mit Ansätzen der Spieltheorie gut rechnen können, wenn man das System kennt.
Ich denke man kennt das System nicht mehr :thinking:

1 „Gefällt mir“

Natürlich kann man das. Ist nur aufwändiger.

Sehe das komplett anders… Denn sorry, eine Wahlprognose muss sich nur an einem einzigen Kriterium messen lassen: Wie nah liegt sie an der Wahrheit?

Wenn die Prognose keine zuverlässigen Ergebnisse hervorbringt, brauche ich sie nicht. Was die Gründe für die schlechten Ergebnisse sind, ist mir dabei ziemlich egal.

Eine Umfrage machen, kann jeder! Wer eine Prognose bezahlt, zahlt ja eben für das Know-How, aus den Umfrageergebnissen eine Das Wahlergebnis zu nähern.

Das ist das gleiche wie diese dämlichen Ausreden bei den Ratingagenturen von Finanzdienstleistern. Da kam auch immer die Kommentar „Da kann keiner was zu, das mit der Finanzkrise konnte ja keiner wissen!“…
Man zahlt die Ratingagenturen aber nunmal dafür, dass sie sowas wissen.

1 „Gefällt mir“

Dass die Rating Agenturen das ebenso wenig können, kann ja wohl kaum als Beleg dafür dienen, dass es grundsätzlich möglich ist. Dazu kommt dann noch, dass es bei den Agenturen ein Principal-Agent Problem gibt, dass ich bei den Demoskopen nicht sehen kann, schließlich werden die nicht von Parteien bezahlt. Außerdem ist das was man sinnvoll prognostizieren kann wie bereits oft erwähnt das tatsächliche Ergebnis am Wahlabend und das ist ja nach wie vor meist ziemlich genau. Ein weiterer auch bereits mehrfach angesprochener Punkt ist, dass sich methodische Probleme nicht an den Erwartungen der Menschen orientieren. Und daher können Umfragen im Vorfeld immer nur ein Stimmungsbild liefern und das wird sich auch nicht dadurch ändern, dass viele Menschen etwas von ihnen erwarten, was sie grundsätzlich niemals erfüllen werden können.

2 „Gefällt mir“

Tja, dann muss ich Sie enttäuschen. Man kann die Reaktion eben nicht einpreisen. Und da können Sie gerne so viel zahlen, wie Sie möchten. Prognosen kann man dann genau machen, wenn das zu prognostizierende nicht auf die Prognose reagiert, z. B. das Wetter. Dem ist es egal, ob die Wettervorhersage warmes oder kaltes Wetter vorhergesagt hat.
Anders ist es, wenn der Mensch auf die „Prognosen“ reagieren kann, sei es bei der Ausbreitung eines Virus oder beim Klimawandel. Deswegen wird das das ja auch nicht Prognosen genannt, sondern z. B. Szenarien. Und genau das Gleiche ist es mit den Wahlumfragen, die ja auch kein seriöses Institut mehr Prognose nennt. Denn das sind sie nicht, und das werden sie auch nie sein…

2 „Gefällt mir“

Der Vergleich zu den Ratingagenturen erschließt sich mir irgendwie nicht.
Im verlinkten Thread wurde die Thematik ebenfalls diskutiert und ich denke, man könnte sich auf folgendes einigen: Aus Umfragen kann man Projektionen machen, die verschiedene Korrekturen per Gewichtung vornehmen. Das sind aber keine Prognosen im sozialwissenschaftlichen Sinne, d.h. Vorhersagen. Dafür muss wirklich ein mechanistisches Verständnis oder ein Rational Choice-Ansatz angelegt werden, der aber nur bedingt haltbar ist und mit sozialer Wirklichkeit m.E. nicht viel zu tun hat.
Wenn ich bspw. vier Wochen vor der Wahl eine Umfrage mache, kann ich daraus keine seriöse Prognose machen, weil ich z. B. nicht weiß, wie gefestigt eine Wahlabsicht oder subjektive Überzeugungen sind oder ob es kurzfristige Ereignisse gibt (was auch Umfragen bzw. eine Reaktion auf diese sein können), auf die reagiert wird. Es wird auf Umfragen reagiert, das Verhalten ändert sich also, das ich aber gar nicht messe. Dirk Brockmann hat das zuletzt in einem DLF-Interview sehr schon u.a. zu den Corona-Modellen erklärt. Das Prinzip dort ist ähnlich.

2 „Gefällt mir“

Dann gibt es aber nur ein Fazit: Die Prognosen sind überflüssig!

Oder noch krasser formuliert: Wenn die Wahl durch die Prognosen beeinflusst wird, SOLLTE man sie sogar unterlassen.

1 „Gefällt mir“

Es geht aber nicht um ‚Prognosen‘, sondern um ‚Projektionen‘. Wir haben es hier mit einem Benennungsproblem zu tun.
Wenn die Datenqualität etwa bei exit polls i. O. ist (sprich: Menschen wirklich angeben (wollen), was sie gewählt haben, sich erinnern können etc.; wir also davon ausgehen, dass ihre Angaben wahr sind), dann ist die „18-Uhr-Prognose“ viel mehr eine Prognose, weil es um (vergangenes) Verhalten geht, das ich aufgrund inferenzstatistischer Methoden und Modelle exrapolieren kann.

imo Haarspalterei…

Wie gesagt, es sind halt keine Prognosen sondern Wahlumfragen.
Aber warum sollten sie unterlassen werden? In einer Demokratie sollte doch jeder wissen, woran er ist - also auch welche Parteien momentan bevorzugt werden oder aber auch nicht.
Wenn man zum Beispiel weiß, dass die AfD kurz davor steht, eine Mehrheit zu haben, ist dies ja offensichtlich wichtig zu wissen, weil man dann noch etwas dagegen unternehmen kann, z. B. indem man seine Stimme nicht einer Partei gibt, die Gefahr läuft, unter 5 Prozent zu landen…

Oder zur Manipulation nutzen.
Ich glaube das sollte man bei allen „Prognosen“ und Umfragen im Hinterkopf behalten. Schon alleine die Art der Fragestellung kann zu manipulierten Antworten führen.

1 „Gefällt mir“

Die Frage ist doch weniger SOLLTE man sie unterlassen - das können ja die Menschen die sie duchführen vermutlich selbst entscheiden - sondern:

Findet man das was Wahlbefragungen mit dem Gesellschaftlichen und politischen Diskurs machen für so schlimm das man sie verbieten sollte.
Das ist ne interessante Diskussion.
Die Diskussion ob Menschen einen Job für den sie von anderen Leuten bezahlt werden mal lieber nicht machen sollten ist m.M. relativ fruchtlos

Hmmmm… Ja, ist imo auf jeden Fall eine Betrachtung wert.

Hole das mal wieder hoch, weil mir das aktuell bei der Wahl so gegangen ist. Habe schon vor Wochen per Briefwahl grün gewählt.
Wenn ich aber jetzt zur Wahl gehen würde, würde ich SPD wählen, weil die Umfrageergebnisse der Grüne eh total im Keller sind und ich auf keinen Fall die CDU in der Regierung sehen will.

Aber das ist generell das Problem unseres Wahlsystems.
Imo sollte das reformiert, zumindest aber die 5%-Hürde abgeschafft oder eine Alternativstimme eingeführt werden.

Deiner Meinung nach müssten also die Demoskop:innen, um ihr Geld wert zu sein, a) wissen wie viele Personen mit Deinem Profil schon gewählt haben und wie viele das noch tun werden und b) ob Du angesichts der veränderten Umfragen eher weiter Grüne wählen würdest (weil das ja Deine Eigentliche Präferenz ist) oder SPD (weil deine Präferenz jetzt eine andere ist). Eine Befragung, die das leisten könnte, würde locker das 5- bis 10-fache einer herkömmlichen kosten. Insofern entscheidet hier würde ich sagen wieder mal der Markt: Die Institute liefern das, was für einen Preis leistbar ist, den Auftraggeber:innen bereit sind zu zahlen.

Das verstehe ich nicht. Warum ist es „eine Betrachtung wert“, Umfragen eventuell zu verbieten, wenn doch gleichzeitig eingestanden und Umfragen eine so hohe Bedeutung zugemessen wird, dass sie die eigenen Wahlabsichten korrigieren? Und wo liegt das Problem im Wahlsystem, wenn in ihrer Wahlentscheidung noch nicht gefestige Wähler:innen sich doch auch einfach Zeit lassen, weitere Informationen sammeln und die Briefwahlunterlagen dann kurz vor der Wahl ausfüllen und abgeben könnten?

Vorweg: Ich halte es für einigermaßen abenteuerlich und absurd darüber zu diskutieren, ob Umfragen verboten werden sollten. Aber da es diesen Thread hier schon gibt, schreibe ich das Folgende mal hier mit dazu.

Es ist möglich, dass die Umfragen in den letzten 3-4 Wochen vor der Wahl insbesondere was die ermittelten Werte für die SPD angeht zu einem Phänomen geführt haben, das man als „Herding“ bezeichnet. Lenny Bronner von der Washington Post hat darauf zuletzt in einigen Twitter-Threads hingewiesen. Um davon nur einen zu zitieren:

Zum „Herding“ ein paar Worte und Gedanken:

  • Kommentator:innen von Umfragen neigen dazu, einzelne Umfragen und momenthafte Aufnahmen zu überschätzen, die Tendenz der Gesamtschau aller Umfragen hingegen zu unterschätzen. Dies äußert sich dann einerseits etwa in der Annahme, eine einzelne Umfrage solle die politische Stimmung zum Zeitpunkt ihrer Durchführung exakt einschätzen, andererseits in der verbreiteten und nicht durch Empirie gestützten Klage darüber, dass Umfragen immer ungenauer werden oder immer schon ungenau waren. Kommentator:innen haben Schwierigkeiten damit, zu große Diskrepanzen zwischen zeitgleich unabhängig voneinander durchgführten Umfragen auszuhalten.

  • Bei einer Mehrzahl an Qualitätsumfrageinstituten, die jeweils unterschiedliche Befragungsarten und Mengen von Befragten, random samples und je eigene Haus-Faktoren im Hinblick auf die richtige Gewichtung der ermittelten Ergebnisse nutzen sind aber genau solche Diskrepanzen zwischen Einzelumfragen sowohl zwischen den Instituten als auch innerhalb desselben Instituts zu erwarten. Es ist zu erwarten, dass die ermittelten Werte für eine Partei eine gewisse Streuung aufweisen und eine Range abdecken, innerhalb derer das reale Stimmengewicht der Partei zu vermuten ist.

  • „Herding“ kommt dadurch zu Stande, dass Umfrageinstitute sich nicht ‚trauen‘, Umfragen zu veröffentlichen, die allzu weit vom Umfrage-Mainstream liegen, um sich diese Umfrage später nicht vorhalten lassen zu müssen bzw. gemeinsam mit allen anderen geirrt zu haben. Dazu gibt es vor allem zwei Möglichkeiten: (1) Institute publizieren Ausreißer-Umfragen nicht. Solche Ausreißer wären aber wichtig, um die reale Bandbreite der möglichen Ergebnisse abzudecken (2) Umfrageinsitute richten ihre Weighting-Faktoren so ein, dass ihre Endergebnisse näher am Mainstream liegen.

  • In der aktuellen Situation könnte „Herding“ vor allem bei den Ergebnissen der SPD vorkommen. Über die Hälfte aller im September ermittelten Ergebnisse sieht die SPD bei 25%, das Spektrum der SPD in den Umfragen bewegt sich lediglich zwischen 25-26%. Die Umfragewerte der CDU etwa bewegen sich hingegen mit 19-25% in einem Rahmen, der standardmäßig zu erwarten wäre.

  • Die Folgen des möglichen „Herding“: Die Umfragen verengen den Spielraum möglicher Outcomes für die SPD in einer Weise, die die realen Wahrscheinlichkeiten nicht widerspiegelt und die Unsicherheit ‚verschleiert‘. Während ein Ergebnis der CDU zwischen 19 und 25% nach den Umfragen mit hoher Wahrscheinlichkeit eintreten wird (mit größeren Wahrscheinlichkeiten, dass es etwa in der Mitte liegen wird), sind Überraschungen bei der SPD verglichen mit den Umfragen wahrscheinlicher als bei der CDU. Es ist zu vermuten, dass die Umfragen das Potential der SPD nach unten, nach oben oder in beide Richtungen um einige Punkte unterschätzen. Die Wahrscheinlichkeit, dass die Umfragen im Hinblick auf die SPD als ‚schlecht‘ wahrgenommen werden ist also höher. Natürlich ist es aber auch im Bereich des Möglichen, dass die SPD am Ende auf genau 25% kommt und das die Umfrageinstitute sehr smart aussehen lässt.

1 „Gefällt mir“

Ich mag es übersehen haben, aber mir fehlen bisher in der Nachwahlbetrachtung noch die Think Pieces über den eigentlichen Wahlsieger: die Wahl-Umfragen. Oder wie es Cornelius Hirsch im Politico-Newsletter schreibt: „German pollsters once again maintained their nearly clairvoyant ability to foresee the future, with surveys differing from the final figures on average by just 1.04 percentage points.“

Insbesondere die hochwohlgeborenen Damen und Herren des Instituts Allensbach müssen ihre Seele verkauft haben, so on point war die letzte Umfrage zwei Tage vor der Wahl. Interessant ist dabei, dass Allensbach als einziges Qualitätsinstitut keine Telefon- oder Onlinebefragungen, sondern Face to Face-Befragungen mit einem nach Quotenvorgaben ausgewählten Panel durchgführt hat. Es ist eine winzige sample size, aber möglicherweise sind persönlich-mündliche Befragungen dem alten Goldstandard der Telefonumfragen unter aktuellen medialen und Corona-Bedingungen überlegen, um Wahlabsichten einzuschätzen.

Nochmal ein interessanter Effekt, den ich bei mir selber beobachtet habe…
Mein Plan war es Links oder Grün zu wählen, was mir aber NOCH wichtiger war: Eine CDU-Regierung verhindern. Als die Umfragen ergaben, dass das Rennen zwischen CDU und SPD entschieden wird und ziemlich knapp ausgehen könnte, hatte ich auch überlegt, ob es taktisch nicht klüger sein könnte SPD zu wählen.

Vielleicht ging es nich nur mir so…

1 „Gefällt mir“