Tag Twitter

Interview: WDR 5 Töne, Texte, Bilder – Twitter ist keine Glaskugel

Anlässlich der Twitter-Studie für die Konrad-Adenauer Stiftung sprach ich am Samstag mit Anja Backhaus vom Medienmagazin des WDR 5. In dem Interview geht es um die Nutzung von Twitter und digitalen Spurendaten in der politischen Kommunikation.

Andreas Jungherr im Interview mit Anja Backhaus: Twitter ist keine Glaskugel WDR 5 Töne, Texte, Bilder – Das Medienmagazin. 02/07/2016.

Twitter als Informationsquelle politischer Information

Heute veröffentlicht die Konrad-Adenauer Stiftung im Rahmen einer Podiumsdiskussion ein gemeinsames Diskussionspapier von Harald Schoen, Ralf Güldenzopf und mir in dem wir uns die Frage stellen ob und in welchen Kontexten Twitter-Daten wertvolle Informationen für die politische Kommunikation bieten.

Mit dem Papier reagieren wir auf aktuelle Trends in der politischen Berichterstattung und politischen Kampagnenführung, verstärkt unterschiedliche Social-Media Kanäle als Quelle informeller Meinungsbilder heranzuziehen. Besonders der Microblogging Dienst Twitter hat sich hierfür zu einer prominenten Quelle entwickelt. Zusätzlich geistert im Vorfeld von Wahlen verstärkt die Behauptung durch Medien und Öffentlichkeit man könne anhand von Twitter-Daten Wahlen vorhersagen.

Gegeben der zunehmenden Prominenz dieser Behauptung und der zunehmenden Integration von Twitter in der politischen Berichterstattung haben wir uns im Rahmen des Papiers die Aufgabe gestellt, dieses vermutete Potential Twitters politische Phänomene abzubilden zu testen. Hierbei konzentrierten wir uns auf drei Fragen:

1. Erlaubt Twitter die Erstellung korrekter Wahlprognosen oder aktueller politischer Meinungsbilder?

2. Bilden Themen in politikbezogenen Twitter-Nachrichten zutreffend die politische Themen-Agenda ab?

3. Erlauben Schwankungen im täglichen Volumen politikbezogener Twitter-Nachrichten zutreffenden Identifikation politisch relevanter Ereignisse im Verlauf einer Kampagne?

1. Wahlprognosen

Wahlprognosen auf Basis von Parteinennungen auf Twitter

Wahlprognosen auf Basis von Parteinennungen auf Twitter

Die vorangestellte Abbildung zeigt deutlich, dass Twitter-basierte Vorhersagen des Wahlergebnisses 2013 der wichtigsten Parteien überwiegend nicht ins Schwarze trafen. Hier vergleichen wir die Stimmanteile der acht größten deutschen Parteien mit den Anteilen ihrer Nennungen auf Twitter, sei es in Worten oder in Hashtags.

Twitter-basierter Prognosen unterschätzen den Stimmanteil der großen Parteien CDU und SPD und überschätzen die kleinen Parteien FDP, Piraten und AfD. Das hat unterschiedliche Gründe. Die FDP erhielt den Großteil ihrer Nennungen auf Twitter in der letzten Woche der Kampagne. Am 15.9.2013, also eine Woche vor der Bundestagswahl, fand in Bayern die Landtagswahl statt, bei der es der FDP nicht gelang, die Fünfprozenthürde zu überspringen und damit in den Landtag einzuziehen. Vom Wahlabend an stiegen die Nennungen der FDP deutlich im Vergleich zu dem Zeitraum vor der bayerischen Landtagswahl. Dieses Nachrichtenvolumen wurde hauptsächlich von Spekulationen und Spott über die Frage getrieben, ob die FDP auch bei der kommenden Bundestagswahl an der Fünfprozenthürde scheitern würde.

Betrachtet man die Nennungen der Piraten, wird deutlich, dass sich die Zahl der Nennungen im gesamten Kampagnenverlauf auf einem höheren Niveau bewegte als die Nennungen anderer Parteien. Dies wird bei Hashtagnennungen der Parteien besonders deutlich. Die Prominenz der Piraten auf Twitter scheint also unabhängig von spezifischen Anlässen wie Medienereignissen oder Kontroversen zu sein. Die Häufigkeit ihrer Nennungen ist höchst wahrscheinlich der starken Überrepräsentation von Piratenanhängern im Jahr 2013 auf Twitter im Vergleich zu den Anhängern anderer Parteien geschuldet. Die Erklärung der relativen Stärke der AfD lässt sich nicht im Zeitverlauf ihrer Nennungen finden. Stattdessen müssen wir uns hier die Nachrichten im Detail ansehen. Dabei zeigt sich, dass die Nennungen von einem sehr aktiven Unterstützerkern getrieben werden, die Partei aber auch sehr starke und kontinuierliche negative Reaktionen auf sich zog.

Schwächen Twitter-basierter Prognosen wurden also durch zwei unterschiedliche Gründe verursacht. Nennungen von Parteien folgten Aufmerksamkeitsschwankungen, die auf politische Ereignisse und Kontroversen reagierten (FDP, AfD), und spiegelten die überproportionale Präsenz und Aktivität von Unterstützern bestimmter Parteien (Piraten, AfD) wider. Keine dieser Ursachen ist systematisch mit Schwankungen in Wahlabsichten oder politischer Unterstützung verbunden. Dies zeigt ein Vergleich der Dynamik der Nennungen von Parteien auf Twitter und der Dynamik ihrer Umfrageergebnisse.

2. Twitter Agenda

Prominente Themen in politischen Twitter-Nachrichten im Vergleich der öffentlichen Agenda und der politischen Bericherstattung

Prominente Themen in politischen Twitter-Nachrichten im Vergleich der öffentlichen Agenda und der politischen Bericherstattung

Der direkte Vergleich zwischen den zehn prominentesten Themen über die vier verglichenen Agenden in der vorangestellten Abbildung zeigt viel Variation. Die öffentliche Agenda wird von Sorgen über Finanz- und Euro-Krisen, Arbeitslosigkeit, das Bildungssystem und Arbeitsmarktpolitik dominiert. Im Kontrast hierzu wird die Zeitungs-Agenda von der Berichterstattung über die NSA-Affäre, verschiedene internationale Krisen, die Finanz- und Euro-Krisen und Deutschlands Energieversorgung beherrscht. Auf der Fernsehagenda stehen dagegen internationale Krisen und der NSA-Skandal im Mittelpunkt, gefolgt von Verkehrs- und Verteidigungspolitik. Die Twitter-Agenda ist fokussiert auf den NSA-Skandal und Themen in Zusammenhang mit Vorratsdatenspeicherung, Datenschutz und Privatsphäre sowie Innenpolitik im Allgemeinen. Es fällt zudem ins Auge, dass die Twitter-Agenda deutlich konzentrierter ist als die anderen Themen-Agenden. 37,8% aller Nennungen auf Twitter entfielen auf den NSA-Skandal. Betrachten wir alle internetbezogenen Themen auf Twitter, entfällt fast die Hälfte aller Nennungen auf sie. Dies stützt die Interpretation, dass Twitter-Daten politische Realität widerspiegeln, dies allerdings gefiltert durch die Interessen politisch lautstarker Twitter-Nutzer.

3. Ereignisse

Tägliche Schwankungen im Volumen politisch relevanter Twitter-Nachrichten

Tägliche Schwankungen im Volumen politisch relevanter Twitter-Nachrichten

Die vorangehende Abbildung zeigt das tägliche Volumen von politisch relevanten Twitter-Nachrichten. Die Abbildung verdeutlicht, dass das Volumen politikbezogener Tweets an bestimmten Tagen deutlich von dem Volumen an den meisten anderen und insoweit „normalen“ Tagen abweicht. An diesen Tagen waren politischer Ereignisse oder Akteure deutlich stärker im Fokus der Aufmerksamkeit von Twitter-Nutzern als an anderen Tagen. Welche Ereignisse führten zu diesen Aufmerksamkeitsgipfeln?

Die Ereignisse, die zu Spitzenwerten politikbezogener Tweets führten, waren hauptsächlich Medienereignisse oder durch Medien ausgelöste Ereignisse. Besonders deutliche Spitzen wurden von der Fernsehdebatte der Kanzlerkandidaten und der medialen Berichterstattung an Wahlabenden ausgelöst. Während fast alle Spitzenwerte auf politisch relevante Ereignisse deuteten, so führten doch bei weitem nicht alle relevanten Ereignisse der Kampagne zu solchen Spitzen. Eine Vielzahl unabhängiger Ereignisse, Kontroversen und Kampagnenaktivitäten im Verlauf der Kampagne führten jedoch nicht zu sichtbaren Veränderungen im Volumen politikbezogener Twitter-Nachrichten.

Fazit:
In Bezug auf unsere eingangs gestellten Fragen sind unsere Ergebnisse also eher entmutigend. Weder erlaubten Twitter-Daten die Erstellung korrekter Wahlprognosen oder Meinungsbilder, noch die Identifizierung für die Bevölkerung relevanter politischer Themen oder die zuverlässige Identifikation relevanter Kampagnenereignissen.

Wir hoffen, mit dem Papier einen kleinen Dämpfer auf allzu enthusiastische Hoffnungen zu setzen, die zunehmend an die Nutzung digitaler Spurendaten in der politischen Kommunikation geknüpft werden. Es ist nicht so, dass wir glauben, die Analyse von Social-Media Daten enthalte keine wertvollen Informationen–im Gegenteil–allerdings glauben wir, dass wir momentan überwiegend Fragen an diese Daten stellen, die sie realistischer Weise nicht beantworten können:

Die Aussagekraft von Twitter als Informationsquelle über politische Phänomene hängt stark vom Erkenntnisinteresse ab. Politiker, Berater, Journalisten und Wissenschaftler, die in Twitter gleichsam eine Glaskugel zukünftiger politischer Geschehnisse sehen, werden notwendigerweise enttäuscht. Zu weit entfernt ist die Veröffentlichung eines Tweets von individuellen Wahlabsichten, als dass hier eine stabile und in Prognosen belastbare Beziehung zu erwarten wäre. Im Unterschied dazu erwächst Twitter ein Erkenntnispotential aus den täglichen Schwankungen in der politischen Aufmerksamkeit seiner Nutzer: Welche Themen, Akteure oder Inhalte binden wann die Aufmerksamkeit von sich zu Politik äußernden Twitter-Nutzern? Dies sind für Wissenschaftler offensichtlich interessante Fragen – Fragen, deren Bearbeitung zurzeit jedoch zu Gunsten des unrealistischen, aber einfach zu verfolgenden Ziels der Wahlvorhersage noch vernachlässigt werden, die jedoch das eigentliche wissenschaftliche Erkenntnispotential von Twitter-Daten bilden.

Auch Politikern und Journalisten versprechen Twitter-Daten wertvolle Erkenntnisse. Entscheidend ist jedoch auch für sie, dass sie sich von unrealistischen Erkenntniszielen lösen und stattdessen Antworten auf Fragen suchen, die Twitters datengenerierenden Prozess entsprechen. Dies betrifft am offensichtlichsten die Erwartung, dass Twitter-Daten die Erstellung von politischen Meinungsbildern ermöglichen. Sowohl das Auszählen einfacher Nennungen politischer Akteure in Twitter-Nachrichten als auch die Nutzung unterschiedlicher Verfahren der Sentiment-Analyse eröffnet keine systematischen Rückschlussmöglichkeiten auf öffentliche Meinung oder zukünftiges Wahlverhalten (Jungherr et al., 2016). Die Verwendung solcher Analysen in der Kampagnenplanung und -evaluation oder der politischen Berichterstattung ist also bestenfalls wenig mehr als eine Spielerei, im schlechteren Fall ein irreführendes Störsignal in der Entscheidungsfindung – vergleichbar mit dem wenig repräsentativen Stimmungstest am Stammtisch. Das heißt jedoch nicht, dass Twitter-Daten keine Erkenntnisse bereithalten. Eine Möglichkeit besteht darin, in Twitter-Nachrichten keine repräsentativen Meinungsbilder zu suchen, sondern Twitter-Nachrichten wie Äußerungen von Fokusgruppen zu betrachten.

Studie:
Andreas Jungherr, Harald Schoen und Ralf Güldenzopf. 2016. Twitter als politische Informationsquelle. Berlin: Konrad-Adenauer Stiftung. [pdf]

Weiterführende Texte:
Die in dem Papier durchgeführten Analysen basieren auf einer Reihe von wissenschaftlichen Arbeiten, die wir über die letzten Jahre durchgeführt haben. Wer an einer Vertiefung der hier angerissenen Themen interessiert ist sei auf die folgenden Texte verwiesen:

Andreas Jungherr, Harald Schoen, and Pascal Jürgens. 2016. The mediation of politics through Twitter: An analysis of messages posted during the campaign for the German federal election 2013. Journal of Computer-Mediated Communication. 21(1): 50-68. doi: 10.1111/jcc4.12143

Andreas Jungherr, Harald Schoen, Oliver Posegga, and Pascal Jürgens. 2016. Digital Trace Data in the Study of Public Opinion: An Indicator of Attention Toward Politics Rather Than Political Support. Social Science Computer Review. (Online First). doi: 10.1177/0894439316631043 [Online Appendix]

Andreas Jungherr. 2015. Analyzing Political Communication with Digital Trace Data: The Role of Twitter Messages in Social Science Research. Cham: Springer. [Springer Link] [amazon.de].

Medienecho:

Why you shouldn’t use Twitter to predict elections

Yesterday the Social Science Computer Review published a new paper by Harald Schoen, Oliver Posegga, Pascal Jürgens, and me on the futility of trying to predict elections with Twitter. This claim shouldn’t be all that controversial, but apparently it is.

Quite a few studies have identified fundamental problems with Twitter-based predictions. Especially Daniel Gayo-Avello has written multiple times about systematic flaws in these attempts, so has Takis Metaxas, and Mark Huberty. More fundamentally Fernando Diaz and colleagues have identified central challenges in interpreting social media data as proxies for survey results because of irregular fluctuations in the services’ user base and difficulties to consistently map this activity to established sentiment or opinion measures. The predictive potential of other digital services has also been challenged. For example, David Lazer, Gary King, and colleagues illustrated general challenges of working with these data by focusing on Google Flu Trends. So skeptics are in good company. Still, where there is a business case, there also is hope.

Building on earlier work, in our new paper we focused on checking the central claim underlying the arguments of proponents of using Twitter to predict elections, implicitly assuming that mentions of political actors somehow indicate political support. On the face of it, this argument seems highly unlikely but a series of apparently positive findings give the impression that there might be something to it. If we look closely at the data, though, we find that Twitter mentions much more likely indicate public attention towards politics, a concept that sometimes–but far from always–might be correlated with political support. As we state in the article:

“Our evidence raises doubts with regard to the validity of Twitter-based metrics as indicator for political support. In addition, trends in the daily mention counts of political parties showed no systematic link with trends in opinion polls. Instead, the dynamics in the daily mention counts of parties appear to correspond with media events, media coverage of politics, and controversies. It, therefore, appears far more likely that Twitter-based metrics measure public attention toward politics than political support. Sometimes attention might be a covariate of support, but this relationship is far from stable. Our analysis underscores the importance of approaching the use of digital trace data in the measurement and analysis of political and social phenomena cautiously and emphasizes the importance of using established standards of social science methodology in indicator validation to avoid premature conclusions.”

Thus, studies identifying Twitter to be a predictor of electoral results might in fact have identified cases in which public attention, manifested in Twitter messages, was correlated with public support. But, as the many negative findings by us and other researchers indicate, this relationship is far from universal. To use Twitter as indicator of electoral fortunes might thus be simply betting on the stability of the link between attention and support in any given election. A stability which various politicians at the center of controversy and scandal might doubt.

To be sure, this is not to say that Twitter-data do not hold significant potential for public opinion research. As we have stated elsewhere, Twitter messages mirror parts of social and political life mediated through the interests, attention, and motivations of Twitter users. There is a host of topics in which Twitter-data might be productively used:

Likely candidates for political phenomena to create digital traces are political media events, intense media coverage of politics, or public controversies. Accordingly, future research may focus on using Twitter data to analyze which kind of political information attracts Twitter users’ attention and is distributed online. This gives rise to important questions concerning the sources, that is, the media, political elites, or social networks, and conditions successful in getting Twitter users to pay attention to political information. Thus, Twitter has the potential to become a source of insight into conditions and dynamics of attention toward politics.

Unfortunately, much of recent research attention has been focused on trying to make Twitter-data fit other measurements of political and social life. While the hope for finding cheap and readily available proxies for expensive and slow survey-based measures of public opinion is understandable, Twitter might be an unlikely candidate to provide this proxy. So instead of overextending our expectations scholars should probably leave predictions to consultants and instead:

“[…] should acknowledge the conditional nature of findings more freely and be more careful in considering and analyzing the consequences of potentially varying data-generating mechanisms. This might lead Twitter-based research to free itself from inflated early expectations to find proxies of public opinion in Twitter-data and instead focus on the potential of digital trace data in yielding insights into public attention toward political information. Digital trace data may thus provide valuable information for public opinion research, though on different phenomena than those on which prior research focused.”

Andreas Jungherr, Harald Schoen, Oliver Posegga, and Pascal Jürgens. 2016. Digital Trace Data in the Study of Public Opinion: An Indicator of Attention Toward Politics Rather Than Political Support. Social Science Computer Review. (Online First). doi: 10.1177/0894439316631043 [Online Appendix]

This paper’s findings have be covered by The Hill, The Guardian, The Washington Post, Newsweek, Reuters, Ars Technica UK, Fortune, Politico EU, The World Economic Forum, and others.