Category Publications

New Publication in Review of International Political Economy: Context-driven attitude formation

A few years back, Matthias Mader, Alexander Wuttke, Harald Schoen and I started on a project with the Konrad-Adenauer-Stiftung and the Arbeitgeberverband Gesamtmetall trying to explain public support and opposition toward the Transatlantic Trade and Investment Partnership (TTIP). While history has moved on since then, the project proved interesting. In our first publication based on this project Context-driven attitude formation: the difference between supporting free trade in the abstract and supporting specific trade agreements [Open Access] in the Review of International Political Economy, we show that Germans were thinking of TTIP as something distinct from free trade.

Determinants of attitudes toward free trade and TTIP. Reported are OLS coefficients and 95% confi- dence intervals from the regression models reported in Table 4, columns 5 and 6.

We find little correlation between supporting free trade in the abstract and supporting a specific trade agreement, TTIP. Factors usually identified in political economy as driving public support for trade agreements (i.e. economic self-interest or predispositions supporting openness of societies) do tell us little about public support or opposition toward TTIP. Instead, we show that in order to explain attitudes toward TTIP, you have to account for factors dominant in public discourse at the time (e.g. attitudes toward the partner country USA, the role of interest groups in politics, and market regulation).

To us, the lesson is that in order to understand public support or opposition toward specific trade agreements, we have to move away from models using a fixed set of explanatory variables toward models that are more flexible and reactive to public discourse. Models traditionally used to understand preferences for or against international integration in the abstract might thus tell us little about support or opposition toward specific instances of these measures once they are politicized and subjects of public discourse. If we ignore this, we run the risk of misunderstanding public reactions toward specific instances of international integration. Measures taken by decision makers based on these misunderstandings might then lead to unintended outcomes.

Abstract: Many studies use the same factors to explain attitudes toward specific trade agreements and attitudes toward the principle of free trade and thus treat both objects as interchangeable. Contemporary trade agreements, however, often reach beyond trade in the narrow sense. Consequently, factors unrelated to free trade may affect citizens’ evaluations of these agreements. We propose a model of attitude formation toward specific trade agreements that includes the societal context as a constitutive feature. We expect salient aspects of an agreement to activate corresponding predispositions. Empirically, we compare how this contextual model and a standard model perform in explaining German citizens’ attitudes toward free trade and the Transatlantic Trade and Investment Partnership (TTIP). The results show that the standard model performs well in explaining public opinion on the principle of free trade but is less useful in explaining attitudes toward TTIP. The latter were driven by postures toward transatlantic cooperation, predispositions toward the role of interest groups in politics, and market regulation – aspects salient in German public discourse about TTIP. In sum, we find ample evidence for the need to differentiate between the two attitude objects and for our contextual model of attitude formation.

Andreas Jungherr, Matthias Mader, Harald Schoen, and Alexander Wuttke. 2018. Context-driven attitude formation: The difference between supporting free trade in the abstract and supporting specific trade agreements. Review of International Political Economy. (Online First) doi:10.1080/09692290.2018.1431956 [Replication Data]

New publication: More than opinion expression – Secondary effects of intraparty referendums on party members

In 2015, Alexander Wuttke, Harald Schoen, and I had the chance to test the effects of a party referendum party members. Of course back then, we had no idea that this question would be so central to public debate as it has become in the context of the upcoming SPD party member referendum. The results have now published in the article More than opinion expression: Secondary effects of intraparty referendums on party members in Party Politics.

In collaboration with the Berlin state-branch of Germany’s CDU, we surveyed party members before and after an important membership referendum on same-sex marriage. Our study shows that the referendum increased members’sense of party-specific efficacy. In addition, the referendum provided party members with information on elite positions and stimulated leadership evaluation based on issue congruency. In combination, involvement in intraparty decision-making promotes beliefs and behaviors among party members that are relevant to uphold a vivid and empowering party life.

Distribution of party-specific political efficacy before and after the party referendum.

Abstract: As political parties expand opportunities for intraparty participation, understanding the effects of participatory events on party actors becomes ever more important. In this study, we investigate the consequences of an intraparty referendum in a state branch of Germany’s Christian Democratic Union on beliefs and attitudes of party members. We use longitudinal survey data bracketing a nonbinding issue referendum on the party’s stance on same-sex marriage. Our analysis shows that the referendum had secondary effects that went beyond the referendum’s primary goal of delivering an informal opinion poll to the party leadership. The experience of having a say in an important policy decision fostered members’ sense of party-specific efficacy. Furthermore, the referendum provided party members with information on elite positions and stimulated leadership evaluation based on issue congruency. Altogether, involvement in intraparty decision-making promotes beliefs and behaviors among the rank and file that are relevant to uphold a vivid and empowering party life.

Influence of respondent’s position toward same-sex marriage on evaluation of politician.

Alexander Wuttke, Andreas Jungherr, and Harald Schoen. 2017. More than opinion expression: Secondary effects of intraparty referendums on party members. Party Politics (Online First). doi:10.1177/1354068817745729 [Replication Data]

Neue Publikation PVS: Das Internet in der politischen Kommunikation – Forschungsstand und Perspektiven

Heute erscheint die neue Ausgabe der Politischen Vierteljahresschrift (PVS). Für die Ausgabe habe ich einen Überblick der aktuellen wissenschaftlichen Debatte zur Rolle digitaler Technologie in der politischen Kommunikation geschrieben.

Ziel des Überblicks ist, den aktuell auf unterschiedliche Fachbereiche verteilten Wissensstand zusammenzuführen und damit den Einstieg in ein Forschungsfeld zu erleichtern, das bisher von der Politikwissenschaft weitgehend ignoriert wurde.

Zwar gibt es prominente Politikwissenschaftler, die den Einfluss des Internets auf die Politik untersuchen, ihre einschlägigen Publikationen finden sich aber überwiegend in Zeitschriften der Kommunikationswissenschaft oder Nischenzeitschriften der Politikwissenschaft. Gründe hierfür sind wohl die überwiegend im Feld vorherrschende paradigmatische Auffassung von kleinen Medieneffekten auf politische Meinungsbildung und das überraschende Desinteresse an der Untersuchung von institutionsinternen Entscheidungs- und Entwicklungsprozessen in Parteien im Kontext moderner Organisationssoziologie. Diese Ausgangslage führt dazu, dass die Politikwissenschaft zu Fragen des Wandels politischer Kommunikation im Kontext der Digitalisierung wenig eigenständig beizutragen hat.

Dies erscheint zunehmend problematisch. Sei es die Rolle digitaler Technologie in den Wahlkämpfen Barack Obamas, die durch das Internet und Mobiltelefone gestützte Mobilisierung weltweiter Protestbewegungen, die Kontrolle des Internets durch autokratische Regime, der vermutete Zusammenhang zwischen der verstärkten Sichtbarkeit ideologisch geprägter Nischenmedien on- und offline und politischer Polarisierung oder die Potenziale des Internets als Datenquelle. Das Verständnis des Einflusses digitaler Kommunikationstechnologie ist zentral für das Verständnis politischer Prozesse und Phänomene der Gegenwart. Hier kann die interessierte Forscherin auf nun 20 Jahre intensiver Forschungsarbeit der Soziologie und Kommunikationswissenschaft zu gesellschaftlichen Auswirkungen der Digitalisierung im Allgemeinen und des Internets im Besonderen zurückgreifen. Dieser Artikel zeigt eine Reihe thematisch relevanter Fragestellungen und Befunde in der einschlägigen Literatur auf.

Der Artikel erscheint zu einem kritischen Zeitpunkt. Die Politikwissenschaft muss sich die Frage stellen wo und wie sie die Auswirkungen der Digitalisierung in ihren Theorien, Modellen und Methoden aufnehmen soll. Fest steht: Das Internet ist zentral in der zeitgenössischen politischen Kommunikation und wird es auch bleiben. Für die Politikwissenschaft stellt sich nun die Frage, wie mit diesem Befund umzugehen ist. Sieht man das Internet als bloße Datenquelle für konzeptionell unterentwickelte Zahlenspielchen, als Spielwiese putziger Sonderlinge, die sich in der Internet-Ethnographie verlustieren, oder nimmt man das Phänomen ernst und versucht, seinen Einfluss konzeptionell realistisch zu erfassen? Bleibt der politikwissenschaftliche Konsens bei den ersten beiden Optionen stehen, wird dies unweigerlich dazu führen, dass die Politikwissenschaft zu einem zentralen Element der Politik und der öffentlichen Meinungsbildung keine eigenständigen Beiträge anzubieten hätte. Stattdessen wäre man auf die freundschaftliche Hilfe der Kollegen Soziologen und Kommunikationswissenschaftler angewiesen. In einer Zeit, die zunehmend geprägt ist durch die diskursive Neuverhandlung gesellschaftlicher Werte und Institutionen, erscheint dies als wenig wünschenswerte Entwicklung für das Fach.

Den Artikel gibt es online auf der Seite der PVS und im Preprint hier.

Abstract: Das Internet ist zentrales Element moderner politischer Kommunikation. Trotz seiner Bedeutung wurde dieses Phänomen jedoch in den zentralen Debatten der Politikwissenschaft bisher nur oberflächlich thematisiert. Der vorliegende Literaturüberblick skizziert den sozialwissenschaftlichen Diskurs zur Nutzung des Internets in der politischen Kommunikation. Inhaltlich konzentriert sich der Artikel auf die Darstellung verfügbarer Literatur zur Ideengeschichte politischer Erwartungen an das Internet, die Nutzung des Internets durch politische Eliten und Organisationen sowie die Nutzung des Internets durch die Bevölkerung und damit verbundene Effekte. Der Artikel schließt mit der Darstellung systematischer Probleme in der thematisch relevanten Literatur und mit einem kurzen Ausblick auf mögliche Forschungsperspektiven.

Andreas Jungherr. 2017. Das Internet in der politischen Kommunikation: Forschungsstand und Perspektiven. Politische Vierteljahresschrift 58(2): 285-316. doi: 10.5771/0032-3470-2017-2-285 [Preprint]

Datengestützte Verfahren im Wahlkampf: Wie funktionieren sie und was können sie wirklich?

Für ein bevorstehendes Sonderheft der ZPB Zeitschrift für Politikberatung haben mich Svenja Falk, Andrea Römmele, Ralf Güldenzopf und Mario Voigt eingeladen, einen Artikel zur Funktion und Rolle von datengestützten Verfahren im Wahlkampf zu schreiben. Der Einladung bin ich natürlich gerne gefolgt. Da das Thema in Vorbereitung auf die kommende Bundestagswahl immer wieder eine Rolle spielt, anbei schon einmal den Preprint des Textes. Die Finalversion gibt es dann im Heft!

Abstract: Im Vorfeld der Bundestagswahl 2017 wird die Nutzung datengestützter Verfahren in Wahlkämpfen viel diskutiert. Kampagnenmacher, Journalisten und Öffentlichkeit stellt sich die Frage nach dem Potential und möglichen Gefahren der Nutzung großer Datensätze und statistischer Modelle durch politische Organisationen. Auch wenn das Thema viel Aufmerksamkeit erhält, sind konkrete Nutzungsweisen und Wirkungen datengestützter Verfahren im Wahlkampf nur sehr vage umrissen und verstanden. Vor diesem Hintergrund bietet der vorliegende Artikel einen Überblick der Rolle datengestützter Verfahren in Wahlkämpfen. Der Text beginnt mit einer Darstellung der grundsätzlichen Funktion datengestützter Verfahren im Wahlkampf, skizziert unterschiedliche Ansätze zur datengestützten Wähleransprache und diskutiert die Nutzung von Daten zur Evaluation von Kampagnentätigkeit und als rhetorisches Element von Kampagnen. Nach dieser Darstellung grundsätzlicher Nutzungsarten datengestützter Verfahren im Wahlkampf zeigt der Artikel wichtige Rahmenbedingungen auf und diskutiert, wie die Wirkung entsprechender Verfahren zu messen ist. Auf dieser Basis stellt der Artikel die Nutzung datengestützter Verfahren in deutschen Kampagnen dar. Der Artikel schließt mit Leitfragen, mit denen die Nutzung und Wirkung datengestützter Verfahren im Verlauf des Bundestagswahlkampfs 2017 untersucht und diskutiert werden kann.

In dem Text diskutiere ich drei grundlegende Nutzungsarten datengestützter Verfahren in Wahlkämpfen und ihre Bedeutung für deutsche Wahlkämpfe:

    1. Die Senkung von Wahlkampfkosten durch die Konzentration von Kampagnenkontakten auf vielversprechende Ansprechpartner;
    2. die Steigerung von durchgeführten Kontakten durch Effizienzgewinn in der Durchführung von Kontakten; und
    3. die Generierung wohlwollender Presseberichterstattung.

Hier geht es mir auch darum, einige der momentan in der Debatte umherschwirrenden übertriebenen Erwartungen an die Macht von Daten in der politischen Kommunikation zu erden:

Es entsteht schnell der Eindruck, dass eine den Daten innewohnende Magie Kampagnen eine gespenstische Sicherheit in der Auswahl und Ansprache von Wahlberechtigten gibt. Dies ist natürlich Unsinn. Datengestützte Verfahren dienen der Verringerung von Unsicherheit und damit der Senkung von Kosten vergeblicher Kontaktversuche für Kampagnen. Dies ist weit entfernt von tatsächlicher Sicherheit über die zu erwartende Reaktion von angesprochenen Wahlberechtigten. Auch wird allgemein die Qualität der Kampagnen vorliegenden Daten und der darauf entwickelten Modelle überschätzt. Ganz grundsätzlich basiert das Potential datengestützter Verfahren im Wahlkampf auf drei entscheidenden Elementen:

    1. Es müssen verlässliche Informationen über das Verhalten und die Einstellungen von Wahlberechtigten vorliegen, die für Kampagnen interessant sind und die sie beeinflussen wollen;
    2. Es müssen ausreichende personenbezogene Informationen zu Wahlberechtigten vorliegen, die Rückschlüsse auf Verhalten oder Einstellungen erlauben (siehe 1);
    3. Die Beziehungen zwischen Verhalten und Einstellungen von Wahlberechtigten (siehe 1) und den über sie vorliegenden Informationen (siehe 2) müssen über den Zeitverlauf zwischen Modellentwicklung und Wahltag stabil bleiben.

Dies sind anspruchsvolle Bedingungen, die bei weitem nicht für alle diskutierten Nutzungsweisen datengestützter Verfahren gegeben sind. In der Diskussion der Rolle datengestützter Verfahren im Wahlkampf ist also Gelassenheit ratsam und gesunde Skepsis gegenüber den Werbeversprechen reisender Datenhändler und der mit statistischen Modellen bewehrten Zukunftsschauer angebracht.

Andreas Jungherr. 2017. Datengestützte Verfahren im Wahlkampf. ZPB Zeitschrift für Politikberatung. (Im Erscheinen).

Twitter als Informationsquelle politischer Information

Heute veröffentlicht die Konrad-Adenauer Stiftung im Rahmen einer Podiumsdiskussion ein gemeinsames Diskussionspapier von Harald Schoen, Ralf Güldenzopf und mir in dem wir uns die Frage stellen ob und in welchen Kontexten Twitter-Daten wertvolle Informationen für die politische Kommunikation bieten.

Mit dem Papier reagieren wir auf aktuelle Trends in der politischen Berichterstattung und politischen Kampagnenführung, verstärkt unterschiedliche Social-Media Kanäle als Quelle informeller Meinungsbilder heranzuziehen. Besonders der Microblogging Dienst Twitter hat sich hierfür zu einer prominenten Quelle entwickelt. Zusätzlich geistert im Vorfeld von Wahlen verstärkt die Behauptung durch Medien und Öffentlichkeit man könne anhand von Twitter-Daten Wahlen vorhersagen.

Gegeben der zunehmenden Prominenz dieser Behauptung und der zunehmenden Integration von Twitter in der politischen Berichterstattung haben wir uns im Rahmen des Papiers die Aufgabe gestellt, dieses vermutete Potential Twitters politische Phänomene abzubilden zu testen. Hierbei konzentrierten wir uns auf drei Fragen:

1. Erlaubt Twitter die Erstellung korrekter Wahlprognosen oder aktueller politischer Meinungsbilder?

2. Bilden Themen in politikbezogenen Twitter-Nachrichten zutreffend die politische Themen-Agenda ab?

3. Erlauben Schwankungen im täglichen Volumen politikbezogener Twitter-Nachrichten zutreffenden Identifikation politisch relevanter Ereignisse im Verlauf einer Kampagne?

1. Wahlprognosen

Wahlprognosen auf Basis von Parteinennungen auf Twitter

Wahlprognosen auf Basis von Parteinennungen auf Twitter

Die vorangestellte Abbildung zeigt deutlich, dass Twitter-basierte Vorhersagen des Wahlergebnisses 2013 der wichtigsten Parteien überwiegend nicht ins Schwarze trafen. Hier vergleichen wir die Stimmanteile der acht größten deutschen Parteien mit den Anteilen ihrer Nennungen auf Twitter, sei es in Worten oder in Hashtags.

Twitter-basierter Prognosen unterschätzen den Stimmanteil der großen Parteien CDU und SPD und überschätzen die kleinen Parteien FDP, Piraten und AfD. Das hat unterschiedliche Gründe. Die FDP erhielt den Großteil ihrer Nennungen auf Twitter in der letzten Woche der Kampagne. Am 15.9.2013, also eine Woche vor der Bundestagswahl, fand in Bayern die Landtagswahl statt, bei der es der FDP nicht gelang, die Fünfprozenthürde zu überspringen und damit in den Landtag einzuziehen. Vom Wahlabend an stiegen die Nennungen der FDP deutlich im Vergleich zu dem Zeitraum vor der bayerischen Landtagswahl. Dieses Nachrichtenvolumen wurde hauptsächlich von Spekulationen und Spott über die Frage getrieben, ob die FDP auch bei der kommenden Bundestagswahl an der Fünfprozenthürde scheitern würde.

Betrachtet man die Nennungen der Piraten, wird deutlich, dass sich die Zahl der Nennungen im gesamten Kampagnenverlauf auf einem höheren Niveau bewegte als die Nennungen anderer Parteien. Dies wird bei Hashtagnennungen der Parteien besonders deutlich. Die Prominenz der Piraten auf Twitter scheint also unabhängig von spezifischen Anlässen wie Medienereignissen oder Kontroversen zu sein. Die Häufigkeit ihrer Nennungen ist höchst wahrscheinlich der starken Überrepräsentation von Piratenanhängern im Jahr 2013 auf Twitter im Vergleich zu den Anhängern anderer Parteien geschuldet. Die Erklärung der relativen Stärke der AfD lässt sich nicht im Zeitverlauf ihrer Nennungen finden. Stattdessen müssen wir uns hier die Nachrichten im Detail ansehen. Dabei zeigt sich, dass die Nennungen von einem sehr aktiven Unterstützerkern getrieben werden, die Partei aber auch sehr starke und kontinuierliche negative Reaktionen auf sich zog.

Schwächen Twitter-basierter Prognosen wurden also durch zwei unterschiedliche Gründe verursacht. Nennungen von Parteien folgten Aufmerksamkeitsschwankungen, die auf politische Ereignisse und Kontroversen reagierten (FDP, AfD), und spiegelten die überproportionale Präsenz und Aktivität von Unterstützern bestimmter Parteien (Piraten, AfD) wider. Keine dieser Ursachen ist systematisch mit Schwankungen in Wahlabsichten oder politischer Unterstützung verbunden. Dies zeigt ein Vergleich der Dynamik der Nennungen von Parteien auf Twitter und der Dynamik ihrer Umfrageergebnisse.

2. Twitter Agenda

Prominente Themen in politischen Twitter-Nachrichten im Vergleich der öffentlichen Agenda und der politischen Bericherstattung

Prominente Themen in politischen Twitter-Nachrichten im Vergleich der öffentlichen Agenda und der politischen Bericherstattung

Der direkte Vergleich zwischen den zehn prominentesten Themen über die vier verglichenen Agenden in der vorangestellten Abbildung zeigt viel Variation. Die öffentliche Agenda wird von Sorgen über Finanz- und Euro-Krisen, Arbeitslosigkeit, das Bildungssystem und Arbeitsmarktpolitik dominiert. Im Kontrast hierzu wird die Zeitungs-Agenda von der Berichterstattung über die NSA-Affäre, verschiedene internationale Krisen, die Finanz- und Euro-Krisen und Deutschlands Energieversorgung beherrscht. Auf der Fernsehagenda stehen dagegen internationale Krisen und der NSA-Skandal im Mittelpunkt, gefolgt von Verkehrs- und Verteidigungspolitik. Die Twitter-Agenda ist fokussiert auf den NSA-Skandal und Themen in Zusammenhang mit Vorratsdatenspeicherung, Datenschutz und Privatsphäre sowie Innenpolitik im Allgemeinen. Es fällt zudem ins Auge, dass die Twitter-Agenda deutlich konzentrierter ist als die anderen Themen-Agenden. 37,8% aller Nennungen auf Twitter entfielen auf den NSA-Skandal. Betrachten wir alle internetbezogenen Themen auf Twitter, entfällt fast die Hälfte aller Nennungen auf sie. Dies stützt die Interpretation, dass Twitter-Daten politische Realität widerspiegeln, dies allerdings gefiltert durch die Interessen politisch lautstarker Twitter-Nutzer.

3. Ereignisse

Tägliche Schwankungen im Volumen politisch relevanter Twitter-Nachrichten

Tägliche Schwankungen im Volumen politisch relevanter Twitter-Nachrichten

Die vorangehende Abbildung zeigt das tägliche Volumen von politisch relevanten Twitter-Nachrichten. Die Abbildung verdeutlicht, dass das Volumen politikbezogener Tweets an bestimmten Tagen deutlich von dem Volumen an den meisten anderen und insoweit „normalen“ Tagen abweicht. An diesen Tagen waren politischer Ereignisse oder Akteure deutlich stärker im Fokus der Aufmerksamkeit von Twitter-Nutzern als an anderen Tagen. Welche Ereignisse führten zu diesen Aufmerksamkeitsgipfeln?

Die Ereignisse, die zu Spitzenwerten politikbezogener Tweets führten, waren hauptsächlich Medienereignisse oder durch Medien ausgelöste Ereignisse. Besonders deutliche Spitzen wurden von der Fernsehdebatte der Kanzlerkandidaten und der medialen Berichterstattung an Wahlabenden ausgelöst. Während fast alle Spitzenwerte auf politisch relevante Ereignisse deuteten, so führten doch bei weitem nicht alle relevanten Ereignisse der Kampagne zu solchen Spitzen. Eine Vielzahl unabhängiger Ereignisse, Kontroversen und Kampagnenaktivitäten im Verlauf der Kampagne führten jedoch nicht zu sichtbaren Veränderungen im Volumen politikbezogener Twitter-Nachrichten.

Fazit:
In Bezug auf unsere eingangs gestellten Fragen sind unsere Ergebnisse also eher entmutigend. Weder erlaubten Twitter-Daten die Erstellung korrekter Wahlprognosen oder Meinungsbilder, noch die Identifizierung für die Bevölkerung relevanter politischer Themen oder die zuverlässige Identifikation relevanter Kampagnenereignissen.

Wir hoffen, mit dem Papier einen kleinen Dämpfer auf allzu enthusiastische Hoffnungen zu setzen, die zunehmend an die Nutzung digitaler Spurendaten in der politischen Kommunikation geknüpft werden. Es ist nicht so, dass wir glauben, die Analyse von Social-Media Daten enthalte keine wertvollen Informationen–im Gegenteil–allerdings glauben wir, dass wir momentan überwiegend Fragen an diese Daten stellen, die sie realistischer Weise nicht beantworten können:

Die Aussagekraft von Twitter als Informationsquelle über politische Phänomene hängt stark vom Erkenntnisinteresse ab. Politiker, Berater, Journalisten und Wissenschaftler, die in Twitter gleichsam eine Glaskugel zukünftiger politischer Geschehnisse sehen, werden notwendigerweise enttäuscht. Zu weit entfernt ist die Veröffentlichung eines Tweets von individuellen Wahlabsichten, als dass hier eine stabile und in Prognosen belastbare Beziehung zu erwarten wäre. Im Unterschied dazu erwächst Twitter ein Erkenntnispotential aus den täglichen Schwankungen in der politischen Aufmerksamkeit seiner Nutzer: Welche Themen, Akteure oder Inhalte binden wann die Aufmerksamkeit von sich zu Politik äußernden Twitter-Nutzern? Dies sind für Wissenschaftler offensichtlich interessante Fragen – Fragen, deren Bearbeitung zurzeit jedoch zu Gunsten des unrealistischen, aber einfach zu verfolgenden Ziels der Wahlvorhersage noch vernachlässigt werden, die jedoch das eigentliche wissenschaftliche Erkenntnispotential von Twitter-Daten bilden.

Auch Politikern und Journalisten versprechen Twitter-Daten wertvolle Erkenntnisse. Entscheidend ist jedoch auch für sie, dass sie sich von unrealistischen Erkenntniszielen lösen und stattdessen Antworten auf Fragen suchen, die Twitters datengenerierenden Prozess entsprechen. Dies betrifft am offensichtlichsten die Erwartung, dass Twitter-Daten die Erstellung von politischen Meinungsbildern ermöglichen. Sowohl das Auszählen einfacher Nennungen politischer Akteure in Twitter-Nachrichten als auch die Nutzung unterschiedlicher Verfahren der Sentiment-Analyse eröffnet keine systematischen Rückschlussmöglichkeiten auf öffentliche Meinung oder zukünftiges Wahlverhalten (Jungherr et al., 2016). Die Verwendung solcher Analysen in der Kampagnenplanung und -evaluation oder der politischen Berichterstattung ist also bestenfalls wenig mehr als eine Spielerei, im schlechteren Fall ein irreführendes Störsignal in der Entscheidungsfindung – vergleichbar mit dem wenig repräsentativen Stimmungstest am Stammtisch. Das heißt jedoch nicht, dass Twitter-Daten keine Erkenntnisse bereithalten. Eine Möglichkeit besteht darin, in Twitter-Nachrichten keine repräsentativen Meinungsbilder zu suchen, sondern Twitter-Nachrichten wie Äußerungen von Fokusgruppen zu betrachten.

Studie:
Andreas Jungherr, Harald Schoen und Ralf Güldenzopf. 2016. Twitter als politische Informationsquelle. Berlin: Konrad-Adenauer Stiftung. [pdf]

Weiterführende Texte:
Die in dem Papier durchgeführten Analysen basieren auf einer Reihe von wissenschaftlichen Arbeiten, die wir über die letzten Jahre durchgeführt haben. Wer an einer Vertiefung der hier angerissenen Themen interessiert ist sei auf die folgenden Texte verwiesen:

Andreas Jungherr, Harald Schoen, and Pascal Jürgens. 2016. The mediation of politics through Twitter: An analysis of messages posted during the campaign for the German federal election 2013. Journal of Computer-Mediated Communication. 21(1): 50-68. doi: 10.1111/jcc4.12143

Andreas Jungherr, Harald Schoen, Oliver Posegga, and Pascal Jürgens. 2016. Digital Trace Data in the Study of Public Opinion: An Indicator of Attention Toward Politics Rather Than Political Support. Social Science Computer Review. (Online First). doi: 10.1177/0894439316631043 [Online Appendix]

Andreas Jungherr. 2015. Analyzing Political Communication with Digital Trace Data: The Role of Twitter Messages in Social Science Research. Cham: Springer. [Springer Link] [amazon.de].

Medienecho:

Why you shouldn’t use Twitter to predict elections

Yesterday the Social Science Computer Review published a new paper by Harald Schoen, Oliver Posegga, Pascal Jürgens, and me on the futility of trying to predict elections with Twitter. This claim shouldn’t be all that controversial, but apparently it is.

Quite a few studies have identified fundamental problems with Twitter-based predictions. Especially Daniel Gayo-Avello has written multiple times about systematic flaws in these attempts, so has Takis Metaxas, and Mark Huberty. More fundamentally Fernando Diaz and colleagues have identified central challenges in interpreting social media data as proxies for survey results because of irregular fluctuations in the services’ user base and difficulties to consistently map this activity to established sentiment or opinion measures. The predictive potential of other digital services has also been challenged. For example, David Lazer, Gary King, and colleagues illustrated general challenges of working with these data by focusing on Google Flu Trends. So skeptics are in good company. Still, where there is a business case, there also is hope.

Building on earlier work, in our new paper we focused on checking the central claim underlying the arguments of proponents of using Twitter to predict elections, implicitly assuming that mentions of political actors somehow indicate political support. On the face of it, this argument seems highly unlikely but a series of apparently positive findings give the impression that there might be something to it. If we look closely at the data, though, we find that Twitter mentions much more likely indicate public attention towards politics, a concept that sometimes–but far from always–might be correlated with political support. As we state in the article:

“Our evidence raises doubts with regard to the validity of Twitter-based metrics as indicator for political support. In addition, trends in the daily mention counts of political parties showed no systematic link with trends in opinion polls. Instead, the dynamics in the daily mention counts of parties appear to correspond with media events, media coverage of politics, and controversies. It, therefore, appears far more likely that Twitter-based metrics measure public attention toward politics than political support. Sometimes attention might be a covariate of support, but this relationship is far from stable. Our analysis underscores the importance of approaching the use of digital trace data in the measurement and analysis of political and social phenomena cautiously and emphasizes the importance of using established standards of social science methodology in indicator validation to avoid premature conclusions.”

Thus, studies identifying Twitter to be a predictor of electoral results might in fact have identified cases in which public attention, manifested in Twitter messages, was correlated with public support. But, as the many negative findings by us and other researchers indicate, this relationship is far from universal. To use Twitter as indicator of electoral fortunes might thus be simply betting on the stability of the link between attention and support in any given election. A stability which various politicians at the center of controversy and scandal might doubt.

To be sure, this is not to say that Twitter-data do not hold significant potential for public opinion research. As we have stated elsewhere, Twitter messages mirror parts of social and political life mediated through the interests, attention, and motivations of Twitter users. There is a host of topics in which Twitter-data might be productively used:

Likely candidates for political phenomena to create digital traces are political media events, intense media coverage of politics, or public controversies. Accordingly, future research may focus on using Twitter data to analyze which kind of political information attracts Twitter users’ attention and is distributed online. This gives rise to important questions concerning the sources, that is, the media, political elites, or social networks, and conditions successful in getting Twitter users to pay attention to political information. Thus, Twitter has the potential to become a source of insight into conditions and dynamics of attention toward politics.

Unfortunately, much of recent research attention has been focused on trying to make Twitter-data fit other measurements of political and social life. While the hope for finding cheap and readily available proxies for expensive and slow survey-based measures of public opinion is understandable, Twitter might be an unlikely candidate to provide this proxy. So instead of overextending our expectations scholars should probably leave predictions to consultants and instead:

“[…] should acknowledge the conditional nature of findings more freely and be more careful in considering and analyzing the consequences of potentially varying data-generating mechanisms. This might lead Twitter-based research to free itself from inflated early expectations to find proxies of public opinion in Twitter-data and instead focus on the potential of digital trace data in yielding insights into public attention toward political information. Digital trace data may thus provide valuable information for public opinion research, though on different phenomena than those on which prior research focused.”

Andreas Jungherr, Harald Schoen, Oliver Posegga, and Pascal Jürgens. 2016. Digital Trace Data in the Study of Public Opinion: An Indicator of Attention Toward Politics Rather Than Political Support. Social Science Computer Review. (Online First). doi: 10.1177/0894439316631043 [Online Appendix]

This paper’s findings have be covered by The Hill, The Guardian, The Washington Post, Newsweek, Reuters, Ars Technica UK, Fortune, Politico EU, The World Economic Forum, and others.