What's new?

Read Blog

Einschätzung zur KI im Wahlkampf

Für einen Beitrag im ZDF heute journal habe ich eine Einschätzung zur Rolle von KI im Wahlkampf gegeben.

Click on the button to load the content from ngp.zdf.de.

Load content

New Course: Misinformation, disinformation and other digital fakery

For this summer semester, I designed a new research seminar on misinformation, disinformation and other digital fakery.

Course Description: Threats of misinformation, disinformation, and other digital fakery are prominent in academic and public discourse. News media feature examples of digital disinformation prominently. Politicians accuse opponents regularly of slinging disinformation. Regulators justify initiatives of increasing corporate and state control over digital communication environments with threats of disinformation to democracies. But responsible regulation means establishing a balance between the risks of disinformation and the risks of regulatory interventions. This asks for a solid, empirically grounded understanding of the reach and effects of digital disinformation and underlying mechanisms. This raises the importance for the social sciences to reliably conceptualize, measure, and analyze the nature, spread, and impact of disinformation in digital communication environments. This course provides students with a solid understanding of core concepts related to misinformation, disinformation, and other digital fakery and supports them in the independent development of related research projects.

[Syllabus]

New course: Artificial Intelligence and Democracy

For the coming summer semester, I designed a new course on the impact of Artificial Intelligence on democracy.

Course Description: As Artificial Intelligence (AI) continues to advance, it becomes crucial to understand its economic, social, and political implications. The course provides students with a comprehensive and realistic understanding of AI’s impact on democracy and the public arena.

We first establish foundational knowledge about the workings of AI and the foundations and context conditions for its success. We then discuss core issues in AI’s impact on democracy. This includes:

  • AI risks and safety,
  • AI Governance,
  • the future of work,
  • AI and the public arena,
  • AI in campaigning, and
  • AI and autocracies.
  • The seminar will introduce the history, concepts, theories, and research methods at the intersection of AI and democracy. We will examine the interplay between digitalization, society, and politics, as well as the various investigative approaches used in this field. Relevant topics will be discussed in the context of current international case studies, offering students an in-depth understanding of the complex relationship between AI and democratic processes.

    [Syllabus]

    Interview zum Umgang mit möglichen Falschinformationen im Internet

    Im Bayern 2 Tagesgespräch habe ich über den Umgang mit Falschinformationen im Internet gesprochen.

    Click on the button to load the content from www.ardmediathek.de.

    Load content

  • Stephanie Heinzeller: Wie kritisch gehen Sie mit Informationen um?. Tagesgespräch. Bayern 2. 2024/04/02.
  • Einschätzung zur Rolle von KI-generierter Information im Wahlkampf

    Das Science Media Center Germany hat mich um eine Einschätzung zur Rolle von KI-generierter Desinformation im Wahlkampf gebeten:

    Frage: Welchen Einfluss können KIs zur Erstellung oder Bearbeitung von Bildern und Videos auf öffentliche Meinungsbildung, online-Informationsfluss oder Wahlen haben? Wie ist der Stand der Forschung dazu?

    KI-erstellte oder KI-bearbeitete Bilder funktionieren im Wahlkampf wie andere Bildfälschungen oder -bearbeitungen. Der Wahlkampf ist immer einer Zeit des extremen Wettbewerbs um Aufmerksamkeit. Um Einfluss zu entwickeln, müssen Bilder einen Moment oder eine Position symbolisch verdichtet abbilden. Gelingt dies und werden Bilder im richtigen Moment in den Umlauf gebracht, können sie von Medien, Diskurseliten oder Politikerinnen und Politikern aufgegriffen und weiterverbreitet werden. Der Einfluss von KI-generierten Bildern hängt also nicht primär von technischer Perfektion oder Photorealismus ab, sondern von der Bereitschaft der Medien und politischer Akteure entsprechende Bilder aufzugreifen, in ihre Narrativen zu integrieren und damit weiter zu verbreiten. Etwaige Probleme mit KI-generierter Desinformation in Wahlkämpfen stammen also weniger aus der Technik, als der Bereitschaft politischer Eliten Falschinformationen zu verwenden und der Medien Aufregerthemen prominent zu platzieren.

    Frage: Welche Gegenmaßnahmen halten Sie für sinnvoll?

    Der Umgang mit KI-generierten Inhalten wird klar ein wichtiges Element in politischer Kommunikation und Berichterstattung. Hier müssen Politik und Journalismus Kompetenzen entwickeln. Ein möglicher Umgang mit KI-generierten Inhalten kann sein, dass Regierung, Parteien und Medienmarken ihr Bild- und Videomaterial mit eindeutigen digitalen Fingerabdrücken kennzeichnen. Damit würden entsprechende Akteure signalisieren welche Inhalte verlässlich von ihnen stammen, so dass mögliche Fälschungen schneller für professionelle Beobachter und Kommentatoren identifizierbar sind.

    Grundsätzlich sollten wir in der Gesellschaft breiter KI-Nutzungskompetenzen vermittelt. Hierbei sollte der Fokus allerdings auf der Ermächtigung durch KI-Nutzung liegen, anstelle der Vermittlung von Angst und Überforderung durch herbeifantasierte Phänomene auf Basis anekdotischer Evidenz oder mit bestenfalls marginaler Wirkung – wie Wahlbetrug durch KI-generierter Desinformation. Teil der gesellschaftlichen KI-Kompetenz ist eben auch, nicht jede Panik-Welle unkritisch mitzunehmen und anzufeuern.

    Wie sich diese Einschätzungen zu denen geschätzter Kolleginnen und Kollegen verhalten kann man hier sehen.

    Interview: Die Rolle von Künstlicher Intelligenz in der Politischen Kommunikation

    Mit Daniel Feldhaus von der Konrad-Adenauer-Stiftung habe ich über die Rolle von künstlicher Intelligenz in der politischen Kommunikation gesprochen.

    YouTube

    By loading the video, you agree to YouTube's privacy policy.
    Learn more

    Load video

    New publication: Negative Downstream Effects of Alarmist Disinformation Discourse: Evidence from the United States

    As fears of disinformation are rising again in face of an international super-election year, this new publication might be timely:

    In a survey-experiment Adrian Rauchfleisch and I show that alarmist warnings against disinformation carry significant unintended negative effects.

    Alarmist warnings against disinformation increase peoples’ perception of disinformation as a dangerous societal threat, lower democratic satisfaction and heighten support for restrictive regulation of digital communication environments.

    In contrast, balanced accounts – containing information about the presence and dangers of digital disinformation but also information about its limited reach and persuasive appeal – did lower threat perceptions and carried no negative downstream effects.

    This shows that it matters how scientists, journalists, and politicians discuss the dangers of digital disinformation.

    Of course, it is not an option to ignore dangers of disinformation when they are real. But alarmist warnings also carry dangers.

    This should give us pause and make us reexamine the empirical evidence:

    If various findings from political and communication science are correct that disinformation has limited reach and persuasive appeal and that disinformation is a drifting concept which is often used by those in power to delegitimize others academics should be very careful in exaggerating the dangers of disinformation in public discourse and push for balanced accounts of all the available evidence.

    By exaggerating the dangers of digital communication environments for democracy, we might end up damaging the very thing we wish to protect. The stories we tell about digital media and their role in democracy and society matter.

    We need to choose well and choose responsibly.

    Abstract: The threat of disinformation features strongly in public discourse, but scientific findings remain conflicted about disinformation effects and reach. Accordingly, indiscriminate warnings about disinformation risk overestimating its effects and associated dangers. Balanced accounts that document the presence of digital disinformation while accounting for empirically established limits offer a promising alternative. In a preregistered experiment, U.S. respondents were exposed to two treatments designed to resemble typical journalistic contributions discussing disinformation. The treatment emphasizing the dangers of disinformation indiscriminately (T1) raised the perceived dangers of disinformation among recipients. The balanced treatment (T2) lowered the perceived threat level. T1, but not T2, had negative downstream effects, increasing respondent support for heavily restrictive regulation of speech in digital communication environments. Overall, we see a positive correlation among all respondents between the perceived threat of disinformation to societies and dissatisfaction with the current state of democracy.

    Andreas Jungherr and Adrian Rauchfleisch. 2024. Negative Downstream Effects of Alarmist Disinformation Discourse: Evidence from the United States. Political Behavior. Online first. doi: 10.1007/s11109-024-09911-3

    Neue Veröffentlichung: Künstliche Intelligenz in der Demokratie

    In der aktuellen Ausgabe der Zeitschrift Einsichten und Perspektiven der Bayerischen Landeszentrale für politische Bildungsarbeit habe ich einen Überblicksartikel zu den Auswirkungen der künstlichen Intelligenz auf die Demokratie verfasst. Der Text gibt einen populärwissenschaftlichen Überblick der aktuellen Debatten und verfügbaren wissenschaftlichen Befunde zum Einfluss von KI auf die Demokratie.

    Andreas Jungherr. 2023. Künstliche Intelligenz und Demokratie. Einsichten und Perspektiven: Bayerische Zeitschrift für Politik und Geschichte (4/2023), S. 37-43.

    The impact of artificial intelligence on democracy: Talk at NORFACE Governance

    For the NORFACE Governance Online Lecture Series, I gave a talk on the Impact of Artificial Intelligence on Democracy.

    YouTube

    By loading the video, you agree to YouTube's privacy policy.
    Learn more

    Load video

    Slides: The impact of artificial intelligence on democracy.

    Abstract: The success and widespread deployment of artificial intelligence (AI) have raised awareness of the technology’s economic, social, and political consequences. Each new step in the development and application of AI is accompanied by speculations about a supposedly imminent but largely fictional artificial general intelligence (AGI) with (super-)human capacities, as seen in the unfolding discourse about capabilities and impact of large language models (LLMs) in the wake of ChatGPT. These far-reaching expectations lead to a discussion on the societal and political impact of AI that is largely dominated by unfocused fears and enthusiasms. In contrast, this talk provides a framework for a more focused and productive analysis and discussion of AI’s likely impact on one specific social field: democracy.

    First, it is necessary to be clear about the workings of AI. This means differentiating between what is at present a largely imaginary AGI and narrow artificial intelligence focused on solving specific tasks. This distinction allows for a critical discussion of how AI affects different aspects of democracy, including its effects on the conditions of self-rule and people’s opportunities to exercise it, equality, the institution of elections, and competition between democratic and autocratic systems of government.

    The talk will show that the consequences of today’s AI are more specific for democracy than broad speculation about AGI capabilities implies. Focusing on these specific aspects will account for actual threats and opportunities and thus allow for better monitoring of AI’s impact on democracy in an interdisciplinary effort by computer and social scientists.

    The talk is based on two recent articles on Artificial Intelligence and Democracy and Artificial Intelligence in the Public Arena:

  • Artificial Intelligence and Democracy: A Conceptual Framework
  • Artificial Intelligence and the Public Arena
  • Einschätzung: Kooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen und Wissenschaftlern

    Was ist von der neuen Forschungskooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen zu halten? Zu dieser Frage habe ich dem Science Media Center Germany eine Einschätzung gegeben:

    Frage: Wie beurteilen Sie die Studie methodisch? Sind die Schlüsse, die die Autorinnen und Autoren ziehen, gerechtfertigt?

    Antwort: Die vorliegenden Studien zeigen ausgewählte Effekte von zwei spezifischen Charakteristiken von Facebook und Instagram, dem algorithmisch selektierten Newsfeed und von anderen Nutzern geteilten Inhalten, und beschreiben Muster in der Nutzung der Nachrichtennutzung von politisch aktiven Nutzerinnen und Nutzer im US-Präsidentschaftswahlkampf 2020.

    Die vorgestellten Befunde sind interessant, nicht zuletzt, da es für die Wissenschaft sehr schwierig ist, die Effekt der Nutzung digitaler Plattformen zu identifizieren. Dennoch bleibt festzustellen, dass die hier vorgestellten Ergebnisse sehr begrenzt sind und relativ wenig zu den eigentlichen Fragen zur Rolle digitaler Plattformen in der politischen Kommunikation beitragen.

    Zum Beispiel, in der ersten Studie testen die Autorinnen und Autoren unterschiedliche Wirkungen des algorithmisch sortierten Newsfeeds und eines chronologisch sortierten Newsfeeds experimentell. Zu ihrer eigenen Überraschung stellen sie keine oder nur begrenzte Effekte auf politische Einstellungen fest. Dies ist erst einmal interessant, hilft uns aber wenig bei der Einschätzung der Rolle von Facebook oder Instagram in Wahlkämpfen.

    Zwei entscheidende Einschränkungen der Studie gilt es bei der Einordnung der Befunde zu bedenken:

  • Die Wissenschaftlerinnen und Wissenschaftler behandeln den Facebook und Instagram Algorithmus als Black Box in dessen Funktionsweise sie keinen Einblick haben. Sie testen nur, ob die 2020 implementierte Version des Algorithmus andere Effekte hatte als ein chronologisch sortiertes Feed. Das ist sicherlich interessant, führt aber dazu, dass diese Ergebnisse nur für diese spezifische Implementation des Algorithmus gelten. Der Newsfeed Algorithmus unterliegt stetigen Änderungen, die von außen nicht beobachtbar sind. Wir wissen also nicht, nach welchen Regeln Meta Inhalte zur Anzeige auswählt, welchen Effekt einzelne dieser Regeln haben und ob es zwischen Wahlen wichtige Änderungen gab. Viele der Vorbehalte gegenüber der politischen Rolle von Facebook und Instagram stammen aus dem US-Präsidentschaftswahlkampf 2016 und anderen internationalen Wahlen (wie zum Beispiel Brasilien). Die vorliegenden Studien können uns hierzu nichts sagen. Auf der Basis dieser Befunde sollte man also nicht generell über die Rolle von Facebook oder Instagram in Wahlkämpfen schließen.
  • Die Autorinnen und Autoren untersuchen die Effekte auf Einstellungen über alle Nutzerinnen und Nutzer in ihrem Sample. Hier stellen sie überwiegend keine Effekte auf politische Einstellungen fest. Das ist interessant. Aber die aktuelle Forschung zur Rolle von Facebook oder Instagram im Kontext politischer Radikalisierung oder Falschinformationen geht ohnehin nicht von gesamtgesellschaftlichen Effekten aus, sondern von Effekten auf Kleingruppen, die entweder psychologisch, ideologisch oder strukturell besonders anfällig für Botschaften oder Inhalte sind, die ihnen auf digitalen Plattformen eventuell algorithmisch verstärkt angezeigt werden. Hierzu können die vorliegenden Studien nicht sprechen und unternehmen sogar überraschender Weise gar keinen Versuch an dieser Diskussion anzuknüpfen. Vor diesem Hintergrund wäre die Lesart der Studie als „Facebook verursacht keine politische Polarisierung“ zumindest verkürzt, wenn nicht sogar irreführend.
  • Die Ergebnisse dieser Studie sind interessant. Allerdings führt das gewählte Untersuchungsdesign dazu, dass wir diese Befunde nicht über diesen einen spezifischen Fall hinaus generalisieren können. Über die Rolle von Facebook oder Instagram in Wahlkämpfen in anderen Ländern oder auch anderen Wahlkämpfen in den USA, können wir auf Basis dieser Befunde nichts sagen.

    Dies ist wichtig zu beachten, da die vorliegende nStudien allein durch die Größe der verwendeten Datensätze, dem Einfluss des Teams der beteiligten Wissenschaftlerinnen und Wissenschaftlern, als auch dem Einfluss der Marketing-Abteilung von Meta viel Aufmerksamkeit auf sich ziehen werden. Vielleicht mehr Aufmerksamkeit, als allein durch die Kraft der Befunde erklärbar wäre.

    Wie kann man nach dieser Studie die Hypothese betrachten, dass Facebooks algorithmisch kuratierter Feed zu mehr Polarisierung führt? Haben Änderungen am Feed in letzter Zeit in der Hinsicht auch Dinge „verbessert“, inwiefern war das Problem früher schlimmer?

    Wie oben bereits diskutiert sind die Befunde der Studie nicht über den spezifischen Fall hinaus generalisierbar. Wir können sicherlich wie die Autorinnen und Autoren sagen, dass auf Basis dieser Befunde keine Polarisierung in der Breite der Teilnehmerinnen und Teilnehmer der Studie feststellbar war. Darüber hinaus wird es dünn.

  • Da die Teilnahme an dem Experiment eine aktive Einverständniserklärung von Teilnehmerinnen und Teilnehmern voraussetzt, können wir die Befunde nicht einfach auf alle Nutzerinnen und Nutzer generalisieren. Häufig steigen bei solchen Erklärungen Menschen aus, die entweder politisch eher extrem verortet sind oder große Skepsis gegenüber der Politik oder Wissenschaft haben. Gerade aber auf diese Bevölkerungsgruppen könnten algorithmisch sortierte Feeds einen höheren Einfluss haben als auf andere.
  • Wie bereits oben skizziert, geht die aktuelle Forschung von heterogenen Effekten auf unterschiedliche Gruppen aus. Hier wird vermutet, dass algorithmisch kuratierte Informationsumgebungen auf spezifische, besonders anfällige Gruppen Effekte entwickeln. Da die Studien nur durchschnittliche Effekte über alle Teilnehmerinnen und Teilnehmer ausweisen, können die Befunde zu diesen Diskussionen nicht sprechen.
  • Darüber hinaus können die Studien auch nicht über die Wirkung von Facebook oder Instagram in anderen Wahlkämpfen sprechen. Die Autorinnen und Autoren behandeln den Newsfeed Algorithmus als Black-Box. Entsprechend bleibt dessen Mechanik im Dunkeln. Zur Einschätzung der Generalisierbarkeit der Ergebnisse über den Fall US-Präsidentschaftswahl 2020 hinaus, müssten wir jedoch wissen, ob und wie die Funktion des Algorithmus sich 2020 von der 2016 oder der in 2024 oder der Funktion in anderen Ländern unterscheidet. Ohne diese Informationen bleiben die Befunde interessant, sind aber über den untersuchten Fall hinaus nicht generalisierbar.
  • Zusätzlich gibt es kulturelle und strukturelle Variation in der Nutzung von Facebook und Instagram zwischen Ländern und Mediensystemen. Es kann also durchaus sein, dass Facebook und Instagram in den USA andere Effekte mit sich bringen als z.B. in Deutschland oder Brasilien. Dies schränkt die Generalisierbarkeit der Befunde weiter ein.
  • Insgesamt machen mich diese Einschränkungen der Studien gegenüber generellen Interpretationen der Art „Facebook führt nicht zu Polarisierung“ sehr skeptisch.

    Wie beurteilen Sie die Kooperation zwischen Meta und den Forschungsteams? Wie sinnvoll ist dieser Ansatz, was könnte verbessert werden?

    Die Forschung zu den Mustern und Effekten digitaler Kommunikationsumgebungen ist sehr schwierig. Häufig bleibt Forscherinnen und Forscher der Zugang zu den am stärksten genutzten Plattformen, wie Facebook, Instagram, TikTok oder YouTube verwehrt. Vor diesem Hintergrund ist die hier vorliegende Kooperation zwischen dem Forschungsteam und Meta interessant und verspricht anders nicht gewinnbarer Einsichten. Gleichzeitig zeigt der begleitende Artikel von Michael W. Wagner klar die Grenzen und Risiken solcher Industrie-Wissenschaftskooperationen.

    In diesem Fall scheint Meta Einfluss auf die Zusammensetzung des Forschungsteams und der zu untersuchenden Fragen gehabt zu haben. Dies schränkt natürlich die Unabhängigkeit der so entstandenen Forschungsergebnisse ein. Eine entsprechend strukturierte Kooperation zwischen Wissenschaft und Industrie in einem anderen Bereich, zum Beispiel Pharma oder Tabak, würde man wohl aus gutem Grund für eher problematisch halten.

    Dies ist besonders bedenklich, da die vorliegenden Studien durch ihren Publikationsort, die verwendeten Datenmengen, den Einfluss der beteiligten Wissenschaftlerinnen und Wissenschaftlern und Metas Marketingabteilung große rhetorische Kraft haben und mit hoher Wahrscheinlichkeit zukünftig als Schlüsselwerke in Öffentlichkeit, Forschung und gegenüber Politik und Regulatoren behandelt werden. Es steht zu erwarten, dass die Grenzen der Generalisierbarkeit der Arbeiten dabei keine allzu große Beachtung finden. Stattdessen kann man erwarten, dass die hier präsentierten klar kontext-abhängigen Befunde als Beleg für die allgemeine Unbedenklichkeit von Facebooks und Instagrams Rolle in Wahlkämpfen genutzt werden.

    Die hier vorliegende Kooperation macht also sowohl die Potentiale als auch die Risiken von Industrie-Wissenschaftskooperationen deutlich. Hier gilt es für die Wissenschaft zeitnah Regeln für die Zusammenarbeit mit der Tech-Industrie zu entwickeln. Potentiale der Zusammenarbeit sollten genutzt werden. Gleichzeitig gilt es aber zu verhindern, dass Firmen Forschungsagenden prägen und kooperierende Wissenschaftlerinnen und Wissenschaftler als ausgelagerten Arm ihrer PR-Abteilung nutzen können.