What's new?

Read Blog

Interview zum Umgang mit möglichen Falschinformationen im Internet

Im Bayern 2 Tagesgespräch habe ich über den Umgang mit Falschinformationen im Internet gesprochen.

Click on the button to load the content from www.ardmediathek.de.

Load content

  • Stephanie Heinzeller: Wie kritisch gehen Sie mit Informationen um?. Tagesgespräch. Bayern 2. 2024/04/02.
  • Einschätzung zur Rolle von KI-generierter Information im Wahlkampf

    Das Science Media Center Germany hat mich um eine Einschätzung zur Rolle von KI-generierter Desinformation im Wahlkampf gebeten:

    Frage: Welchen Einfluss können KIs zur Erstellung oder Bearbeitung von Bildern und Videos auf öffentliche Meinungsbildung, online-Informationsfluss oder Wahlen haben? Wie ist der Stand der Forschung dazu?

    KI-erstellte oder KI-bearbeitete Bilder funktionieren im Wahlkampf wie andere Bildfälschungen oder -bearbeitungen. Der Wahlkampf ist immer einer Zeit des extremen Wettbewerbs um Aufmerksamkeit. Um Einfluss zu entwickeln, müssen Bilder einen Moment oder eine Position symbolisch verdichtet abbilden. Gelingt dies und werden Bilder im richtigen Moment in den Umlauf gebracht, können sie von Medien, Diskurseliten oder Politikerinnen und Politikern aufgegriffen und weiterverbreitet werden. Der Einfluss von KI-generierten Bildern hängt also nicht primär von technischer Perfektion oder Photorealismus ab, sondern von der Bereitschaft der Medien und politischer Akteure entsprechende Bilder aufzugreifen, in ihre Narrativen zu integrieren und damit weiter zu verbreiten. Etwaige Probleme mit KI-generierter Desinformation in Wahlkämpfen stammen also weniger aus der Technik, als der Bereitschaft politischer Eliten Falschinformationen zu verwenden und der Medien Aufregerthemen prominent zu platzieren.

    Frage: Welche Gegenmaßnahmen halten Sie für sinnvoll?

    Der Umgang mit KI-generierten Inhalten wird klar ein wichtiges Element in politischer Kommunikation und Berichterstattung. Hier müssen Politik und Journalismus Kompetenzen entwickeln. Ein möglicher Umgang mit KI-generierten Inhalten kann sein, dass Regierung, Parteien und Medienmarken ihr Bild- und Videomaterial mit eindeutigen digitalen Fingerabdrücken kennzeichnen. Damit würden entsprechende Akteure signalisieren welche Inhalte verlässlich von ihnen stammen, so dass mögliche Fälschungen schneller für professionelle Beobachter und Kommentatoren identifizierbar sind.

    Grundsätzlich sollten wir in der Gesellschaft breiter KI-Nutzungskompetenzen vermittelt. Hierbei sollte der Fokus allerdings auf der Ermächtigung durch KI-Nutzung liegen, anstelle der Vermittlung von Angst und Überforderung durch herbeifantasierte Phänomene auf Basis anekdotischer Evidenz oder mit bestenfalls marginaler Wirkung – wie Wahlbetrug durch KI-generierter Desinformation. Teil der gesellschaftlichen KI-Kompetenz ist eben auch, nicht jede Panik-Welle unkritisch mitzunehmen und anzufeuern.

    Wie sich diese Einschätzungen zu denen geschätzter Kolleginnen und Kollegen verhalten kann man hier sehen.

    Interview: Die Rolle von Künstlicher Intelligenz in der Politischen Kommunikation

    Mit Daniel Feldhaus von der Konrad-Adenauer-Stiftung habe ich über die Rolle von künstlicher Intelligenz in der politischen Kommunikation gesprochen.

    YouTube

    By loading the video, you agree to YouTube's privacy policy.
    Learn more

    Load video

    New publication: Negative Downstream Effects of Alarmist Disinformation Discourse: Evidence from the United States

    As fears of disinformation are rising again in face of an international super-election year, this new publication might be timely:

    In a survey-experiment Adrian Rauchfleisch and I show that alarmist warnings against disinformation carry significant unintended negative effects.

    Alarmist warnings against disinformation increase peoples’ perception of disinformation as a dangerous societal threat, lower democratic satisfaction and heighten support for restrictive regulation of digital communication environments.

    In contrast, balanced accounts – containing information about the presence and dangers of digital disinformation but also information about its limited reach and persuasive appeal – did lower threat perceptions and carried no negative downstream effects.

    This shows that it matters how scientists, journalists, and politicians discuss the dangers of digital disinformation.

    Of course, it is not an option to ignore dangers of disinformation when they are real. But alarmist warnings also carry dangers.

    This should give us pause and make us reexamine the empirical evidence:

    If various findings from political and communication science are correct that disinformation has limited reach and persuasive appeal and that disinformation is a drifting concept which is often used by those in power to delegitimize others academics should be very careful in exaggerating the dangers of disinformation in public discourse and push for balanced accounts of all the available evidence.

    By exaggerating the dangers of digital communication environments for democracy, we might end up damaging the very thing we wish to protect. The stories we tell about digital media and their role in democracy and society matter.

    We need to choose well and choose responsibly.

    Abstract: The threat of disinformation features strongly in public discourse, but scientific findings remain conflicted about disinformation effects and reach. Accordingly, indiscriminate warnings about disinformation risk overestimating its effects and associated dangers. Balanced accounts that document the presence of digital disinformation while accounting for empirically established limits offer a promising alternative. In a preregistered experiment, U.S. respondents were exposed to two treatments designed to resemble typical journalistic contributions discussing disinformation. The treatment emphasizing the dangers of disinformation indiscriminately (T1) raised the perceived dangers of disinformation among recipients. The balanced treatment (T2) lowered the perceived threat level. T1, but not T2, had negative downstream effects, increasing respondent support for heavily restrictive regulation of speech in digital communication environments. Overall, we see a positive correlation among all respondents between the perceived threat of disinformation to societies and dissatisfaction with the current state of democracy.

    Andreas Jungherr and Adrian Rauchfleisch. 2024. Negative Downstream Effects of Alarmist Disinformation Discourse: Evidence from the United States. Political Behavior. Online first. doi: 10.1007/s11109-024-09911-3

    Neue Veröffentlichung: Künstliche Intelligenz in der Demokratie

    In der aktuellen Ausgabe der Zeitschrift Einsichten und Perspektiven der Bayerischen Landeszentrale für politische Bildungsarbeit habe ich einen Überblicksartikel zu den Auswirkungen der künstlichen Intelligenz auf die Demokratie verfasst. Der Text gibt einen populärwissenschaftlichen Überblick der aktuellen Debatten und verfügbaren wissenschaftlichen Befunde zum Einfluss von KI auf die Demokratie.

    Andreas Jungherr. 2023. Künstliche Intelligenz und Demokratie. Einsichten und Perspektiven: Bayerische Zeitschrift für Politik und Geschichte (4/2023), S. 37-43.

    The impact of artificial intelligence on democracy: Talk at NORFACE Governance

    For the NORFACE Governance Online Lecture Series, I gave a talk on the Impact of Artificial Intelligence on Democracy.

    YouTube

    By loading the video, you agree to YouTube's privacy policy.
    Learn more

    Load video

    Slides: The impact of artificial intelligence on democracy.

    Abstract: The success and widespread deployment of artificial intelligence (AI) have raised awareness of the technology’s economic, social, and political consequences. Each new step in the development and application of AI is accompanied by speculations about a supposedly imminent but largely fictional artificial general intelligence (AGI) with (super-)human capacities, as seen in the unfolding discourse about capabilities and impact of large language models (LLMs) in the wake of ChatGPT. These far-reaching expectations lead to a discussion on the societal and political impact of AI that is largely dominated by unfocused fears and enthusiasms. In contrast, this talk provides a framework for a more focused and productive analysis and discussion of AI’s likely impact on one specific social field: democracy.

    First, it is necessary to be clear about the workings of AI. This means differentiating between what is at present a largely imaginary AGI and narrow artificial intelligence focused on solving specific tasks. This distinction allows for a critical discussion of how AI affects different aspects of democracy, including its effects on the conditions of self-rule and people’s opportunities to exercise it, equality, the institution of elections, and competition between democratic and autocratic systems of government.

    The talk will show that the consequences of today’s AI are more specific for democracy than broad speculation about AGI capabilities implies. Focusing on these specific aspects will account for actual threats and opportunities and thus allow for better monitoring of AI’s impact on democracy in an interdisciplinary effort by computer and social scientists.

    The talk is based on two recent articles on Artificial Intelligence and Democracy and Artificial Intelligence in the Public Arena:

  • Artificial Intelligence and Democracy: A Conceptual Framework
  • Artificial Intelligence and the Public Arena
  • Einschätzung: Kooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen und Wissenschaftlern

    Was ist von der neuen Forschungskooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen zu halten? Zu dieser Frage habe ich dem Science Media Center Germany eine Einschätzung gegeben:

    Frage: Wie beurteilen Sie die Studie methodisch? Sind die Schlüsse, die die Autorinnen und Autoren ziehen, gerechtfertigt?

    Antwort: Die vorliegenden Studien zeigen ausgewählte Effekte von zwei spezifischen Charakteristiken von Facebook und Instagram, dem algorithmisch selektierten Newsfeed und von anderen Nutzern geteilten Inhalten, und beschreiben Muster in der Nutzung der Nachrichtennutzung von politisch aktiven Nutzerinnen und Nutzer im US-Präsidentschaftswahlkampf 2020.

    Die vorgestellten Befunde sind interessant, nicht zuletzt, da es für die Wissenschaft sehr schwierig ist, die Effekt der Nutzung digitaler Plattformen zu identifizieren. Dennoch bleibt festzustellen, dass die hier vorgestellten Ergebnisse sehr begrenzt sind und relativ wenig zu den eigentlichen Fragen zur Rolle digitaler Plattformen in der politischen Kommunikation beitragen.

    Zum Beispiel, in der ersten Studie testen die Autorinnen und Autoren unterschiedliche Wirkungen des algorithmisch sortierten Newsfeeds und eines chronologisch sortierten Newsfeeds experimentell. Zu ihrer eigenen Überraschung stellen sie keine oder nur begrenzte Effekte auf politische Einstellungen fest. Dies ist erst einmal interessant, hilft uns aber wenig bei der Einschätzung der Rolle von Facebook oder Instagram in Wahlkämpfen.

    Zwei entscheidende Einschränkungen der Studie gilt es bei der Einordnung der Befunde zu bedenken:

  • Die Wissenschaftlerinnen und Wissenschaftler behandeln den Facebook und Instagram Algorithmus als Black Box in dessen Funktionsweise sie keinen Einblick haben. Sie testen nur, ob die 2020 implementierte Version des Algorithmus andere Effekte hatte als ein chronologisch sortiertes Feed. Das ist sicherlich interessant, führt aber dazu, dass diese Ergebnisse nur für diese spezifische Implementation des Algorithmus gelten. Der Newsfeed Algorithmus unterliegt stetigen Änderungen, die von außen nicht beobachtbar sind. Wir wissen also nicht, nach welchen Regeln Meta Inhalte zur Anzeige auswählt, welchen Effekt einzelne dieser Regeln haben und ob es zwischen Wahlen wichtige Änderungen gab. Viele der Vorbehalte gegenüber der politischen Rolle von Facebook und Instagram stammen aus dem US-Präsidentschaftswahlkampf 2016 und anderen internationalen Wahlen (wie zum Beispiel Brasilien). Die vorliegenden Studien können uns hierzu nichts sagen. Auf der Basis dieser Befunde sollte man also nicht generell über die Rolle von Facebook oder Instagram in Wahlkämpfen schließen.
  • Die Autorinnen und Autoren untersuchen die Effekte auf Einstellungen über alle Nutzerinnen und Nutzer in ihrem Sample. Hier stellen sie überwiegend keine Effekte auf politische Einstellungen fest. Das ist interessant. Aber die aktuelle Forschung zur Rolle von Facebook oder Instagram im Kontext politischer Radikalisierung oder Falschinformationen geht ohnehin nicht von gesamtgesellschaftlichen Effekten aus, sondern von Effekten auf Kleingruppen, die entweder psychologisch, ideologisch oder strukturell besonders anfällig für Botschaften oder Inhalte sind, die ihnen auf digitalen Plattformen eventuell algorithmisch verstärkt angezeigt werden. Hierzu können die vorliegenden Studien nicht sprechen und unternehmen sogar überraschender Weise gar keinen Versuch an dieser Diskussion anzuknüpfen. Vor diesem Hintergrund wäre die Lesart der Studie als „Facebook verursacht keine politische Polarisierung“ zumindest verkürzt, wenn nicht sogar irreführend.
  • Die Ergebnisse dieser Studie sind interessant. Allerdings führt das gewählte Untersuchungsdesign dazu, dass wir diese Befunde nicht über diesen einen spezifischen Fall hinaus generalisieren können. Über die Rolle von Facebook oder Instagram in Wahlkämpfen in anderen Ländern oder auch anderen Wahlkämpfen in den USA, können wir auf Basis dieser Befunde nichts sagen.

    Dies ist wichtig zu beachten, da die vorliegende nStudien allein durch die Größe der verwendeten Datensätze, dem Einfluss des Teams der beteiligten Wissenschaftlerinnen und Wissenschaftlern, als auch dem Einfluss der Marketing-Abteilung von Meta viel Aufmerksamkeit auf sich ziehen werden. Vielleicht mehr Aufmerksamkeit, als allein durch die Kraft der Befunde erklärbar wäre.

    Wie kann man nach dieser Studie die Hypothese betrachten, dass Facebooks algorithmisch kuratierter Feed zu mehr Polarisierung führt? Haben Änderungen am Feed in letzter Zeit in der Hinsicht auch Dinge „verbessert“, inwiefern war das Problem früher schlimmer?

    Wie oben bereits diskutiert sind die Befunde der Studie nicht über den spezifischen Fall hinaus generalisierbar. Wir können sicherlich wie die Autorinnen und Autoren sagen, dass auf Basis dieser Befunde keine Polarisierung in der Breite der Teilnehmerinnen und Teilnehmer der Studie feststellbar war. Darüber hinaus wird es dünn.

  • Da die Teilnahme an dem Experiment eine aktive Einverständniserklärung von Teilnehmerinnen und Teilnehmern voraussetzt, können wir die Befunde nicht einfach auf alle Nutzerinnen und Nutzer generalisieren. Häufig steigen bei solchen Erklärungen Menschen aus, die entweder politisch eher extrem verortet sind oder große Skepsis gegenüber der Politik oder Wissenschaft haben. Gerade aber auf diese Bevölkerungsgruppen könnten algorithmisch sortierte Feeds einen höheren Einfluss haben als auf andere.
  • Wie bereits oben skizziert, geht die aktuelle Forschung von heterogenen Effekten auf unterschiedliche Gruppen aus. Hier wird vermutet, dass algorithmisch kuratierte Informationsumgebungen auf spezifische, besonders anfällige Gruppen Effekte entwickeln. Da die Studien nur durchschnittliche Effekte über alle Teilnehmerinnen und Teilnehmer ausweisen, können die Befunde zu diesen Diskussionen nicht sprechen.
  • Darüber hinaus können die Studien auch nicht über die Wirkung von Facebook oder Instagram in anderen Wahlkämpfen sprechen. Die Autorinnen und Autoren behandeln den Newsfeed Algorithmus als Black-Box. Entsprechend bleibt dessen Mechanik im Dunkeln. Zur Einschätzung der Generalisierbarkeit der Ergebnisse über den Fall US-Präsidentschaftswahl 2020 hinaus, müssten wir jedoch wissen, ob und wie die Funktion des Algorithmus sich 2020 von der 2016 oder der in 2024 oder der Funktion in anderen Ländern unterscheidet. Ohne diese Informationen bleiben die Befunde interessant, sind aber über den untersuchten Fall hinaus nicht generalisierbar.
  • Zusätzlich gibt es kulturelle und strukturelle Variation in der Nutzung von Facebook und Instagram zwischen Ländern und Mediensystemen. Es kann also durchaus sein, dass Facebook und Instagram in den USA andere Effekte mit sich bringen als z.B. in Deutschland oder Brasilien. Dies schränkt die Generalisierbarkeit der Befunde weiter ein.
  • Insgesamt machen mich diese Einschränkungen der Studien gegenüber generellen Interpretationen der Art „Facebook führt nicht zu Polarisierung“ sehr skeptisch.

    Wie beurteilen Sie die Kooperation zwischen Meta und den Forschungsteams? Wie sinnvoll ist dieser Ansatz, was könnte verbessert werden?

    Die Forschung zu den Mustern und Effekten digitaler Kommunikationsumgebungen ist sehr schwierig. Häufig bleibt Forscherinnen und Forscher der Zugang zu den am stärksten genutzten Plattformen, wie Facebook, Instagram, TikTok oder YouTube verwehrt. Vor diesem Hintergrund ist die hier vorliegende Kooperation zwischen dem Forschungsteam und Meta interessant und verspricht anders nicht gewinnbarer Einsichten. Gleichzeitig zeigt der begleitende Artikel von Michael W. Wagner klar die Grenzen und Risiken solcher Industrie-Wissenschaftskooperationen.

    In diesem Fall scheint Meta Einfluss auf die Zusammensetzung des Forschungsteams und der zu untersuchenden Fragen gehabt zu haben. Dies schränkt natürlich die Unabhängigkeit der so entstandenen Forschungsergebnisse ein. Eine entsprechend strukturierte Kooperation zwischen Wissenschaft und Industrie in einem anderen Bereich, zum Beispiel Pharma oder Tabak, würde man wohl aus gutem Grund für eher problematisch halten.

    Dies ist besonders bedenklich, da die vorliegenden Studien durch ihren Publikationsort, die verwendeten Datenmengen, den Einfluss der beteiligten Wissenschaftlerinnen und Wissenschaftlern und Metas Marketingabteilung große rhetorische Kraft haben und mit hoher Wahrscheinlichkeit zukünftig als Schlüsselwerke in Öffentlichkeit, Forschung und gegenüber Politik und Regulatoren behandelt werden. Es steht zu erwarten, dass die Grenzen der Generalisierbarkeit der Arbeiten dabei keine allzu große Beachtung finden. Stattdessen kann man erwarten, dass die hier präsentierten klar kontext-abhängigen Befunde als Beleg für die allgemeine Unbedenklichkeit von Facebooks und Instagrams Rolle in Wahlkämpfen genutzt werden.

    Die hier vorliegende Kooperation macht also sowohl die Potentiale als auch die Risiken von Industrie-Wissenschaftskooperationen deutlich. Hier gilt es für die Wissenschaft zeitnah Regeln für die Zusammenarbeit mit der Tech-Industrie zu entwickeln. Potentiale der Zusammenarbeit sollten genutzt werden. Gleichzeitig gilt es aber zu verhindern, dass Firmen Forschungsagenden prägen und kooperierende Wissenschaftlerinnen und Wissenschaftler als ausgelagerten Arm ihrer PR-Abteilung nutzen können.

    New article: Artificial intelligence and democracy

    In a new article for Social Media + Society, I discuss the role of artificial intelligence (AI) for democracy.

    The article introduces a new conceptual framework for analyzing the functioning and impact of AI in democracy.

    AI can change the conditions, practice, and conceptions of democracy on four levels:

  • For individuals, AI changes actual and perceived opportunities for political self-determination.
  • For groups, AI changes equality with the state and in political competition.
  • Institutionally, AI changes, actually or perceived, conditions and legitimacy of elections.
  • Systemically, AI can influence competition between democratic and autocratic systems.
  • Many of these developments lie in the future. And it remains open whether these AI-related influences strengthen or weaken democracy.

    But in order to contribute to the strengthening of democracy, it is important that the social sciences conceptualize the role of AI in democracy early in the process, observe its development and co-shape its use and governance.

    The article follows up on an article with Ralph Schroeder about the role of AI in the public arena.

    The article is part of the larger project “Communicative Power in Hybrid Media Systems”, which has received generous funding from the VolkswagenStiftung.

    Abstract: The success and widespread deployment of artificial intelligence (AI) have raised awareness of the technology’s economic, social, and political consequences. Each new step in the development and application of AI is accompanied by speculations about a supposedly imminent but largely fictional artificial general intelligence (AGI) with (super-)human capacities, as seen in the unfolding discourse about capabilities and impact of large language models (LLMs) in the wake of ChatGPT. These far-reaching expectations lead to a discussion on the societal and political impact of AI that is largely dominated by unfocused fears and enthusiasms. In contrast, this article provides a framework for a more focused and productive analysis and discussion of AI’s likely impact on one specific social field: democracy. First, it is necessary to be clear about the workings of AI. This means differentiating between what is at present a largely imaginary AGI and narrow artificial intelligence focused on solving specific tasks. This distinction allows for a critical discussion of how AI affects different aspects of democracy, including its effects on the conditions of self-rule and people’s opportunities to exercise it, equality, the institution of elections, and competition between democratic and autocratic systems of government. This article shows that the consequences of today’s AI are more specific for democracy than broad speculation about AGI capabilities implies. Focusing on these specific aspects will account for actual threats and opportunities and thus allow for better monitoring of AI’s impact on democracy in an interdisciplinary effort by computer and social scientists.

    Andreas Jungherr. 2023. Artificial Intelligence and Democracy: A Conceptual Framework. Social Media + Society 9(3): 1-14. doi: 10.1177/20563051231186353.

    New article: Artificial intelligence and the public arena

    In a new article for Communication Theory, Ralph Schroeder and I discuss the role of artificial intelligence (AI) in the public arena.

    In Artificial intelligence and the public arena, we present a novel theoretical framework for analyzing the uses, workings, and impacts of AI in the public arena.

    We prefer the term public arena over public sphere since its focus on structures allows a more focused discussion about the (shifting) conditions under which political discourse, competition, and self-reflection occur.

    We define the public arena as interconnected communicative spaces hosted by media structures – e.g. news media, digital platforms, & discursive institutions – that enable and constrain publication, distribution, reception, and contestation of information.

    AI features in the public arena mainly in three ways:

    – shaping information flows and user behavior,
    – generating content,
    – communicating agents.

    This has negatively impacted the assessability of the public arena, its structures, and workings. This threatens its legitimacy in mediating the relationship between people and political elites, hosting public discourse and political competition, and providing relevant information.

    We expect AI to increase control by

    – submerging new, challenging, or offending voices,
    – leading to greater demand for intermediary structures filtering unreliable or misleading AI-generated content,
    – demonetizing news media by offering access to the public arena mediated by communicating agents summarizing information found in digital communication environments.

    An AI-reliant public arena will largely shift away from a predominantly open, noisy, and sometimes offensive web toward structures allowing for greater control over safe and vetted spaces. This will further empower gatekeepers, weaken challengers, and reinforce the status quo.

    These are of course early days. Specific uses and implementations might shift. But whatever the outcome, social scientists must engage with AI’s role in the public arena by adapting or developing concepts and measurements that allow society to reflect and improve on those uses.

    The article is part of a special issue on “Reconceptualizing Public Sphere(s) in the Digital Age. On the Role and Future of Public Sphere Theory” by Mike S. Schäfer and Mark Eisenegger who did great work in putting together a set of inspiring articles. Very happy to be in that company.

    The article is part of the larger project Communicative Power in Hybrid Media Systems, which has received generous funding from the VolkswagenStiftung.

    Abstract: The public arena relies on artificial intelligence (AI) to ever greater degrees. Media structures hosting the public arena—such as Facebook, TikTok, Twitter, and YouTube—increasingly rely on AI-enabled applications to shape information environments, autonomously generate content, and communicate with people. These applications affect the public arena’s functions: make society visible to itself and provide spaces for the formation of publics and counterpublics. We offer a framework that allows for the conceptualization and empirical examination of AI’s structural impact on the public arena. Based on this perspective, we argue that the growing uses of AI will lead to a strengthening of intermediary structures that can exercise a greater degree of control over the public arena. In addition, the data-driven nature of most AI-applications threatens to push challenges to the political status quo out of sight and obstruct the assessability of AI-enabled interventions.

    Andreas Jungherr and Ralph Schroeder. 2023. Artificial intelligence and the public arena. Communication Theory (Online First). doi: 10.1093/ct/qtad006.