What's new?

Read Blog

The impact of artificial intelligence on democracy: Talk at NORFACE Governance

For the NORFACE Governance Online Lecture Series, I gave a talk on the Impact of Artificial Intelligence on Democracy.

YouTube

By loading the video, you agree to YouTube's privacy policy.
Learn more

Load video

Slides: The impact of artificial intelligence on democracy.

Abstract: The success and widespread deployment of artificial intelligence (AI) have raised awareness of the technology’s economic, social, and political consequences. Each new step in the development and application of AI is accompanied by speculations about a supposedly imminent but largely fictional artificial general intelligence (AGI) with (super-)human capacities, as seen in the unfolding discourse about capabilities and impact of large language models (LLMs) in the wake of ChatGPT. These far-reaching expectations lead to a discussion on the societal and political impact of AI that is largely dominated by unfocused fears and enthusiasms. In contrast, this talk provides a framework for a more focused and productive analysis and discussion of AI’s likely impact on one specific social field: democracy.

First, it is necessary to be clear about the workings of AI. This means differentiating between what is at present a largely imaginary AGI and narrow artificial intelligence focused on solving specific tasks. This distinction allows for a critical discussion of how AI affects different aspects of democracy, including its effects on the conditions of self-rule and people’s opportunities to exercise it, equality, the institution of elections, and competition between democratic and autocratic systems of government.

The talk will show that the consequences of today’s AI are more specific for democracy than broad speculation about AGI capabilities implies. Focusing on these specific aspects will account for actual threats and opportunities and thus allow for better monitoring of AI’s impact on democracy in an interdisciplinary effort by computer and social scientists.

The talk is based on two recent articles on Artificial Intelligence and Democracy and Artificial Intelligence in the Public Arena:

  • Artificial Intelligence and Democracy: A Conceptual Framework
  • Artificial Intelligence and the Public Arena
  • Einschätzung: Kooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen und Wissenschaftlern

    Was ist von der neuen Forschungskooperation zwischen Meta und ausgewählten US-Wissenschaftlerinnen zu halten? Zu dieser Frage habe ich dem Science Media Center Germany eine Einschätzung gegeben:

    Frage: Wie beurteilen Sie die Studie methodisch? Sind die Schlüsse, die die Autorinnen und Autoren ziehen, gerechtfertigt?

    Antwort: Die vorliegenden Studien zeigen ausgewählte Effekte von zwei spezifischen Charakteristiken von Facebook und Instagram, dem algorithmisch selektierten Newsfeed und von anderen Nutzern geteilten Inhalten, und beschreiben Muster in der Nutzung der Nachrichtennutzung von politisch aktiven Nutzerinnen und Nutzer im US-Präsidentschaftswahlkampf 2020.

    Die vorgestellten Befunde sind interessant, nicht zuletzt, da es für die Wissenschaft sehr schwierig ist, die Effekt der Nutzung digitaler Plattformen zu identifizieren. Dennoch bleibt festzustellen, dass die hier vorgestellten Ergebnisse sehr begrenzt sind und relativ wenig zu den eigentlichen Fragen zur Rolle digitaler Plattformen in der politischen Kommunikation beitragen.

    Zum Beispiel, in der ersten Studie testen die Autorinnen und Autoren unterschiedliche Wirkungen des algorithmisch sortierten Newsfeeds und eines chronologisch sortierten Newsfeeds experimentell. Zu ihrer eigenen Überraschung stellen sie keine oder nur begrenzte Effekte auf politische Einstellungen fest. Dies ist erst einmal interessant, hilft uns aber wenig bei der Einschätzung der Rolle von Facebook oder Instagram in Wahlkämpfen.

    Zwei entscheidende Einschränkungen der Studie gilt es bei der Einordnung der Befunde zu bedenken:

  • Die Wissenschaftlerinnen und Wissenschaftler behandeln den Facebook und Instagram Algorithmus als Black Box in dessen Funktionsweise sie keinen Einblick haben. Sie testen nur, ob die 2020 implementierte Version des Algorithmus andere Effekte hatte als ein chronologisch sortiertes Feed. Das ist sicherlich interessant, führt aber dazu, dass diese Ergebnisse nur für diese spezifische Implementation des Algorithmus gelten. Der Newsfeed Algorithmus unterliegt stetigen Änderungen, die von außen nicht beobachtbar sind. Wir wissen also nicht, nach welchen Regeln Meta Inhalte zur Anzeige auswählt, welchen Effekt einzelne dieser Regeln haben und ob es zwischen Wahlen wichtige Änderungen gab. Viele der Vorbehalte gegenüber der politischen Rolle von Facebook und Instagram stammen aus dem US-Präsidentschaftswahlkampf 2016 und anderen internationalen Wahlen (wie zum Beispiel Brasilien). Die vorliegenden Studien können uns hierzu nichts sagen. Auf der Basis dieser Befunde sollte man also nicht generell über die Rolle von Facebook oder Instagram in Wahlkämpfen schließen.
  • Die Autorinnen und Autoren untersuchen die Effekte auf Einstellungen über alle Nutzerinnen und Nutzer in ihrem Sample. Hier stellen sie überwiegend keine Effekte auf politische Einstellungen fest. Das ist interessant. Aber die aktuelle Forschung zur Rolle von Facebook oder Instagram im Kontext politischer Radikalisierung oder Falschinformationen geht ohnehin nicht von gesamtgesellschaftlichen Effekten aus, sondern von Effekten auf Kleingruppen, die entweder psychologisch, ideologisch oder strukturell besonders anfällig für Botschaften oder Inhalte sind, die ihnen auf digitalen Plattformen eventuell algorithmisch verstärkt angezeigt werden. Hierzu können die vorliegenden Studien nicht sprechen und unternehmen sogar überraschender Weise gar keinen Versuch an dieser Diskussion anzuknüpfen. Vor diesem Hintergrund wäre die Lesart der Studie als „Facebook verursacht keine politische Polarisierung“ zumindest verkürzt, wenn nicht sogar irreführend.
  • Die Ergebnisse dieser Studie sind interessant. Allerdings führt das gewählte Untersuchungsdesign dazu, dass wir diese Befunde nicht über diesen einen spezifischen Fall hinaus generalisieren können. Über die Rolle von Facebook oder Instagram in Wahlkämpfen in anderen Ländern oder auch anderen Wahlkämpfen in den USA, können wir auf Basis dieser Befunde nichts sagen.

    Dies ist wichtig zu beachten, da die vorliegende nStudien allein durch die Größe der verwendeten Datensätze, dem Einfluss des Teams der beteiligten Wissenschaftlerinnen und Wissenschaftlern, als auch dem Einfluss der Marketing-Abteilung von Meta viel Aufmerksamkeit auf sich ziehen werden. Vielleicht mehr Aufmerksamkeit, als allein durch die Kraft der Befunde erklärbar wäre.

    Wie kann man nach dieser Studie die Hypothese betrachten, dass Facebooks algorithmisch kuratierter Feed zu mehr Polarisierung führt? Haben Änderungen am Feed in letzter Zeit in der Hinsicht auch Dinge „verbessert“, inwiefern war das Problem früher schlimmer?

    Wie oben bereits diskutiert sind die Befunde der Studie nicht über den spezifischen Fall hinaus generalisierbar. Wir können sicherlich wie die Autorinnen und Autoren sagen, dass auf Basis dieser Befunde keine Polarisierung in der Breite der Teilnehmerinnen und Teilnehmer der Studie feststellbar war. Darüber hinaus wird es dünn.

  • Da die Teilnahme an dem Experiment eine aktive Einverständniserklärung von Teilnehmerinnen und Teilnehmern voraussetzt, können wir die Befunde nicht einfach auf alle Nutzerinnen und Nutzer generalisieren. Häufig steigen bei solchen Erklärungen Menschen aus, die entweder politisch eher extrem verortet sind oder große Skepsis gegenüber der Politik oder Wissenschaft haben. Gerade aber auf diese Bevölkerungsgruppen könnten algorithmisch sortierte Feeds einen höheren Einfluss haben als auf andere.
  • Wie bereits oben skizziert, geht die aktuelle Forschung von heterogenen Effekten auf unterschiedliche Gruppen aus. Hier wird vermutet, dass algorithmisch kuratierte Informationsumgebungen auf spezifische, besonders anfällige Gruppen Effekte entwickeln. Da die Studien nur durchschnittliche Effekte über alle Teilnehmerinnen und Teilnehmer ausweisen, können die Befunde zu diesen Diskussionen nicht sprechen.
  • Darüber hinaus können die Studien auch nicht über die Wirkung von Facebook oder Instagram in anderen Wahlkämpfen sprechen. Die Autorinnen und Autoren behandeln den Newsfeed Algorithmus als Black-Box. Entsprechend bleibt dessen Mechanik im Dunkeln. Zur Einschätzung der Generalisierbarkeit der Ergebnisse über den Fall US-Präsidentschaftswahl 2020 hinaus, müssten wir jedoch wissen, ob und wie die Funktion des Algorithmus sich 2020 von der 2016 oder der in 2024 oder der Funktion in anderen Ländern unterscheidet. Ohne diese Informationen bleiben die Befunde interessant, sind aber über den untersuchten Fall hinaus nicht generalisierbar.
  • Zusätzlich gibt es kulturelle und strukturelle Variation in der Nutzung von Facebook und Instagram zwischen Ländern und Mediensystemen. Es kann also durchaus sein, dass Facebook und Instagram in den USA andere Effekte mit sich bringen als z.B. in Deutschland oder Brasilien. Dies schränkt die Generalisierbarkeit der Befunde weiter ein.
  • Insgesamt machen mich diese Einschränkungen der Studien gegenüber generellen Interpretationen der Art „Facebook führt nicht zu Polarisierung“ sehr skeptisch.

    Wie beurteilen Sie die Kooperation zwischen Meta und den Forschungsteams? Wie sinnvoll ist dieser Ansatz, was könnte verbessert werden?

    Die Forschung zu den Mustern und Effekten digitaler Kommunikationsumgebungen ist sehr schwierig. Häufig bleibt Forscherinnen und Forscher der Zugang zu den am stärksten genutzten Plattformen, wie Facebook, Instagram, TikTok oder YouTube verwehrt. Vor diesem Hintergrund ist die hier vorliegende Kooperation zwischen dem Forschungsteam und Meta interessant und verspricht anders nicht gewinnbarer Einsichten. Gleichzeitig zeigt der begleitende Artikel von Michael W. Wagner klar die Grenzen und Risiken solcher Industrie-Wissenschaftskooperationen.

    In diesem Fall scheint Meta Einfluss auf die Zusammensetzung des Forschungsteams und der zu untersuchenden Fragen gehabt zu haben. Dies schränkt natürlich die Unabhängigkeit der so entstandenen Forschungsergebnisse ein. Eine entsprechend strukturierte Kooperation zwischen Wissenschaft und Industrie in einem anderen Bereich, zum Beispiel Pharma oder Tabak, würde man wohl aus gutem Grund für eher problematisch halten.

    Dies ist besonders bedenklich, da die vorliegenden Studien durch ihren Publikationsort, die verwendeten Datenmengen, den Einfluss der beteiligten Wissenschaftlerinnen und Wissenschaftlern und Metas Marketingabteilung große rhetorische Kraft haben und mit hoher Wahrscheinlichkeit zukünftig als Schlüsselwerke in Öffentlichkeit, Forschung und gegenüber Politik und Regulatoren behandelt werden. Es steht zu erwarten, dass die Grenzen der Generalisierbarkeit der Arbeiten dabei keine allzu große Beachtung finden. Stattdessen kann man erwarten, dass die hier präsentierten klar kontext-abhängigen Befunde als Beleg für die allgemeine Unbedenklichkeit von Facebooks und Instagrams Rolle in Wahlkämpfen genutzt werden.

    Die hier vorliegende Kooperation macht also sowohl die Potentiale als auch die Risiken von Industrie-Wissenschaftskooperationen deutlich. Hier gilt es für die Wissenschaft zeitnah Regeln für die Zusammenarbeit mit der Tech-Industrie zu entwickeln. Potentiale der Zusammenarbeit sollten genutzt werden. Gleichzeitig gilt es aber zu verhindern, dass Firmen Forschungsagenden prägen und kooperierende Wissenschaftlerinnen und Wissenschaftler als ausgelagerten Arm ihrer PR-Abteilung nutzen können.

    New article: Artificial intelligence and democracy

    In a new article for Social Media + Society, I discuss the role of artificial intelligence (AI) for democracy.

    The article introduces a new conceptual framework for analyzing the functioning and impact of AI in democracy.

    AI can change the conditions, practice, and conceptions of democracy on four levels:

  • For individuals, AI changes actual and perceived opportunities for political self-determination.
  • For groups, AI changes equality with the state and in political competition.
  • Institutionally, AI changes, actually or perceived, conditions and legitimacy of elections.
  • Systemically, AI can influence competition between democratic and autocratic systems.
  • Many of these developments lie in the future. And it remains open whether these AI-related influences strengthen or weaken democracy.

    But in order to contribute to the strengthening of democracy, it is important that the social sciences conceptualize the role of AI in democracy early in the process, observe its development and co-shape its use and governance.

    The article follows up on an article with Ralph Schroeder about the role of AI in the public arena.

    The article is part of the larger project “Communicative Power in Hybrid Media Systems”, which has received generous funding from the VolkswagenStiftung.

    Abstract: The success and widespread deployment of artificial intelligence (AI) have raised awareness of the technology’s economic, social, and political consequences. Each new step in the development and application of AI is accompanied by speculations about a supposedly imminent but largely fictional artificial general intelligence (AGI) with (super-)human capacities, as seen in the unfolding discourse about capabilities and impact of large language models (LLMs) in the wake of ChatGPT. These far-reaching expectations lead to a discussion on the societal and political impact of AI that is largely dominated by unfocused fears and enthusiasms. In contrast, this article provides a framework for a more focused and productive analysis and discussion of AI’s likely impact on one specific social field: democracy. First, it is necessary to be clear about the workings of AI. This means differentiating between what is at present a largely imaginary AGI and narrow artificial intelligence focused on solving specific tasks. This distinction allows for a critical discussion of how AI affects different aspects of democracy, including its effects on the conditions of self-rule and people’s opportunities to exercise it, equality, the institution of elections, and competition between democratic and autocratic systems of government. This article shows that the consequences of today’s AI are more specific for democracy than broad speculation about AGI capabilities implies. Focusing on these specific aspects will account for actual threats and opportunities and thus allow for better monitoring of AI’s impact on democracy in an interdisciplinary effort by computer and social scientists.

    Andreas Jungherr. 2023. Artificial Intelligence and Democracy: A Conceptual Framework. Social Media + Society 9(3): 1-14. doi: 10.1177/20563051231186353.

    New article: Artificial intelligence and the public arena

    In a new article for Communication Theory, Ralph Schroeder and I discuss the role of artificial intelligence (AI) in the public arena.

    In Artificial intelligence and the public arena, we present a novel theoretical framework for analyzing the uses, workings, and impacts of AI in the public arena.

    We prefer the term public arena over public sphere since its focus on structures allows a more focused discussion about the (shifting) conditions under which political discourse, competition, and self-reflection occur.

    We define the public arena as interconnected communicative spaces hosted by media structures – e.g. news media, digital platforms, & discursive institutions – that enable and constrain publication, distribution, reception, and contestation of information.

    AI features in the public arena mainly in three ways:

    – shaping information flows and user behavior,
    – generating content,
    – communicating agents.

    This has negatively impacted the assessability of the public arena, its structures, and workings. This threatens its legitimacy in mediating the relationship between people and political elites, hosting public discourse and political competition, and providing relevant information.

    We expect AI to increase control by

    – submerging new, challenging, or offending voices,
    – leading to greater demand for intermediary structures filtering unreliable or misleading AI-generated content,
    – demonetizing news media by offering access to the public arena mediated by communicating agents summarizing information found in digital communication environments.

    An AI-reliant public arena will largely shift away from a predominantly open, noisy, and sometimes offensive web toward structures allowing for greater control over safe and vetted spaces. This will further empower gatekeepers, weaken challengers, and reinforce the status quo.

    These are of course early days. Specific uses and implementations might shift. But whatever the outcome, social scientists must engage with AI’s role in the public arena by adapting or developing concepts and measurements that allow society to reflect and improve on those uses.

    The article is part of a special issue on “Reconceptualizing Public Sphere(s) in the Digital Age. On the Role and Future of Public Sphere Theory” by Mike S. Schäfer and Mark Eisenegger who did great work in putting together a set of inspiring articles. Very happy to be in that company.

    The article is part of the larger project Communicative Power in Hybrid Media Systems, which has received generous funding from the VolkswagenStiftung.

    Abstract: The public arena relies on artificial intelligence (AI) to ever greater degrees. Media structures hosting the public arena—such as Facebook, TikTok, Twitter, and YouTube—increasingly rely on AI-enabled applications to shape information environments, autonomously generate content, and communicate with people. These applications affect the public arena’s functions: make society visible to itself and provide spaces for the formation of publics and counterpublics. We offer a framework that allows for the conceptualization and empirical examination of AI’s structural impact on the public arena. Based on this perspective, we argue that the growing uses of AI will lead to a strengthening of intermediary structures that can exercise a greater degree of control over the public arena. In addition, the data-driven nature of most AI-applications threatens to push challenges to the political status quo out of sight and obstruct the assessability of AI-enabled interventions.

    Andreas Jungherr and Ralph Schroeder. 2023. Artificial intelligence and the public arena. Communication Theory (Online First). doi: 10.1093/ct/qtad006.

    New Working Paper: Using ChatGPT and Other Large Language Model (LLM) Applications for Academic Paper Assignments

    The current popularity of ChatGPT has challenged many societal fields. It is no surprise to find it also challenging university education. In this working paper, I am addressing some of the questions arising from widespread use of ChatGPT or other large language models (LLM) applications by students for the assignment of graded research paper assignments.

    Abstract: Large language models (LLMs), like ChatGPT, GitHub Copilot, and Microsoft Copilot, present challenges in university education, particularly for paper assignments. These AI-driven tools enable students to (semi)automatically complete tasks that were previously considered evidence of skill acquisition, potentially affecting grading and skill development. However, the use of these tools is not legally considered plagiarism and is becoming increasingly integrated into various software solutions.

    University education in the social sciences aims to develop students’ abilities to make sense of the world, connect their observations with abstract structures, measure phenomena of interest, systematically test expectations, and present findings in structured accounts. These practices are learned through repeated performance of tasks, such as writing research papers. LLM applications like ChatGPT create conflicting incentives for students, who might rely on them to produce parts of their papers instead of engaging in the learning process.

    While LLMs can be helpful tools for knowledge discovery, writing assistance, and coding assistance, using them effectively and safely requires an understanding of their underlying mechanisms, potential weaknesses, and enough domain knowledge to identify mistakes. This makes LLMs particularly challenging for students in the early stages of acquiring scientific skills and domain knowledge.

    Educators must enable and train students to responsibly use these new tools, reflecting on the underlying tensions and their strengths and weaknesses for academic writing tasks. This working paper aims to provide guidelines on responsible LLM use in academic contexts, specifically for students at the Chair for the Governance of Complex and Innovative Technological Systems at the University of Bamberg. The paper discusses the function of written paper assignments, the tasks necessary to complete them, and evaluates ChatGPT’s performance in assisting with these tasks. It concludes with observations and advice for students to maximize the benefits of LLMs while mitigating potential risks in academic contexts, focusing on enabling learning.

    Jungherr, A. (2023, March 24). Using ChatGPT and Other Large Language Model (LLM) Applications for Academic Paper Assignments. https://doi.org/10.31235/osf.io/d84q6

    Interview zur politischen Kommunikation und Social Media im Wahlkampf

    In Bayern steht der Landtagswahlkampf bevor. Mit dem uni.blog der Universität Bamberg habe ich über die Rolle von Social Media in der politischen Kommunikation gesprochen:

    Facebook, Instagram, TikTok, WhatsApp, YouTube – die Zahl der Social Media-Plattformen scheint schier endlos. Kein Wunder also, dass immer mehr Menschen Soziale Netzwerke nutzen und auch Unternehmen sie für ihre Marketing-Strategie gezielt einsetzen. Doch wie sieht es in der Politik aus? Kommunikationswissenschaftler Prof. Dr. Olaf Hoffjann, Politikwissenschaftler Prof. Dr. Andreas Jungherr und Politikstudent sowie Gründer des journalistischen Projekts “PolitikneugedachtLeón Eberhardt diskutieren darüber, welche Rolle die Sozialen Medien bei der Landtagswahl im Herbst 2023 spielen.

    Das vollständige Interview finden Sie hier.

    Welche Rolle spielt Desinformation in den US Midterms 2022?

    Welche Rolle spielt Desinformation bei den US-Midterms 2022? Darüber habe ich mit Judith Möller und Christian Hoffmann auf Einladung des Science Media Center Germany diskutiert.

    Ob wir richtig liegen zeigt die Zukunft!

    YouTube

    By loading the video, you agree to YouTube's privacy policy.
    Learn more

    Load video