Den Boom extremistischer Online-Communities erklärt
Randgruppen, die Verschwörungstheorien und extremistische Ideologien verbreiten, gedeihen auf Mainstream-Online-Plattformen, was immer wieder die Frage aufwirft, wie dieses Wachstum angeheizt wird. Nun haben Forschende der EPFL-Fakultät für Informatik und Kommunikation (IC), die dieses Phänomen untersuchen, einen möglichen Mechanismus gefunden, der dieses Wachstum unterstützt.
In ihrer Studie Stranger Danger! Cross-Community Interactions with Fringe Users Increase the Growth of Fringe Communities on Reddit, das kürzlich mit dem Best Paper Award der 18. International AAAI Conference on Web and Social Media (ICWSM) ausgezeichnet wurde, haben Wissenschaftlerinnen und Wissenschaftler des Data Science Laboratory (DLAB) die Fringe-Interaktionen – den Austausch von Kommentaren zwischen Mitgliedern und Nicht-Mitgliedern von Fringe Communities – beschrieben. Mit Hilfe textbasierter Kausalschlussverfahren untersuchten die Forschenden die Auswirkungen von Fringe-Interaktionen auf das Wachstum von Fringe-Communities und konzentrierten sich dabei auf drei prominente Gruppen auf Reddit: r/Incel, r/GenderCritical und r/The Donald.
«Es ist bekannt, dass es extremistische Gemeinschaften auf den grossen sozialen Online-Plattformen gibt, und ebenso bekannt ist, dass diese Plattformen versuchen, sie zu moderieren, aber selbst mit Moderation wachsen diese Gemeinschaften weiter. Wir haben uns also gefragt, was dieses Wachstum noch antreiben könnte», erklärt Giuseppe Russo, Postdoktorand im DLAB.
«Wir fanden heraus, dass Randgruppen-Interaktionen – im Wesentlichen ein Austausch von Kommentaren zwischen einem ‹gefährdeten Nutzenden› und einem Nutzenden, der bereits in einer extremistischen Gemeinschaft aktiv ist – Menschen am Rande zu diesen Gruppen bringen. Und die Kommentare sind nicht offensichtlich, wie z. B. ‹tritt meiner Gemeinschaft bei›, sondern es sind aktuelle Diskussionen, die die Aufmerksamkeit anderer Personen auf sich ziehen und eine clevere Möglichkeit darstellen, die Moderationsrichtlinien zu umgehen», so Russo.
Nutzerinnen und Nutzer, die diese Interaktionen erhielten, traten mit bis zu 4,2 Prozentpunkten höherer Wahrscheinlichkeit Fringe-Communities bei als vergleichbare User, die dies nicht taten. Dieser Effekt wurde durch die Merkmale der Gemeinschaften, in denen die Interaktion stattfand (z. B. linke oder rechte Communities) und die in den Interaktionen verwendete Sprache beeinflusst. Toxische Sprache hatte eine um 5 Prozentpunkte höhere Chance, Neuankömmlinge für Randgemeinschaften zu gewinnen als nicht-toxische Interaktionen.
Sobald sich ein gefährdeter Nutzer auf einen Austausch von Kommentaren eingelassen hatte, war er nur einen Klick entfernt, eine extremistische Online-Gemeinschaft zu finden, da jedes Nutzerprofil sofort die Gruppen anzeigt, in denen jemand aktiv war. Die Forschenden fanden auch heraus, dass diese Rekrutierungsmethode nur in extremistischen Gemeinschaften vorkommt – sie fanden sie nicht in Klima-, Spiel-, Sport- oder anderen Gemeinschaften – was die Hypothese stützt, dass dies eine beabsichtigte Strategie sein könnte.
«Der Rekrutierungsmechanismus ist sehr einfach, es ist buchstäblich nur ein Austausch von Kommentaren. Eine kleine Diskussion reicht aus, um gefährdete Nutzerinnen und Nutzer in diese toxischen Communities zu treiben, und sobald sie dort sind, haben viele frühere Studien gezeigt, dass sie sich radikalisieren und aktive Mitglieder dieser extremistischen Gemeinschaften werden», so Russo.
Die Forschungsergebnisse werfen wichtige Fragen auf: Ist dieser Rekrutierungsmechanismus relevant genug, um die Aufmerksamkeit der Moderationsrichtlinien von Online-Plattformen zu rechtfertigen, und wenn ja, wie können wir verhindern, dass er das Wachstum dieser extremistischen Gemeinschaften anheizt?
Auf der Grundlage des betrachteten Beobachtungszeitraums schätzen die Forschenden, dass etwa 7,2 %, 3,1 % und 2,3 % der Nutzerinnen und Nutzer, die r/Incels, r/GenderCritical bzw. r/The Donald beitraten, dies taten, nachdem sie mit Mitgliedern dieser Gruppen interagiert hatten. Sie sagen, dass dies darauf hindeutet, dass Moderationsrichtlinien auf Gemeinschaftsebene mit Sanktionen für einzelne Nutzende kombiniert werden könnten, z. B. durch die Reduzierung der Sichtbarkeit ihrer Beiträge oder die Begrenzung der Anzahl der Kommentare, die sie in anfälligeren Gemeinschaften abgeben können. Die Forschenden glauben, dass diese Massnahmen die Auswirkungen von Fringe-Interaktionen verringern und das Wachstum von Fringe-Communities auf Mainstream-Plattformen verlangsamen können.
«Einer davon ist, dass wir gesehen haben, dass die Auswirkungen dieser Randgruppen nicht nur online, sondern auch offline zu spüren sind. Wir haben Unruhen und Terrorismus erlebt, wir haben gesehen, wie Frauen von Mitgliedern dieser Gemeinschaften angegriffen und getötet wurden. Indem wir also den Zugang zu diesen Gemeinschaften einschränken, reduzieren wir definitiv das Offline-Risiko, und das ist es, worum es uns letztendlich wirklich geht», so Russo.
