Comment fonctionnent les réseaux de désinformation en ligne : quatre cas, une méthode

La vidéo montrait un jeune garçon en T-shirt noir, apparemment allongé dans une flaque de sang. Au-dessus de lui, une caméra, et un homme criant des instructions. Autour de lui, des hommes portant des kippas et des hommes en tenue de camouflage vert ressemblant aux uniformes de l'IDF. Partagée sur X par un utilisateur vérifié, avec la légende « Vidéo montrant Israël essayant de créer de fausses images de morts », elle a atteint environ 2 m de vues, selon le Guardian. Le clip était une prise de coulisses du court métrage palestinien Empty Place. Il semble avoir d'abord circulé sur TikTok avant d'arriver sur X. L'utilisateur à l'origine de la publication a plus tard reconnu que le clip avait peut-être été utilisé hors contexte.

Ce cas unique, rapporté par le Guardian en octobre 2023, est un spécimen utile car chaque étape est documentée.

Les réseaux de désinformation ne sont pas une chose unique. Ce sont un ensemble de mécaniques répétables : trouver de la matière première qui peut être recontextualisée, la faire passer par des comptes qui ont de la portée, laisser le classement de la plateforme faire la distribution et compter sur le fait que les corrections arrivent tard et circulent mal. Le dossier derrière cette analyse couvre quatre opérations distinctes, dans quatre pays, fonctionnant avec quatre ensembles de motivations différents. Les mécaniques se chevauchent davantage que la politique ne le fait.

Footage recyclé, étiqueté autrement

Une autre vidéo, également originaire de TikTok et désormais indisponible sur la plateforme, affirmait montrer des généraux israéliens de haut rang capturés par le Hamas. Elle a accumulé 2 m de vues sur X. Elle avait été initialement publiée par la chaîne YouTube officielle du service de sécurité d'État de l'Azerbaïdjan et montrait d'anciens dirigeants arrêtés du gouvernement sécessionniste du Nagorno-Karabakh. Un document falsifié suggérant que Joe Biden avait accordé 8 000 000 000 $ d'aide à Israël a été consulté 400 000 fois sur X. C'était une version éditée de la note de juillet de Biden annonçant 400 m d'aide à l'Ukraine. Il n'existe pas de tel document sur le site Web ou les réseaux sociaux de la Maison Blanche. La Maison Blanche a confirmé à NBC que le document était faux.

Aucune de ces opérations n'exigeait de sophistication technique. Elles exigeaient un public prêt à croire l'affirmation et une plateforme qui la transporterait.

La Russie est un coupable récurrent dans la diffusion de désinformation sur X et semble avoir profité du conflit. Lundi, l'ancien président russe Dmitry Medvedev, vice-président du Conseil de sécurité russe, a tweeté : « Eh bien, les amis de l'Otan, vous l'avez vraiment compris, n'est-ce pas ? Les armes remises au régime nazi en Ukraine sont maintenant activement utilisées contre Israël. » Une vidéo apparemment montrant le Hamas remerciant l'Ukraine pour des ventes d'armes a été publiée par un compte X lié au groupe mercenaire Wagner, consultée plus de 300 000 fois et amplifiée par des comptes américains d'extrême droite. En février, l'inspecteur général du Pentagone a rapporté n'avoir trouvé à ce jour aucune preuve de détournement d'armes et d'aide vers des tiers. Le renseignement ukrainien a accusé la Russie cette semaine de placer des armes occidentales « trophées » saisies sur les champs de bataille ukrainiens avec le Hamas pour saper le soutien à Kiev. Eliot Higgins de Bellingcat a signalé une fausse vidéo de la BBC affirmant montrer une enquête de Bellingcat sur le trafic d'armes ukrainiennes vers le Hamas, poussée par des utilisateurs russes des réseaux sociaux, bien qu'il ait déclaré qu'il était incertain s'il s'agissait d'une campagne d'État ou d'un effort de base.

Lorsque le mensonge quitte l'écran

En juillet 2024, trois jeunes filles ont été tuées dans une attaque à la machette à Southport, au Royaume-Uni. En quelques heures, de fausses informations sur le nom, la religion et le statut migratoire de l'attaquant ont pris une ampleur significative, déclenchant des jours d'émeutes violentes à travers le pays. Hannah Rose, analyste de la haine et de l'extrémisme à l'Institute for Strategic Dialogue, a déclaré à CNBC qu'une publication sur X désignait à tort le coupable comme « Ali al-Shakati », censé être un migrant de confession musulmane, et qu'à 15 h le lendemain, le faux nom avait plus de 30 000 mentions sur X seulement.

D'autres fausses affirmations disaient que l'attaquant était sur une liste de surveillance des services de renseignement, était arrivé au Royaume-Uni sur un petit bateau en 2023 et était connu des services locaux de santé mentale, selon l'analyse de l'ISD. La police a démenti les affirmations le lendemain de leur apparition, en déclarant que le suspect était né en Grande-Bretagne. À ce moment, le récit avait déjà pris de l'élan.

Joe Ondrak, responsable de la recherche et de la technologie au Royaume-Uni pour Logically, a déclaré à CNBC que les faux rapports servaient de « moyen de rationaliser et de renforcer les préjugés et les biais existants et les spéculations avant qu'une sorte de vérité établie ne puisse se faire connaître ». Il a décrit le matériel comme de la « menthe pour les chats » pour les groupes anti-migration : « C'est vraiment exactement la bonne chose à dire pour provoquer une réaction beaucoup plus colère qu'il n'y en aurait eu sans la désinformation diffusée. »

Côté distribution est aussi important que l'affirmation. Rose a déclaré que des comptes avec des centaines de milliers d'abonnés, et les badges bleus payés sur X, ont partagé les fausses informations, que les algorithmes de la plateforme ont ensuite poussés à d'autres utilisateurs. Lorsque les utilisateurs cherchaient « Southport » sur TikTok, le faux nom de l'attaquant était promu par la plateforme elle-même dans la section « Autres recherches », y compris huit heures après que la police a confirmé que l'information était incorrecte. L'ISD a trouvé un comportement algorithmique similaire sur X, où le nom incorrect était en tendance. Les affirmations ont également atteint Telegram, que Ondrak a dit consolider les narratifs et exposer plus de personnes à des « croyances plus radicales ». Telegram a nié avoir aidé à propager la désinformation, en disant que les modérateurs surveillaient la situation et supprimaient les canaux et les publications appelant à la violence, ce qui n'est pas permis selon ses conditions de service. Certains comptes appelant à participer aux manifestations remontaient à l'extrême droite, selon Logically, y compris certains liés au groupe interdit National Action, désigné organisation terroriste en 2016 sous la loi britannique sur le terrorisme.

La plus grande opération connue

L'échelle change la perspective. Une revue de CNN des documents judiciaires et des divulgations publiques par les entreprises de médias sociaux a révélé que le gouvernement chinois a construit la plus grande opération de désinformation en ligne connue du monde et l'utilise pour harceler les résidents, les politiciens et les entreprises américains, menaçant parfois les cibles de violence. Le réseau, connu sous le nom de « Spamouflage » ou « Dragonbridge », fait fonctionner des centaines de milliers de comptes sur toutes les grandes plateformes de médias sociaux. Le Département d'État américain décrit les tactiques comme faisant partie d'un effort plus large de plusieurs milliards de dollars pour façonner l'environnement informationnel mondial et faire taire les critiques de Pékin, un effort qui, selon lui, s'est étendu sous le président Xi Jinping.

Les victimes ont décrit une rafale de dizaines de milliers de publications les appelant traîtres, chiens, et utilisant des insultes racistes et homophobes. Certains ont parlé aux forces de l'ordre, y compris le FBI, mais peu a été fait, a rapporté CNN. Les plateformes ont fermé des milliers de comptes ciblant ces victimes mais sont dépassés par de nouveaux qui apparaissent quotidiennement. Meta a déclaré en août avoir retiré un cluster de près de 8 000 comptes attribués au groupe au seul deuxième trimestre de 2023. Google a déclaré à CNN avoir fermé plus de 100 000 comptes associés ces dernières années. X a bloqué des centaines de milliers de comptes chinois « soutenus par l'État » ou « liés à l'État », selon les blogs de l'entreprise.

Des chercheurs privés ont suivi le réseau depuis sa découverte il y a plus de quatre ans. Ce n'est que ces derniers mois que les procureurs fédéraux et Meta ont publiquement conclu que l'opération a des liens avec la police chinoise. Le député Mike Gallagher, président de la Commission spéciale de la Chambre sur le PCC, a déclaré à CNN : « Nous pourrions penser que cela est confiné à certaines salles de chat, ou à cette plateforme ou celle-là, mais cela s'étend dans tous les domaines. Et il ne s'agit que d'une question de temps avant que cela n'arrive au citoyen américain moyen qui ne pense pas que c'est son problème en ce moment. »

Chen Pokong, un militant basé à New York, a vu des trolls perturber un événement Zoom anti-communisme qu'il a organisé en janvier 2021. Ils ont moqué les participants et menacé qu'une victime allait « mourir misérablement ». Ses soupçons sur l'identité des coupables se sont confirmés lorsque le ministère de la Justice a inculpé plus de 30 responsables chinois plus tôt cette année pour une vaste opération de désinformation ciblant les dissidents aux États-Unis, y compris des personnes présentes à cette réunion Zoom.

Ce que disent les audiences

La préoccupation du public n'est pas marginale. Un sondage Ipsos commandé par l'Unesco auprès de 8 000 personnes dans 16 pays devant tenir des élections nationales, avec un total de 2 500 000 000 d'électeurs, a révélé que 85 % s'inquiétaient de l'influence de la désinformation en ligne et 87 % ont déclaré qu'elle avait déjà eu un impact majeur sur la vie politique nationale. Cinquante-six pour cent des internautes obtiennent leurs informations principalement des réseaux sociaux, plus que de la télévision (44 %) ou des sites de médias (29 %). La confiance dans les réseaux sociaux était de 50 %, contre 66 % pour la télévision, 63 % pour la radio et 57 % pour les sites Web et applications de médias. Dans les 16 pays, 68 % ont déclaré que les réseaux sociaux étaient l'endroit où les fausses nouvelles étaient les plus répandues, devant les applications de messagerie à 38 %.

Audrey Azoulay, directrice générale de l'Unesco, a déclaré aux journalistes que les fausses informations et les discours de haine en ligne, accélérés et amplifiés par les plateformes, posaient de « grands risques pour la cohésion sociale, la paix et la stabilité ». La réglementation était urgemment nécessaire, a-t-elle dit, « pour protéger l'accès à l'information ... tout en protégeant la liberté d'expression et les droits de l'homme ». Le plan de l'Unesco repose sur sept principes, tirés de ce qu'elle appelle une consultation sans précédent de plus de 10 000 contributions de 134 pays sur 18 mois. Guilherme Canela de Souza Godoi, chef de section de l'Unesco pour la liberté d'expression, a déclaré que plus de 50 pays réglementent déjà les réseaux sociaux, souvent non conformes aux normes internationales de liberté d'expression et de droits de l'homme. L'Unesco prévoit une Conférence mondiale des régulateurs en 2024.

La réglementation a son propre argument. Le sénateur Sheldon Whitehouse a appelé à abroger la Section 230 du Communications Decency Act et à la remplacer par une version plus étroite qui obligerait la « divulgation des financeurs de la désinformation », selon Reclaim The Net. Whitehouse soutient que le risque de responsabilité pourrait pousser les entreprises à agir contre la désinformation même au détriment de l'engagement. Les critiques répliquent que la plupart de la désinformation finirait par être un discours protégé.

Aucun de ces débats ne change l'arithmétique opérationnelle. Le reporting du Guardian sur X note que Musk a dissous le Conseil de confiance et de sécurité de la plateforme après sa reprise en 2022 ; l'entreprise a déclaré qu'elle prévoyait de restructurer l'équipe, mais les plans restent incertains. X a introduit Community Notes, un programme de modération par les pairs qui place une grande partie de la responsabilité sur les utilisateurs plutôt que sur les modérateurs salariés. L'Union of Concerned Scientists, citant le Center for Countering Digital Hate, a rapporté que X « continue d'héberger près de 86 % d'un ensemble de 300 publications haineuses après une semaine depuis que nous les avons signalées ». La chercheuse Abbie Richards a constaté que les tweets de négation du climat sont passés d'une moyenne de 30 000 par semaine entre décembre 2021 et juillet 2022 à près de 110 000 par semaine après juillet 2022.

Le schéma à travers les quatre cas est le même. Une affirmation est fabriquée ou recyclée, semée à travers des comptes avec de la portée, classée plus haut par des systèmes ajustés pour l'engagement, et corrigée après les dégâts. La correction, comme l'a montré l'affaire de Southport, peut arriver en un jour. L'émeute s'est quand même produite.