TikTok pousse à visionner du contenu dangereux

Dans un communiqué diffusé aujourd’hui, Amnesty International dénonce les dangers de TikTok en matière de santé mentale. Le « système amplifie le contenu sur la dépression et le suicide », dénonce l’organisation.

© Unsplash+

« Les constatations dénoncent les caractéristiques de conception manipulatrices et addictives de TikTok », affirme Lisa Dittmer, chercheuse à Amnesty International. Dans un communiqué diffusé mardi 7 novembre, l’organisation internationale condamne le réseau social TikTok, dont « les pratiques intrusives de collecte de données qui l’accompagnent représentent un danger pour les jeunes utilisateurs et utilisatrices. Ce système amplifie le contenu sur la dépression et le suicide qui risque d’aggraver des problèmes de santé mentale existants, comme le montrent deux nouveaux rapports complémentaires ».

Les deux rapports, intitulés Poussé·e·s vers les ténèbres. Comment le fil « Pour toi » encourage l’automutilation et les idées suicidaires et « Je me sens vulnérable ». Pris·e au piège de la surveillance intrinsèque à TikTok, mettent en lumière les atteintes dont sont victimes les enfants et les jeunes utilisant la plateforme, ainsi que le fait que ces atteintes découlent du système de recommandation de TikTok et du modèle économique qui le sous-tend.

Amnesty a mené une enquête technique conjointement avec l’Algorithmic Transparency Institute (National Conference on Citizenship) et AI Forensics. Les résultats montrent comment les enfants et les jeunes qui regardent des contenus relatifs à la santé mentale sur la page « Pour toi » de la plateforme sont rapidement entraînés dans des « spirales » de contenus potentiellement dangereux, notamment des vidéos qui idéalisent et encouragent les pensées dépressives, l’automutilation et le suicide.

Le fil « Pour toi »

Le rapport Poussé·e·s vers les ténèbres. Comment le fil « Pour toi » encourage l’automutilation et les idées suicidaires explique comment la quête effrénée menée par TikTok pour obtenir l’attention des utilisateurs et utilisatrices risque d’aggraver les problèmes de santé mentale comme la dépression, l’anxiété et l’automutilation. Le fil « Pour toi » de TikTok est une page extrêmement personnalisée qu’il est possible de faire défiler à l’infini. Elle est alimentée par du contenu recommandé grâce à des algorithmes, lequel est censé refléter ce que le système a défini par déduction comme correspondant aux intérêts de chaque internaute.

Le système algorithmique de recommandation de contenu de TikTok expose les enfants et les jeunes adultes ayant déjà des problèmes de santé mentale à de graves risques.

L’étude technique se fonde sur plus d’une trentaine de comptes automatisés qui ont été paramétrés de manière à représenter des enfants de 13 ans au Kenya et aux États-Unis. Le but était de mesurer les effets du système de recommandation de TikTok sur les jeunes utilisateurs et utilisatrices. Une deuxième simulation, exécutée manuellement, a été réalisée sur un compte au Kenya, un aux Philippines et un aux États-Unis.

L’étude technique a révélé que, au bout de cinq ou six heures passées sur la plateforme, près d’une vidéo sur deux était relative à la santé mentale et potentiellement nocive, soit un volume dix fois plus important que celui présenté aux comptes n’ayant indiqué aucun intérêt pour le sujet.

L’effet de « spirale » était encore plus rapide lorsque l’équipe de recherche revisionnait manuellement des vidéos concernant la santé mentale suggérées aux comptes d’étude. Entre trois et 20 minutes après le début de l’étude manuelle, plus de la moitié des vidéos du fil « Pour toi » étaient en rapport avec les problèmes de santé mentale, et de nombreuses vidéos recommandées en l’espace d’une heure seulement idéalisaient, banalisaient voire encourageaient le suicide.

Une conception addictive

Voici comment Luis, un étudiant de 21 ans souffrant de troubles bipolaires diagnostiqués à Manille, a décrit son expérience avec le fil « Pour toi » de TikTok à Amnesty International : « C’est une spirale infernale, parce que ça commence avec une seule vidéo. Si une vidéo parvient à capter ton attention, même si tu ne l’aimes pas, elle t’est de nouveau présentée quand tu ouvres TikTok la fois suivante et, parce qu’elle te semble familière, tu la regardes à nouveau et alors, sa fréquence d’apparition dans ton fil augmente exponentiellement. »

Francis, 18 ans, étudiant dans la province de Batangas, aux Philippines, a observé : « Quand [j’] “aime” une vidéo triste qui [me] parle, tout à coup, toute ma page “Pour toi” est triste. Je me retrouve dans le “TikTok triste”. Ça affecte mon humeur. »

Une autre personne ayant participé à une discussion en groupe a expliqué : « Je suis du genre à trop réfléchir et les contenus que je regarde me donnent [encore] plus tendance à le faire, comme les vidéos dans lesquelles on voit des gens malades ou qui s’autodiagnostiquent. Ça m’affecte mentalement et me donne l’impression que j’ai les mêmes symptômes, ce qui aggrave mon anxiété. Et je ne les cherche même pas, elles [les vidéos] apparaissent juste dans mon fil. »

Au bout de cinq ou six heures passées sur la plateforme, près d’une vidéo sur deux est en rapport à la santé mentale et potentiellement nocive.

Les enfants et les jeunes interrogés au Kenya ont déclaré que leur utilisation de TikTok avait des répercussions sur leur travail scolaire et le temps passé avec leurs ami·e·s. Ces personnes ont indiqué que cela les amenait à dérouler leur fil jusque tard dans la nuit au lieu de dormir. Ces témoignages ont été corroborés par plusieurs psychologues spécialistes de l’adolescence qu’Amnesty International a consultés dans le cadre de cette étude. Bien que les réponses données par les jeunes et les facteurs contextuels qui ont une incidence sur leur utilisation des réseaux sociaux soient variables, TikTok, à l’instar d’autres plateformes de réseaux sociaux, a opéré des choix de conception visant à maximiser le temps passé par les utilisateurs et utilisatrices sur la plateforme.

« Notre étude montre que TikTok expose peut-être les enfants et les jeunes à de graves risques pour la santé en persistant dans son modèle économique actuel, qui vise davantage à maintenir les yeux des utilisateurs et utilisatrices rivés sur la plateforme plutôt qu’à respecter le droit à la santé des enfants et des jeunes », a ajouté Lisa Dittmer.

Le réseau de surveillance

« Je me sens vulnérable ». Pris·e au piège de la surveillance intrinsèque à TikTok illustre comment les pratiques abusives de collecte de données auxquelles TikTok a recours non seulement sous-tendent les pratiques dangereuses destinées à maximiser la participation, mais sont aussi alimentées par celles-ci.

L’étude d’Amnesty International montre que le modèle économique de TikTok est intrinsèquement abusif et privilégie la participation pour conserver l’attention des utilisateurs et utilisatrices, afin de collecter toujours plus de données personnelles. TikTok se sert ensuite de ces données pour créer des profils et en déduire des informations, qui lui permettent de regrouper les utilisateurs et utilisatrices par catégorie pour leur proposer du contenu extrêmement personnalisé et ainsi conserver leur attention. Ces groupes et catégories sont aussi mis à la disposition de publicitaires, qui peuvent ainsi cibler leurs messages en fonction des destinataires.

Il faut que TikTok respecte les droits de tous ses jeunes utilisateurs et utilisatrices, pas seulement en Europe, en interdisant toutes les publicités ciblées visant les personnes de moins de 18 ans dans le monde.

Bien que TikTok ait mis en place certaines politiques et pratiques destinées à faire respecter davantage les droits des enfants, celles-ci diffèrent d’une région à l’autre : les enfants et les jeunes qui vivent à certains endroits du monde se trouvent ainsi plus exposés que d’autres à cette collecte opportuniste des données. « TikTok cible les utilisateurs et utilisatrices, notamment les enfants, par des pratiques de collecte de données plus intrusives dans les endroits du monde où les lois et règlements locaux protègent moins leurs données. Autrement dit, les enfants vivant dans des pays où la législation est faible, y compris de nombreux pays appartenant à la “majorité mondiale”, subissent les pires atteintes à leur droit au respect de la vie privée », a détaillé Lauren Armistead, directrice adjointe du programme Amnesty Tech. « Il faut que TikTok respecte les droits de tous ses jeunes utilisateurs et utilisatrices, pas seulement en Europe, en interdisant toutes les publicités ciblées visant les personnes de moins de 18 ans dans le monde. »

Les revendications d’Amnesty International concernent aussi la personnalisation à outrance, par défaut, du fil « Pour toi » qu’applique TikTok. L’organisation demande que le réseau social « laisse plutôt les utilisateurs et utilisatrices choisir activement en fonction de quels intérêts ils souhaitent que du contenu leur soit recommandé, sur la base de leur consentement donné en connaissance de cause et à condition qu’ils souhaitent un fil personnalisé ».

En parallèle de cet appel à TikTok de « prendre ces mesures urgentes pour s’orienter vers un modèle d’activité respectueux des droits », Amnesty revendique « une réglementation contraignante (...) pour protéger et concrétiser les droits des enfants et des jeunes. Le meilleur moyen pour les États de protéger les enfants du recueil et de l’utilisation abusifs de leurs données personnelles en ligne est de faire en sorte que la loi interdise toutes les publicités ciblées reposant sur une collecte intrusive de données personnelles ».

Selon le communiqué, TikTok a réagi aux conclusions d’Amnesty International en se référant à ses principes communautaires, qui définissent quels types de contenus sont interdits et, s’ils font l’objet d’un signalement ou sont décelés de quelque autre manière que ce soit, sont supprimés de la plateforme. Ces principes communautaires interdisent notamment les contenus « montrant, promouvant ou fournissant des instructions sur le suicide et l’automutilation, et les défis, jeux et pactes qui s’y rapporte » ainsi que les contenus « montrant ou promouvant de fausses informations relatives au suicide et à l’automutilation » et « partageant des projets de suicide et d’automutilation ».

Selon ce que rapporte Amnesty International, l’entreprise aurait affirmé qu’elle est en cours d’élaboration « d’une procédure institutionnelle de diligence requise en matière de droits humains qui comprendra des évaluations périodiques de l’impact sur ces droits ». Amnesty précise que TikTok « n’a pas donné de précision quant aux risques pour les droits humains des enfants et des jeunes qu’elle aurait recensés. Le fait que TikTok ne dispose pas encore d’une procédure de diligence nécessaire en matière de droits humains va clairement à l’encontre de son obligation de respecter ces droits. »

(CROC, avec communiqué d’Amnesty International)

Consulter le rapport Poussé·e·s vers les ténèbres. Comment le fil « Pour toi » encourage l’automutilation et les idées suicidaires (en anglais)

Consulter le rapport « Je me sens vulnérable ». Pris·e au piège de la surveillance intrinsèque à TikTok (en anglais)