Notre capacité à télécharger du contenu sur nos applications préférées ou à discuter avec d’autres personnes en ligne fait partie de la façon dont nous socialisons avec nos communautés numériques. Pourtant, ces mêmes fonctionnalités sont également exploitées par de mauvais acteurs pour nuire aux enfants, par exemple pour solliciter, créer et partager du matériel pédopornographique (CSAM) ou même pour sextorquer des enfants en ligne.
Les plateformes sont confrontées à une bataille difficile pour lutter contre cette utilisation abusive de leurs fonctionnalités. Mais il est essentiel qu’ils le fassent. Non seulement l’exploitation sexuelle des enfants en ligne met les enfants et les utilisateurs des plateformes en danger, mais l’hébergement de CSAM est illégal pour les plateformes.
C’est pourquoi, en 2019, Thorn a lancé notre solution Safer pour aider les plateformes d’hébergement de contenu à mettre fin à la propagation virale du CSAM et, avec elle, à la revictimisation. Aujourd’hui, nous sommes ravis d’annoncer une nouvelle extension de la détection de texte d’exploitation sexuelle d’enfants (CSE) de Safer Predict avec l’ajout d’une étiquette « toilettage ».
Le pouvoir de l’IA pour défendre les enfants
Notre solution principale Safer, désormais appelée Safer Match, propose une technologie appelée hachage et correspondance pour détecter les CSAM connus, c’est-à-dire les contenus qui ont été signalés mais qui continuent de circuler en ligne. À ce jour, Safer a comparé près de 11 millions de fichiers CSAM, aidant ainsi les plateformes à stopper la propagation virale du CSAM et la revictimisation qu’elle provoque.
Avec Safer Predict, nos efforts vont encore plus loin. Cette solution basée sur l’IA détecte les images et vidéos CSAM nouvelles et non signalées et a classé à ce jour 6,7 millions de fichiers comme CSAM potentiels.
Safer Predict peut également identifier les conversations potentiellement dangereuses qui incluent ou pourraient conduire à l’exploitation sexuelle des enfants. Il classe même les comportements de toilettage et le langage qui peuvent indiquer une exploitation ou un abus sexuel potentiel à un stade précoce sur un mineur. Lorsqu’il est détecté, le modèle applique une étiquette de « toilettage » et un score de confiance à chaque message, aidant ainsi les équipes de confiance et de sécurité à prioriser, signaler ou acheminer les conversations pour examen et intervention.
En tirant parti de modèles d’apprentissage automatique de pointe, Safer Predict permet aux plateformes de :
Élargir le réseau de détection des abus sexuels sur les enfants et de l’exploitation sexuelle des enfantsIdentifiez les préjudices basés sur le texte, y compris le toilettage, les discussions sur la sextorsion, le CSAM auto-généré et l’exploitation potentielle hors ligne.Faire évoluer efficacement les capacités de détection
Pour comprendre l’impact des nouvelles fonctionnalités de Safer Predict, notamment autour du texte, il est utile de saisir l’ampleur de l’exploitation sexuelle des enfants en ligne.
Le défi croissant de l’exploitation des enfants en ligne
Les abus et l’exploitation sexuels des enfants augmentent en ligne à un rythme alarmant :
Les recherches de Thorn montre que 40 % des jeunes âgés de 9 à 17 ans ont été approchés en ligne par quelqu’un essayant de « se lier d’amitié et de manipuler » avec eux – un comportement de toilettage qui peut indiquer ou conduire à une exploitation sexuelle. Rien que dans la région de la baie de San Francisco, cela représente plus de 325 000 enfants à risque.En juin 2024, NPR a publié une série de histoires soulignant l’augmentation spectaculaire dans la sextorsion en ligne cibler les enfantsdans lequel de mauvais acteurs contraignent les enfants à partager des nus, puis les extorquent pour obtenir des gains financiers. Les recherches de Thorn confirment cette tendance dévastatrice.En avril 2024, le Centre national pour les enfants disparus et exploités (NCMEC) a publié son rapport Rapport CyberTipline 2023révélant que plus 105 millions de fichiers des cas présumés d’exploitation sexuelle d’enfants et d’abus sexuels sur des enfants ont été signalés l’année dernière seulement.
Et en janvier 2024, Les sénateurs américains ont exigé Les dirigeants du secteur technologique prennent des mesures contre la montée dévastatrice des abus sexuels sur enfants sur leurs plateformes.
La réalité est que de mauvais acteurs utilisent à mauvais escient les plateformes sociales et d’hébergement de contenu pour exploiter les enfants et diffuser le CSAM plus rapidement que jamais. Ils profitent également des nouvelles technologies comme l’IA pour étendre rapidement leurs tactiques malveillantes.
Le hachage et la correspondance sont essentiels pour résoudre ce problème, mais la technologie ne détecte pas l’exploitation basée sur le texte. Il ne détecte pas non plus les CSAM nouvellement générés, qui peuvent représenter un enfant victime de maltraitance active. Les textes et les romans CSAM représentent des situations à enjeux élevés : les détecter peut fournir une plus grande opportunité pour les plateformes d’intervenir lorsqu’une situation d’abus actif peut se produire et de la signaler au NCMEC.
Les technologies d’IA prédictive de Safer Predict permettent aux plateformes de détecter ces dommages survenant sur leur plateforme. Ces efforts peuvent aider à découvrir des informations essentielles à l’identification des enfants dans des situations de maltraitance active et à la capacité des forces de l’ordre à soustraire les enfants victimes au danger.
Modèles d’IA basés sur des données fiables
Même s’il semble que l’IA soit partout de nos jours, tous les modèles ne sont pas créés de la même manière. En matière d’IA, les données validées sont importantes, notamment pour détecter les contenus CSAM et l’exploitation sexuelle des enfants.
Les modèles de classification d’images et de vidéos d’apprentissage automatique de Thorn sont formés sur du CSAM confirmé fourni par nos partenaires de confiance, dont NCMEC. En revanche, des outils de modération plus larges conçus pour divers types de préjudices pourraient simplement utiliser des données de reconnaissance de l’âge combinées à de la pornographie adulte, ce qui diffère radicalement du contenu CSAM.
Les modèles de détection de texte de Safer Predict sont formés sur les messages :
Discuter de sextorsionDemander, effectuer des transactions et partager du CSAMDemander du contenu sexuel auto-généré par un mineur, ainsi que des mineurs discutant de leur propre contenu auto-généréDiscuter de l’accès aux enfants et des violences sexuelles commises contre eux dans un contexte hors ligne
En entraînant les modèles de Safer Predict sur des CSAM confirmés et des conversations réelles, les modèles sont capables de prédire la probabilité que les images et les vidéos contiennent des CSAM et les messages contenant du texte lié à l’exploitation sexuelle des enfants.
Ensemble, Safer Match et Safer Predict fournissent des plates-formes de détection complète du CSAM et de l’exploitation sexuelle des enfants, ce qui est essentiel pour protéger les enfants, à la fois en ligne et hors ligne.
Partenariat pour un Internet plus sûr
Chez Thorn, nous sommes fiers d’avoir la plus grande équipe d’ingénieurs et de scientifiques des données au monde dédiée exclusivement à la création de technologies pour lutter contre les abus et l’exploitation sexuels des enfants en ligne. À mesure que de nouvelles menaces apparaissent, notre équipe s’efforce de réagir, par exemple en luttant contre l’augmentation des menaces de sextorsion grâce à la nouvelle solution de détection textuelle de Safer Predict.
La capacité de détecter les messages et conversations potentiellement dangereux entre des acteurs malveillants et des enfants sans méfiance constitue une étape majeure vers notre mission de défense des enfants et de création d’un monde numérique plus sûr. Chaque avancée, de l’identification prédictive des CSAM à la détection du toilettage, renforce notre filet de sécurité numérique : une technologie qui protège les enfants là où ils sont le plus vulnérables.