Une équipe de recherche de l’Université Concordia met au point un système fondé sur l’IA permettant de mieux détecter les contenus toxiques en ligne

Une équipe de recherche de l’Université Concordia a conçu une nouvelle méthode de détection des contenus toxiques en ligne fondée sur l’intelligence artificielle, qui est plus rapide et plus précise que les outils employés jusqu’ici. Le système vise à permettre aux plateformes de réseaux sociaux de bloquer efficacement les contenus jugés préjudiciables générés par les personnes utilisatrices.

Compte tenu du volume de contenu produit chaque seconde au cours d’une même journée, le repérage des éléments toxiques est une tâche qui nécessite d’importantes ressources informatiques et exige beaucoup de temps.

Baptisé « Proximal Policy Optimization-based Cascaded Inference System » (PPO-CIS), ce modèle réalise ses tâches d’analyse sur plusieurs niveaux. Un système de modération initial effectue une analyse rapide d’énormes quantités de contenu entrant afin de détecter le matériel préjudiciable. La plupart des messages filtrés sont jugés non toxiques, tandis que tout ce qui est considéré comme potentiellement préjudiciable est transféré vers un autre classificateur et fait l’objet d’une évaluation plus longue et plus précise. Tout contenu « douteux » restant est ensuite transmis à une modératrice ou un modérateur.

PPO-CIS intègre également plusieurs modèles de modération, ce qui permet d’optimiser leurs atouts respectifs tout en palliant leurs faiblesses. Selon Arezo Bodaghi, il s’agit du premier système de détection de la toxicité à appliquer cette méthode de cette manière.

Plus efficace que les autres méthodes

L’équipe de recherche a testé le système à l’aide de deux vastes ensembles de données de détection de la toxicité : leur propre ensemble « AugmenToxic » et l’ensemble « ToxiGen », largement utilisé. Comparativement à plusieurs autres méthodes de modération, PPO-CIS a repéré les contenus toxiques avec une précision supérieure de 2,1 %, et a nettement surpassé les méthodes comparables en termes de débit, traitant 384 échantillons par seconde contre environ 43 échantillons par seconde pour les modèles existants.

PPO-CIS a également surpassé CETRA, un système plus ancien d’apprentissage par renforcement initialement conçu pour la détection des logiciels malveillants.

Les membres de l’équipe estiment que la rapidité et la précision du système pourraient s’avérer particulièrement utiles pour les plateformes offertes dans des pays où les délais alloués pour la suppression des contenus préjudiciables sont très stricts.

L’étude a été publiée dans la revue Knowledge-Based Systems. Ont collaboré à sa rédaction Ketra Schmitt, professeure agrégée au Centre Génie et société de l’École de génie et d’informatique Gina-Cody, et Benjamin Fung de l’Université McGill.

L’étude a été subventionnée par le Conseil de recherches en sciences naturelles et en génie du Canada.

Lisez l’article cité : « PPO-CIS: A deep reinforcement learning framework for real-time toxicity detection in social media »