iStockphoto

Las técnicas de detección automática de odio en la red aún no son perfectas

El ciberacoso y el discurso de odio están aumentando, lo cual requiere establecer políticas contra el acoso. Sin embargo, es difícil detectarlos e investigarlos porque en Facebook, Twitter y demás redes sociales y blogs los contenidos aumentan rápidamente. Además, la identificación del discurso de odio puede resultar compleja, pues hay que aclarar si el hablante tiene intención de causar daño. Para detectar automáticamente el discurso de odio, se han utilizado técnicas de inteligencia artificial. Ante el aumento de la importancia del ciberacoso, se necesitan más recursos para afinar las técnicas de detección.

El discurso de odio es hablar mal de alguien por razón de sus características raciales o de género. El foro Stormfront ha publicado un nuevo conjunto de datos del discurso de odio con el objetivo de ayudar a la investigación. Para ello, han utilizado técnicas de inteligencia artificial, disponibles gracias a la conocida herramienta GitHub.

“En el discurso de odio las categorías más frecuentes son el odio vinculado a la etnia y al género”

Se han analizado 10.578 frases. El sistema clasifica cada una de ellas de forma individual: si es un discurso de odio, si no lo es, o una categoría de relación específica en la que el discurso de odio está implícito al combinarlo con otras frases. Las directrices de esta clasificación se elaboraron cuidadosamente para garantizar la coherencia entre los autores. Posteriormente, eliminaron frases demasiado cortas o largas para crear datos «limpios».

La vía para detectar el odio

El conjunto de datos está descompensado: las frases sin odio son más abundantes que las que tienen odio. Se calculó un índice de odio para identificar las palabras asociadas al discurso de odio y, por tanto, para formar un diccionario del odio. Superpuestas a la base de datos del discurso de odio, las categorías más frecuentes son la etnia y el género.

El artículo presenta experimentos básicos realizados en un conjunto de datos de textos de odio. Las frases del conjunto de datos están etiquetadas —con odio o sin odio— para demostrar la validez de las anotaciones que se realizaron en el experimento y establecer la referencia para futuras investigaciones.

También se analizaron los errores. El sistema clasificaba varias frases con la etiqueta “sin odio” que antes habían sido clasificadas manualmente con la etiqueta “con odio”. La razón era, en general, la falta de contexto del sistema. Y también existía el tipo de error contrario; el sistema clasificaba varias frases con la etiqueta “con odio” que antes habían sido clasificadas manualmente con la etiqueta “sin odio”. La razón era que la frase utilizaba el habitual vocabulario ofensivo, sin ánimo de causar daño.

Los experimentos pusieron de relieve los retos de los métodos de clasificación de expresiones de odio, sobre todo cuando el contexto y el conocimiento son fundamentales para obtener resultados concretos. Dada la importancia del tema, será necesario disponer de más recursos para mejorar las técnicas de detección del odio en la red.