Xenometer: la IA que identificará mensajes racistas en redes sociales

Debido al aumento de las tecnologías, gran parte de las conversaciones han pasado a desarrollarse en el mundo digital. Las redes sociales están funcionando como plataforma para difundir tanto información como opinión a una velocidad vertiginosa. Este nuevo ámbito comunicativo está propiciando que fenómenos como el discurso de odio aumenten significativamente.

Ante esta situación, el sociólogo y profesor Sergio García, que imparte clase en la Universidad Pública de Navarra (UPNA), ha creado un grupo, compuesto por profesores y alumnos, con el objetivo de entrenar una IA que identifique y evalúe los mensajes xenófobos que se comparten en la plataforma X. Justo esta será la función que cumplirá Xenometer.

Aunque han empezado con X como primera muestra para entrenar el algoritmo, pretenden trasladar el proyecto a otras redes sociales. La iniciativa combina la parte automática tecnológica del algoritmo con otra parte humana, debido a la metodología que utilizan para evaluar los mensajes. «Entrenar un algoritmo para que evalúe de manera automática puede ser muy sencillo poniendo datos que ya están previamente etiquetados, pero si lo que queremos es crear una clasificación rigurosa, necesitamos hacerlo manualmente», razona el sociólogo.

García explica que la idea inicial se le ocurrió a Beth Lyon, profesora en la Universidad de Cornell en Estados Unidos, debido a la preocupación con la Administración de Trump. Así surgió el propósito de monitorear cuentas americanas oficiales para evitar que desde ellas se transmitieran mensajes xenófobos. Al considerar interesante la posibilidad de colaborar, las universidades establecieron un convenio para tratar temas de prevención de la radicalización violenta y comenzaron a desarrollar el proyecto en conjunto. «Además, planteamos que podríamos tener un sistema para generar mapas en tiempo real basados en los análisis que hacemos», añade el profesor.

PROYECTO DIDÁCTICO

A raíz de esta iniciativa, desde hace año y medio la UPNA cuenta con un amplio equipo compuesto por profesores y alumnos de cuatro áreas diferentes: Ciencias Políticas, Sociología, Derecho e Inteligencia Artificial. Los docentes ven el proyecto como una oportunidad para acercar a los alumnos al mundo de la tecnología y enseñarles a utilizar la inteligencia artificial como instrumento.

De acuerdo a García, normalmente la gente que procede de las ciencias sociales se aproxima a la inteligencia artificial desde enfoques críticos sin conocer demasiado el mundo de la tecnología. «Queremos formar un equipo interdisciplinar, juntar tecnólogos con científicos sociales para formar a una nueva generación de profesionales con las dos capacidades para hacer investigación social», concluye.

Según relata, la colaboración y la comunicación entre los miembros del equipo es muy fluida. «Tenemos una dinámica muy horizontal en la que se escucha a todo el mundo, las personas del grupo son amigos que están aprendiendo y mejorando sus capacidades juntos», comenta. Se enorgullece de que el espíritu sea tan positivo. «Una de las fortalezas del proyecto es que la gente está colaborando desinteresadamente por amor al conocimiento, a la ciencia y a la sociedad», resalta.

En cuanto a la actitud de los alumnos participantes, asegura que se están implicando mucho y que muestran gran interés por el proyecto. «Muchos son estudiantes de sociología y tienen ya una inquietud social. A veces quienes están en la carrera están viendo metodologías y teorías, pero no tienen la oportunidad de ver un proyecto específico, concreto, al que se puedan aplicar. Entonces, esto es una oportunidad para que vean cómo funciona un proyecto en la práctica», explica.

Ander Mendaza, estudiante de último año de sociología, es uno de los alumnos que forma parte del diverso equipo y asegura que participar en esta iniciativa le ha motivado más que realizar un trabajo en grupo para cualquier asignatura. «En clase jugamos sobre una base y actuamos siempre dentro del marco de la asignatura. Aquí nos encontramos profesores y alumnos de carreras diferentes y trabajamos para crear algo real que tenga un fin útil», opina. Asimismo, también considera enriquecedor poder trabajar conjuntamente con sus profesores, «ya no se trata de que seamos profesor y alumno, ahora mismo somos compañeros», recalca.

INTERÉS INSTITUCIONAL

Aunque el profesor admite que el objetivo inicial del proyecto era formar al alumnado, con el tiempo vieron que su trabajo podía tener un fin mayor. «Ha despertado mucho interés en el Gobierno de Navarra e incluso a nivel del Ministerio de Inclusión, Seguridad Social y Migraciones», comenta.

García recuerda que hace poco la jefa de gabinete de la ministra se interesó en el proyecto para ver si podía complementar el ya existente proyecto FARO, que evalúa la xenofobia en redes y se pone en contacto con las plataformas para pedir que retiren ciertos mensajes. «El Xenometer tiene un mayor refinamiento metodológico, lo cual quiere decir que distingue si los mensajes son más o menos xenófobos y al ministerio le interesa eso porque FARO no lo hace», aclara.

La iniciativa también llamó la atención de las fuerzas y cuerpos de seguridad, que vieron el proyecto como una posible herramienta. «La Guardia Civil se dedica a delitos de odio y pensó que sería de gran utilidad que el algoritmo fuese capaz de detectar mensajes de odio potencialmente delictivos», recuerda. El equipo está planteándose incluir una categoría más para cumplir con esta función, ampliando el número de juristas. De este modo, podrán «distinguir entre discurso odioso y discurso de odio potencialmente delictivo», explica García.

METODOLOGÍA

Antes de entrenar la IA que se ocupe de detectar y evaluar los mensajes de odio, el equipo debe dedicarse a etiquetar 5.000 mensajes para que el algoritmo empiece a funcionar con fiabilidad. «Lo que hacemos es descargar los mensajes cada tres semanas, los distribuimos entre el grupo y cada individuo los evalúa en función de siete categorías que tenemos, que van de -3 a 3. Después, tenemos una reunión de calibración para ver dónde ha habido conflictos en la evaluación y llegamos a un consenso acerca del nivel de xenofobia que tiene cada mensaje. Luego lo metemos en la base de datos que entrena el algoritmo», relata.

Para conseguir los mensajes aplican criterios diferentes. Uno de ellos es descargar los tuits de cuentas que hablan sobre migración, tanto en términos positivos como negativos. También utilizan palabras clave relacionadas con la migración para encontrar ese tipo de mensajes. «Estamos configurando un árbol de palabras que se usan para referirse a la migración en términos positivos y negativos. Ese árbol va creciendo y hay mucha innovación e imaginación, porque como hay cortapisas legales, se utilizan palabras nuevas o codificadas», dice.

Hasta la fecha, tras año y medio de etiquetado, llevan alrededor de 3.000 mensajes etiquetados y han tenido que realizar ajustes en la metodología para adquirir mejores resultados. Según García, han refinado las siete categorías para evaluar los mensajes. Asimismo, han tenido que llegar a nuevos consensos asegurando que el proceso de etiquetado fuese lo más objetivo posible.

Ander Mendaza participa en el proyecto etiquetando este tipo de mensajes y cuenta que todavía siguen teniendo conflictos de evaluación con algunos tuits. «Algo que nos cuesta muchísimo es el tema de la ironía y el sarcasmo. Por mucho que nosotros detectemos un tono sarcástico con intencionalidad xenófoba no podemos etiquetarlo, porque al final lo único que va a trabajar la inteligencia artificial es el contenido», resalta.

Pese a que el estudiante de sociología reconoce que en ocasiones leer 200 mensajes seguidos cargados de odio puede llegar a ser agotador, asegura que está orgulloso de participar en la iniciativa y que disfruta siendo parte del proyecto. «Hay días en los que no puedo parar de reírme de las barbaridades que dicen algunas personas y cada vez que sé que tenemos una reunión voy animado, porque me lo paso muy bien en las reuniones debatiendo con la gente de mi grupo», comenta.

PRÓXIMOS PASOS

Con más de la mitad de los mensajes etiquetados, García tiene una serie de objetivos que espera cumplir próximamente. «Un primer hito sería llegar a etiquetar 5.000 mensajes, una vez llegado a eso, veremos cómo podemos ampliar el número de redes sociales», explica. Asimismo, la intención del equipo es generar un mapa del odio digital en tiempo real, una herramienta que sería de gran utilidad para analizar las conductas xenófobas en redes. Después, también pretende ampliar el mapa del odio para que sea a escala global. «Estamos apoyando equipos en Colombia, El Salvador, Venezuela, Bolivia, Polonia, Sudáfrica e Indonesia», añade con ilusión.

El sociólogo asegura que, aunque empezaron con pocas expectativas, la ilusión que tenían en el proyecto ha crecido a medida que avanzaban y veían los resultados. Con el objetivo de continuar desarrollando y ampliando esta iniciativa, les esperan congresos, jornadas y seminarios. «El año que viene Cornell está organizando una jornada en Sudáfrica y nosotros, a la vez, también estamos organizando una jornada internacional a la que poder traer gente de todos estos países que están colaborando», adelanta.