¿Cómo identificar discursos de odio en plataformas sociodigitales?

Óliver Zazueta 

Los mensajes que tu abuelita te manda por WhatsApp asegurando que nos van a controlar a través de un chip implantado en la vacuna del Covid 19, que el café te cura de este virus o que hay una conjura LGBT para atrapar a nuestros hijos, no podrán parecer discursos de odio, ni siquiera tienen esa intención de su parte, pero forman parte de una estrategia de desinformación que a la larga fomenta los prejuicios en línea.  

En el ciclo Ética Aplicada, del Departamento de Formación Humana, Paloma López Portillo, académica de Signa_Lab ITESO, dictó la conferencia "¿Cómo identificar discursos de odio en plataformas sociodigitales?". La charla abordó la naturaleza de estos discursos, su propagación y los desafíos de moderación que enfrentan las plataformas digitales. 

López Portillo empezó con una reflexión personal sobre la evolución del entorno digital. "Me gusta pensar que me tocó un cachito del mundo analógico", comentó. "Nací en los noventa, pero no crecí en un mundo tan conectado como mi hermano, que es diez años menor que yo. Su infancia fue completamente distinta a la mía. Me encantaba jugar videojuegos, luego llegaron Messenger, MySpace, MetroFLOG, Hi5, que fueron las primeras formas en que nos pudimos conectar. A mi hermano le tocó otro tipo de prácticas cotidianas que ya nacieron en internet”. Con esto ilustró cómo las generaciones han experimentado la internet de manera distinta y cómo estas diferencias afectan la percepción de los discursos que circulan en línea. 

La académica explicó que los discursos de odio no son solo palabras sin consecuencias. "Primero están los sesgos, que se reflejan en estereotipos, bromas y comentarios insensibles. Luego, estos pasan a convertirse en prejuicios y acusaciones falsas, que deshumanizan a ciertos grupos. Más adelante, esto puede escalar a discriminación, que puede ser económica, laboral o de género, y, en su nivel más extremo, a la violencia y al genocidio". De acuerdo con López Portillo, comprender esta ruta de radicalización discursiva es clave para frenar el problema antes de que alcance niveles de riesgo. 

La manera en que se propagan los discursos de odio en las redes sociales tiene que ver con una explosión en coyunturas específicas que son aprovechadas por ciertos actores. Por ejemplo, usando el miedo como mecanismo de censura, generando noticias falsas que criminalizan a grupos vulnerables para justificar ataques, lo que hace que los algoritmos configuren burbujas informativas que refuerzan estos discursos de odio. 

Además, la propagación del discurso de odio en redes sociales está vinculada con las dinámicas algorítmicas de las plataformas. "Los algoritmos de relevancia no están diseñados para priorizar la convivencia o el debate democrático, sino para mantenernos enganchados. Y, lamentablemente, los discursos de odio generan interacción", señaló. 

"Cuando las plataformas notan que un usuario está enganchado con un tema virulento, se lo van a seguir mostrando". Este modelo de negocio, basado en la permanencia del usuario dentro de la plataforma, es una de las razones por las cuales los discursos de odio pueden amplificarse rápidamente. “El objetivo de todas estas plataformas es que permanezcas ahí, porque esto les permite mostrar más publicidad”. 

En cuanto a la moderación de contenido, López Portillo destacó la falta de transparencia en los algoritmos que regulan qué se permite y qué no en las redes sociales. "Las plataformas dicen que se preocupan por las reglas de convivencia comunitaria, pero en la práctica, sus algoritmos no reflejan esa preocupación". También enfatizó la importancia de tomar el control sobre los datos personales y acercarse a iniciativas que promuevan un internet más empático y con perspectiva de género. "El primer paso es acercarnos a estas iniciativas de personas que tratan de hacer un mejor internet para todos". 

Tras la conferencia, la moderadora Gabriela Ortiz, académica del ITESO, hizo una reflexión crítica sobre el rol de las plataformas digitales en la propagación de discursos polarizantes. "¿A quién le toca decidir qué es falso y qué es verdadero?", cuestionó. "Sé que están los fact-checkers, pero al final es la plataforma la que decide si quita o no la información y para quién". Para Ortiz, esta situación plantea preguntas fundamentales sobre quién regula los contenidos en internet y qué intereses están en juego. 

Ortiz hizo hincapié en la forma en que los algoritmos han transformado la manera en que interactuamos. "Antes éramos prosumers, generábamos contenido e información para la red. Ahora, la mayoría simplemente consume y reproduce sin cuestionar". Esta dinámica, de acuerdo con la académica, refuerza la radicalización de los discursos. "Cada vez hay menos grises, más blanco y negro. Los algoritmos retroalimentan esto y, en muchos casos, nos enseñan a relacionarnos desde el prejuicio y la incapacidad para la escucha". 

Como posibles soluciones, Ortiz sugirió la creación de contra narrativas y el trabajo en red para resignificar los discursos. "No se trata solo de censurar, sino de generar narrativas que desmonten los discursos de odio y los reemplacen con mensajes que fomenten el pensamiento crítico y la empatía". 

El problema del discurso de odio en plataformas sociodigitales no tiene una solución única ni inmediata. Sin embargo, como destacó López Portillo, la conciencia sobre cómo operan estos sistemas y la construcción de espacios digitales más seguros y solidarios son pasos fundamentales para enfrentar el reto. "Tenemos que ver cómo hacemos desde donde estamos para hacer un espacio de internet más seguro y solidario".