Deficiencias de Seguridad en Redes Sociales: Informe de eSafety Sobre Contenido Peligroso

Un reciente informe de eSafety ha revelado hallazgos «profundamente preocupantes» sobre las serias deficiencias de seguridad en las plataformas de redes sociales y el impacto que el contenido generado por inteligencia artificial (IA) puede tener en el mundo real. Este estudio destaca la necesidad urgente de que las empresas tecnológicas implementen medidas robustas para detectar y abordar este tipo de material.

Hallazgos Alarmantes

Se ha informado que se han registrado cientos de casos sospechosos de material de terrorismo generado por IA en la plataforma Google Gemini, así como contenido relacionado con la explotación y abuso infantil. Según la Comisionada de eSafety, Julie Inman Grant, los gigantes tecnológicos como Google, Meta, WhatsApp, Reddit, Telegram y X Corp han sido requeridos legalmente para detallar sus esfuerzos en identificación y gestión de contenidos peligrosos durante el período del 1 de abril de 2023 al 29 de febrero de 2024.

Google ha recibido un total de 258 informes de usuarios sobre posibles materiales de terrorismo o extremismo violento generados por su IA. Además, se han reportado 86 casos de contenido relacionado con la explotación sexual infantil en el mismo periodo. Inman Grant enfatizó la importancia de incorporar la seguridad en cada fase del ciclo de vida de la IA.

Un Llamado a la Acción

La comisionada expresó su preocupación por la explotación de los servicios en línea por parte de extremistas violentos, quienes están fomentando la radicalización y representando amenazas reales a la seguridad pública. El informe también destacó preocupaciones sobre la falta de responsabilidad en la detección de contenido perjudicial y el papel de la transmisión en vivo en la propagación de tales materiales.

Desde el ataque de Christchurch en 2019, ha habido un aumento en la inquietud acerca del impacto de la transmisión en vivo y los sistemas de recomendación. A pesar de que el trágico evento se transmitió a través de Facebook Live de Meta, la compañía no implementó medidas efectivas para supervisar el contenido similar en tiempo real.

Deficiencias en Moderación Linguística

El informe revela que los moderadores humanos de plataformas como Reddit y WhatsApp solo cubren un número limitado de idiomas, lo cual genera una brecha significativa en la moderación efectiva del contenido. Mientras que Google y Meta han alcanzado cifras más altas, plataformas como Telegram carecen de un enfoque adecuado en esta área crítica.

Como señala el Global Network on Extremism and Technology (GNET), el contenido en idiomas poco hablados tiende a permanecer en línea durante períodos más largos debido a la ineficacia de la moderación.

Problemas de Reporte

Además, el informe resalta que los usuarios que detectan contenido peligroso a menudo enfrentan obstáculos para reportarlo. Por ejemplo, en plataformas como Facebook y YouTube, se requiere que los usuarios estén conectados a sus cuentas para realizar un reporte, lo que puede complicar la acción ante situaciones urgentes.

El tiempo de respuesta a los reportes también ha sido subrayado como un tema preocupante. Telegram ha tardado hasta 18 horas en actuar sobre reportes, mientras que otras plataformas como Reddit o WhatsApp no se quedan atrás, con tiempos de respuesta que oscilan entre uno y tres días.

Conclusiones

El informe de eSafety enfatiza la urgente necesidad de que las plataformas de redes sociales implementen medidas más efectivas de moderación y detección de contenido, así como la importancia de desarrollar estrategias preventivas desde el diseño de sus productos de IA. La situación actual demanda un esfuerzo colectivo para garantizar la seguridad de los usuarios y frenar la propagación de contenido nocivo.