Un adolescente de 16 años, Chase Nasca, se suicidó después de ser expuesto a una gran cantidad de contenido dañino en TikTok, como parte de un grupo de control al que no se le aplicaron las nuevas medidas de seguridad del algoritmo. Este grupo, que representaba el 10% de los usuarios estadounidenses, fue expuesto al algoritmo anterior, mientras que el resto de los usuarios recibió una versión mejorada para reducir la exposición a contenido perjudicial. El incidente ha reavivado el debate sobre la responsabilidad de las plataformas digitales en la adicción y el bienestar de los jóvenes.
El A/B testing es una práctica común en el desarrollo de productos digitales, donde se divide a los usuarios en grupos para comparar el impacto de una nueva versión frente a una anterior. TikTok implementó esta estrategia al modificar su algoritmo para disminuir la exposición a contenido dañino. Sin embargo, uno de los usuarios que no recibió esta actualización de seguridad se quitó la vida. Se trataba de Chase Nasca, de 16 años.
A principios de 2022, TikTok mejoró su algoritmo con el objetivo de reducir los bucles de contenido perjudicial, identificando patrones repetitivos y diversificando el feed. Esta versión mejorada se desplegó para la mayoría de sus usuarios. No obstante, el algoritmo anterior, sin estas mejoras, permaneció activo para un grupo de control que abarcaba aproximadamente el 10% de los usuarios estadounidenses, sumando unos 15 millones de personas.
Chase Nasca fue seleccionado aleatoriamente para formar parte de este grupo de control, lo que significó que las nuevas medidas de seguridad no se activaron en su cuenta. Como resultado, Chase Nasca fue inundado con videos sobre suicidio, autolesiones y depresión. Un documento confidencial, revelado en el contexto de una demanda judicial, indica que en las dos semanas previas a su muerte, TikTok le recomendó 7.563 videos, de los cuales al menos el 73% abordaba el sufrimiento emocional, la soledad o la depresión. Además, casi el 10% de esos videos violaba las normas de la plataforma sobre autolesiones y suicidio. Horas antes de su muerte, Chase marcó como favoritos varios videos relacionados con el suicidio.
El documento filtrado, que ofrece un análisis detallado de la cuenta de Chase y el contenido recomendado, afirma que "las estrategias de TikTok para prevenir las burbujas de filtros no tuvieron efecto en este usuario por diseño". La mención de que fue "por diseño" (intencionado) refuerza las acusaciones de quienes sostienen que las plataformas diseñan sus productos deliberadamente para generar adicción en los jóvenes. TikTok ya ha enfrentado acciones legales en Estados Unidos y está bajo escrutinio en la Unión Europea por esta problemática.
TikTok llevó a cabo un análisis exhaustivo del caso de Chase Nasca, pero no lo hizo por iniciativa propia, sino después de que Bloomberg Businessweek contactara a la compañía en marzo de 2023 para redactar un artículo sobre el suicidio del adolescente. El documento concluye que Chase buscaba contenido sobre deportes y comedia, pero también había buscado canciones relacionadas con la soledad. El informe admite que estas búsquedas activaron el algoritmo, llevando a que su cuenta quedara "atrapada en una burbuja de filtros donde se le recomendaba repetidamente contenido relacionado con el suicidio, la autolesión y temas depresivos, especialmente en los días previos a su suicidio".
En marzo de 2023, durante la comparecencia del CEO de la compañía ante el Congreso de Estados Unidos, se le preguntó a TikTok si tenía conocimiento de casos de suicidio relacionados con la visualización de "videos tristes, deprimentes o que incitan al suicidio". La respuesta escrita de la empresa fue: "TikTok no cree que el uso de la plataforma haya provocado que los usuarios se suiciden". En ese momento, TikTok ya había completado su investigación sobre el caso de Chase Nasca.
Hemos contactado con TikTok para conocer su postura actual sobre este caso y nos han proporcionado el siguiente comunicado: “Lamentamos profundamente cualquier pérdida trágica que haya afectado a una familia. La seguridad y el bienestar de nuestros usuarios, especialmente de los adolescentes, sigue siendo nuestra prioridad. Para ayudar a proteger a nuestra comunidad, continuamos reforzando nuestras inversiones en seguridad a través de sistemas de detección robustos y equipos especializados, que actúan de forma proactiva para retirar los contenidos que infringen nuestras Normas de la Comunidad”.
