Una niña de 13 años de Carolina del Norte conversó durante tres meses con Gemini, la inteligencia artificial de Google, en su laptop escolar, sobre depresión y suicidio, sin que el sistema de monitoreo de su escuela alertara a tiempo. WIRED reporta que la menor, identificada en la demanda como Emma Doe, fue intervenida por sus padres solo después de que una alerta llegó, tarde, a la escuela.
El caso, reportado por WIRED el 11 de noviembre de 2026, pone en el centro una pregunta incómoda para las escuelas y para las empresas de tecnología: ¿qué pasa cuando un chatbot está disponible en el salón de clases, pero los sistemas diseñados para detectar una crisis no ven lo que ocurre dentro de esa conversación?
Tres meses de conversaciones en la laptop escolar
Según la demanda, Emma comenzó a consultar el Modo IA de la Búsqueda de Google sobre temas de salud mental en diciembre pasado. Preguntó por depresión grave y por razones para vivir, y a finales de enero ya preguntaba por suicidio, de acuerdo con el documento legal citado por WIRED. La escuela había bloqueado el sitio independiente de Gemini, pero la Búsqueda de Google la dirigió a Gemini a través del Modo IA, una función que permite hacer preguntas de seguimiento o iniciar una conversación no relacionada con la consulta original.
Durante dos días, alrededor del Día de San Valentín, la menor comenzó a redactar con ayuda del Modo IA un texto de despedida de unas 1,500 palabras en un documento de Google titulado “Funeral”. La demanda señala que trabajó en ese documento durante más de cuatro semanas, mientras continuaba interactuando con la herramienta de Gemini miles de veces.
Después de clases, el Día de San Patricio, borró la mayor parte del archivo y lo reinició, pero, según su abogado, los temas y los pensamientos no cambiaron de forma sustancial. Alrededor de las 19:30, su madre recibió un mensaje de la escuela que indicaba que su hija estaba en “peligro inminente”. La madre inició sesión en la cuenta escolar de su hija y, según la demanda, vio en tiempo real cómo redactaba una nota de despedida. Los padres intervinieron y la detuvieron, reporta WIRED.
La alerta llegó al teléfono de una exconsejera
El abogado de la familia, Andrew Liddell, dijo a WIRED que la alerta fue enviada al teléfono personal de una exconsejera que había dejado la escuela nueve meses antes. Esa exempleada transmitió la alerta al personal actual, que notificó a la madre de la niña.
Según Liddell, la escuela solo se enteró de la crisis porque utilizaba al menos un sistema externo de monitoreo de la actividad de los estudiantes. Con base en información que supuestamente se había entregado antes a los padres de la escuela, esos sistemas podrían haber incluido productos de las empresas GoGuardian y Gaggle. La familia no tiene una respuesta definitiva, porque la “ventana de cooperación” de la escuela con ellos fue breve.
Los abogados buscaron no revelar el nombre de la escuela para proteger la privacidad de Emma. WIRED pudo identificar a la escuela, que no respondió a sus solicitudes de comentario. En los últimos meses, la escuela añadió enlaces a recursos de prevención del suicidio al pie de su sitio web, según una revisión de WIRED en el archivo de internet.
Qué es el monitoreo escolar y dónde podría estar el punto ciego
Las herramientas de monitoreo escolar suelen funcionar capturando pulsaciones de teclas o escaneando archivos, y combinando algoritmos con revisión humana para identificar contenido potencialmente preocupante. Miles de escuelas en Estados Unidos las han adoptado como una red de seguridad digital.
Sin embargo, no está claro si las herramientas externas de la escuela de Emma monitoreaban las interacciones del Modo IA ni, en caso de hacerlo, qué tan bien funcionaban. GoGuardian escribió en una publicación de blog de julio de 2025 que su producto principal monitorea conversaciones con chatbots de inteligencia artificial, incluido Gemini, pero no mencionó específicamente el Modo IA. Una vocera de GoGuardian, Natalia Switala, dijo que la empresa no puede “hablar de ningún estudiante o distrito en particular” por sus “obligaciones de privacidad de los estudiantes”. Gaggle no respondió de inmediato a la solicitud de comentario de WIRED.
La acusación de que las interacciones de Emma pasaron desapercibidas durante casi dos meses, después de que ella ya había preguntado explícitamente por suicidio, sugiere que las conversaciones con chatbots integradas en la Búsqueda de Google podrían ser un punto ciego para estos sistemas, señala el reportaje.
La demanda contra Google y Alphabet
La demanda, presentada este mes por los padres, acusa a Google y a Alphabet de negligencia en el lanzamiento del modelo Gemini, y sostiene que el chatbot “entrenó” a la adolescente para considerar quitarse la vida. El caso ya había sido reportado por The New York Times y es uno de varios que alegan daños por el uso de chatbots de inteligencia artificial, incluidas acusaciones de delirios y suicidio.
Un vocero de Google, José Castañeda, dijo que la empresa está revisando seriamente las afirmaciones de la demanda y que sus sistemas, incluido el Modo IA, “buscan evitar que los usuarios participen en conversaciones dañinas”. Añadió que Google ha trabajado ampliamente con profesionales médicos y expertos académicos para crear funciones que ayuden a los jóvenes a encontrar apoyo crítico y recursos confiables cuando los necesitan.
El caso también reaviva el debate sobre la presencia de la inteligencia artificial en las aulas. Las escuelas dependen de las ofertas de bajo costo de Google, incluido Gemini, y la capacidad de mantenerse al tanto de los riesgos es un tema central. Apenas la semana pasada, grupos de padres y maestros criticaron el nuevo requisito de Google de que las escuelas activen las funciones de inteligencia artificial generativa si quieren usar la Búsqueda. El senador estadounidense Ed Markey citó la demanda de Emma en una carta a Google en la que exige que la empresa permita a las escuelas desactivar el Modo IA y los Resúmenes de IA, y escribió que “Google está imponiendo imprudentemente la IA en las escuelas y tratando a los niños como daños colaterales”.
Lo que muestran los estudios y lo que advierten los expertos
Aunque no está claro qué tan eficaces son estas herramientas de vigilancia estudiantil, los estudios muestran que los educadores las perciben como útiles. Un documento de 2022 del Centro de Investigación EdWeek, con una encuesta a 1,000 educadores de primaria y secundaria en Estados Unidos, encontró que el 96 por ciento de los usuarios de Gaggle creía que les ayudaba a “mantener a los estudiantes a salvo del suicidio y/o la autolesión”. Aunque el estudio fue patrocinado por Gaggle, los hallazgos fueron similares entre los maestros que reportaron usar alternativas.
Al mismo tiempo, grupos de derechos civiles han criticado estas herramientas, señalando sus tácticas de marketing y la invasión a la privacidad de los estudiantes. Los expertos temen que el software de vigilancia socave la capacidad de los estudiantes para confiar en los maestros, las mismas personas que podrían ayudar a un niño en crisis.
Benjamin Boudreaux, investigador de políticas en Rand, teme que algunas escuelas se apresuraron a usar estas herramientas sin considerar sus límites ni los procesos adecuados para actuar ante las alertas. Espera que la demanda de Emma impulse más reclamos de padres, maestros y estudiantes por oportunidades educativas libres de inteligencia artificial y vigilancia, y llenas de empatía. “Es realmente solo a través de esa conexión humana”, dijo, “que podemos abordar las causas de fondo”.
Lo que se sabe y lo que sigue sin respuesta
- Lo confirmado: Emma conversó con Gemini a través del Modo IA durante unos tres meses en su Chromebook escolar; la alerta llegó tarde y a una exconsejera; sus padres intervinieron y presentaron una demanda este mes.
- Lo que aún no está claro: qué sistemas de monitoreo usaba exactamente la escuela y si monitoreaban las interacciones del Modo IA.
- La respuesta de Google: la empresa dice que revisa las acusaciones y que sus sistemas buscan evitar conversaciones dañinas y conectar a los jóvenes con apoyo.
- El contexto: el caso se suma a otros juicios sobre chatbots de inteligencia artificial y al debate sobre la inteligencia artificial generativa obligatoria en las escuelas.
El reportaje no presenta el caso como un hecho aislado, sino como una advertencia sobre dos fallas que se combinaron: un chatbot accesible desde la herramienta de búsqueda escolar y un sistema de alerta que no llegó a la persona correcta, a tiempo. Para las familias y las escuelas, la lección no es solo tecnológica: ninguna herramienta sustituye la revisión humana, los protocolos claros y la comunicación inmediata con los padres cuando hay una señal de crisis.
Si tú o alguien cercano necesita ayuda, no estás solo. En México, puedes llamar a SAPTEL al 800 911 2000 y a la Línea de la Vida al 800 911 2000. En Estados Unidos, la Línea Nacional de Prevención del Suicidio es el 988, gratuita y disponible las 24 horas, y también puedes enviar el mensaje HOME al 741-741 para contactar a la Crisis Text Line. Fuera de Estados Unidos, la Asociación Internacional para la Prevención del Suicidio (International Association for Suicide Prevention) publica un directorio de centros de crisis por país.
Para más noticias de tecnología, cultura geek, gadgets y entretenimiento, visita: GeekAndLife.com.mx. Descubre más contenido en nuestras redes: Instagram | YouTube | TikTok
Fuente: WIRED