¿Puede ChatGPT leer tus conversaciones? El caso de Quilmes expuso cómo maneja OpenAI la privacidad de los chats

El caso de un adolescente de 15 años en Quilmes, que habría utilizado ChatGPT para planificar un ataque contra su colegio, puso en foco cómo OpenAI maneja la privacidad de las conversaciones en su plataforma. Surgen así interrogantes sobre si ChatGPT puede “leer” lo que escribe un usuario, en qué situaciones una charla queda señalada, si una persona puede intervenir en las conversaciones y bajo qué circunstancias una empresa puede informar a la policía sobre un contenido detectado en un chatbot.

La investigación se inició el 19 de agosto, cuando el Agregado Jurídico del FBI en la Embajada de Estados Unidos remitió una alerta a las autoridades argentinas. El adolescente habría expresado en ChatGPT su intención de realizar un ataque en un establecimiento educativo con el objetivo de matar a compañeros. El plan estaba pensado inicialmente para 2027, aunque también había contemplado adelantarlo.

Según confirmaron fuentes oficiales a Clarín, entre las señales que generaron preocupación figuraba el interés del joven por adquirir vestimenta y cuchillos tácticos. Durante las conversaciones había manifestado además que era menor de edad. La alerta fue primero recibida por el FBI y luego remitida a la Unidad de Investigación Antiterrorista de la Policía Federal Argentina (PFA).

Ocho días después, la PFA allanó el domicilio del adolescente, donde se secuestraron dos teléfonos celulares, guantes tácticos, prendas camufladas, una balaclava con diseño de calavera, un pasamontañas y gafas de protección. También hallaron una fotografía del joven probándose máscaras. La causa fue caratulada como intimidación pública en grado de tentativa.

Este episodio puso en evidencia un aspecto poco analizado en las discusiones sobre privacidad en asistentes de inteligencia artificial: las conversaciones no ocurren solo entre el usuario y un modelo aislado. El contenido debe ser procesado por la infraestructura de la empresa para generar respuestas y, además, puede ser analizado por sistemas automáticos de seguridad. En ciertos casos, este análisis puede incluir una revisión humana y, si se detecta una amenaza grave contra terceros, incluso una denuncia ante las autoridades.

“Se investigó a través del FBI, que dio intervención a la PFA Antiterrorismo, que tomó conocimiento de que un alumno menor de Quilmes estuvo consultando a la IA qué se necesita para llevar adelante un atentado contra un colegio y sus compañeros”, explicó Alejandro De Mena, auxiliar letrado de la Fiscalía Penal Juvenil N° 1 de Quilmes.

Aunque aún no se divulgó el contenido completo de las conversaciones ni las respuestas concretas proporcionadas por ChatGPT —un aspecto importante para diferenciar lo que escribió el adolescente y la posible asistencia del sistema—, la pregunta sobre cómo maneja OpenAI la privacidad de las charlas no tiene una respuesta clara en sus términos y condiciones.

### Análisis y revisión humana en ChatGPT

OpenAI no publica un detalle técnico exhaustivo que permita rastrear cada paso desde que un usuario envía un mensaje hasta que una conversación es revisada. Sin embargo, su documentación permite distinguir dos procesos clave.

El primero es indispensable para el funcionamiento de ChatGPT: el mensaje del usuario llega a la infraestructura de OpenAI, donde se transforma en “tokens” —unidades pequeñas que pueden ser palabras, fragmentos o signos—. El modelo procesa esos tokens junto con el contexto de la conversación para generar una respuesta.

Paralelamente, funcionan sistemas automatizados de moderación y detección de abuso. OpenAI utiliza clasificadores y otros modelos para identificar posibles infracciones a sus políticas. Estos sistemas analizan conversaciones a gran escala sin que empleados lean manualmente todos los chats. Los clasificadores evalúan el contexto y patrones, no solo palabras específicas.

Por ejemplo, una conversación sobre armas puede tener fines periodísticos, educativos o históricos, mientras otra puede mostrar progresivamente la intención concreta de causar daño. OpenAI asegura que sus sistemas intentan distinguir estos escenarios.

Cuando un caso supera ciertos umbrales, puede ser remitido a una revisión humana. Un equipo especializado analiza entonces la conversación y otros elementos relevantes. Esto puede resultar en que no se tomen medidas, en una restricción de la cuenta o, en casos más graves, en una nueva escalada.

OpenAI sostiene que puede notificar a las fuerzas de seguridad si considera que existe un riesgo inminente y creíble de daño hacia terceros, como ocurrió en el caso de Quilmes. La evaluación puede considerar la conversación completa y no exige que el usuario haya explicitado en un solo mensaje todos los elementos de una posible amenaza.

Además, existe una diferencia entre usar una conversación para entrenar modelos y procesarla por motivos de seguridad. ChatGPT permite desactivar la opción “Mejorar el modelo para todos”, pero esto no elimina los controles contra abusos.

Lo mismo ocurre con los chats temporales, que no aparecen en el historial, no generan memorias, no se usan para entrenamiento y se eliminan tras 30 días. Durante ese lapso, pueden ser revisados para detectar usos indebidos.

Finalmente, se diferencia una alerta generada por OpenAI de un pedido de información por parte de las autoridades. La política de privacidad de la empresa contempla la entrega de datos ante procesos legales y situaciones de emergencia.

En el caso de Quilmes, De Mena explicó que la investigación avanzó a partir de la dirección IP asociada a la conexión. No se informó públicamente qué datos entregó inicialmente OpenAI, cuáles aportó el FBI y cuáles fueron obtenidos por los investigadores argentinos.

### Políticas de Gemini y Claude sobre privacidad y seguridad

ChatGPT no es el único asistente que analiza conversaciones para detectar usos problemáticos. Gemini, de Google, y Claude, de Anthropic, también cuentan con sistemas automáticos y revisión humana, aunque cada empresa establece sus propias reglas.

Google aclara que recopila lo que el usuario escribe o dice a Gemini