Cuarenta de los principales investigadores de IA del mundo acaba de publicar un artículo argumentando que las empresas deben comenzar a leer los pensamientos de sus sistemas de IA. No sus salidas, su proceso de razonamiento paso a paso real, el monólogo interno que ocurre antes de Chatgpt o Claude le da una respuesta.
La propuesta, llamada cadena de monitoreo de pensamiento, tiene como objetivo evitar el mal comportamiento, incluso antes de que el modelo reciba una respuesta y puede ayudar a las empresas a establecer puntajes “en decisiones de capacitación y despliegue”, argumentan los investigadores.
Pero hay una trampa que debería hacer que cualquiera que haya escrito una pregunta privada en Chatgpt sea nerviosa: si las empresas pueden monitorear los pensamientos de la IA en el despliegue, cuando la IA interactúa con los usuarios, entonces también pueden monitorearlos para cualquier otra cosa.
Cuando la seguridad se convierte en vigilancia
“La preocupación está justificada”, dijo Nic Addams, CEO de la startup de piratería comercial 0rcus Descifrar. “Una cuna en bruto a menudo incluye secretos de usuario literales porque el modelo ‘piensa’ en las mismas tokens que ingiere”.
Todo lo que escribes en una IA pasa a través de su cadena de pensamiento. Preocupaciones de salud, problemas financieros, confesiones: todo podría registrarse y analizarse si el monitoreo de la cuna no se controla adecuadamente.
“Historia cosida con los escépticos”, advirtió Addams. “Los metadatos de telecomunicaciones después del 11 de septiembre y los registros de tráfico ISP después de la Ley de Telecomunicaciones de 1996 se introdujeron ‘para la seguridad’ y luego se reutilizaron para análisis comerciales y citaciones. La misma gravedad se tirará de los archivos de la cuna a menos que la retención sea criptográficamente aplicada y el acceso está legalmente limitada”.
El CEO de Carrera Nomad, Patrice Williams-Lindo, también es cauteloso sobre los riesgos de este enfoque.
“Hemos visto este libro de jugadas antes. Recuerda cómo las redes sociales comenzaron con ‘Connect Your Friends’ y se convirtieron en una economía de vigilancia? Descifrar.
Ella predice un futuro “teatro de consentimiento” en el que “las empresas fingen honrar la privacidad, pero entierran la vigilancia de cuna en términos de 40 páginas”.
“Sin barandas globales, los registros de cuna se utilizarán para todo, desde la orientación de anuncios hasta el ‘perfil de riesgo de empleados’ en herramientas empresariales. Observe esto, especialmente en la tecnología de recursos humanos y la IA de productividad”.
La realidad técnica lo hace especialmente preocupante. Los LLM solo son capaces de razonamiento sofisticado y de varios pasos cuando usan COT. A medida que AI se vuelve más poderosa, el monitoreo se vuelve más necesario y más invasivo.
Además, la monitorización de COT existente puede ser extremadamente frágil.
RL de mayor computo, arquitecturas de modelos alternativas, ciertas formas de supervisión de procesos, etc. pueden conducir a modelos que ofuscan su pensamiento.
– Bowen Baker (@bobabowen) 15 de julio de 2025
Tej Kalianda, un líder de diseño en Google, no está en contra de la propuesta, sino que enfatiza la importancia de la transparencia para que los usuarios puedan sentirse cómodos sabiendo lo que hace la IA.
“Los usuarios no necesitan un modelo interno completo, pero necesitan saber por el chatbot de la IA, ‘He aquí por qué estás viendo esto’ o ‘Esto es lo que ya no puedo decir'”, dijo. Descifrar. “Un buen diseño puede hacer que la caja negra se sienta más como una ventana”.
Agregó: “En los motores de búsqueda tradicionales, como la búsqueda de Google, los usuarios pueden ver la fuente de cada resultado. Pueden hacer clic, verificar la credibilidad del sitio y tomar su propia decisión. Esa transparencia brinda a los usuarios un sentido de agencia y confianza. Con chatbots de IA, ese contexto a menudo desaparece”.
¿Hay un camino seguro a seguir?
En nombre de la seguridad, las empresas pueden permitir que los usuarios opten por no dar sus datos para la capacitación, pero esas condiciones pueden no aplicarse necesariamente a la cadena de pensamiento del modelo, que es una salida de IA, no controlada por el usuario, y los modelos de IA generalmente reproducen la información que los usuarios les dan para hacer un razonamiento adecuado.
Entonces, ¿existe una solución para aumentar la seguridad sin comprometer la privacidad?
ADDAMS Proponales salvaguardas: “Mitigaciones: trazas en memoria con retención de día cero, hashing determinista de PII antes del almacenamiento, redacción del lado del usuario y ruido de privacidad diferencial en cualquier análisis agregado”.
Pero Williams-Lindo sigue siendo escéptico. “Necesitamos una IA que sea responsable, no perfilativa, y eso significa transparencia por diseño, no de vigilancia por defecto”.
Para los usuarios, en este momento, esto no es un problema, pero puede ser si no se implementa correctamente. La misma tecnología que podría prevenir desastres de IA también podría convertir cada conversación de chatbot en un punto de datos registrado, analizado y potencialmente monetizado.
Como advirtió Addams, observe “una violación que exponga las cunas sin procesar, un punto de referencia público que muestra> 90% de evasión a pesar del monitoreo, o los nuevos estatutos de la UE o California que clasifican la COT como datos personales protegidos”.
Los investigadores solicitan salvaguardas como la minimización de datos, la transparencia sobre el registro y la eliminación rápida de los datos no porgados. Pero implementarlos requeriría confiar en las mismas compañías que controlan el monitoreo.
Pero a medida que estos sistemas se vuelven más capaces, ¿quién verá a sus observadores cuando ambos puedan leer nuestros pensamientos?