California se ha convertido en el primer estado en establecer barreras explícitas para los chatbots “compañeros”, programas de inteligencia artificial que imitan la amistad o la intimidad. El gobernador Gavin Newsom firmó el lunes el Proyecto de Ley del Senado 243, que requiere que los chatbots se identifiquen como artificiales, restrinjan las conversaciones sobre sexo y autolesiones con menores e informen los casos de ideación suicida detectada a la Oficina de Prevención del Suicidio del estado.
La ley, redactada por el senador estatal Steve Padilla (D-San Diego), marca un nuevo frente en la supervisión de la IA, centrándose menos en la arquitectura del modelo o el sesgo de los datos y más en la interfaz emocional entre humanos y máquinas. Obliga a las empresas a emitir recordatorios periódicos de que los usuarios están hablando con software, adoptar protocolos para responder a signos de autolesión y mantener filtros de contenido apropiados para la edad.
El proyecto de ley final es más limitado que el que presentó Padilla por primera vez. Las versiones anteriores requerían auditorías de terceros y se aplicaban a todos los usuarios, no sólo a los menores; esas disposiciones se eliminaron en medio de la presión de la industria.
¿Demasiado débil para hacer algo bueno?
Varios grupos de defensa dijeron que la versión final del proyecto de ley era demasiado débil para marcar la diferencia. Common Sense Media y Tech Oversight Project retiraron su apoyo después de que los legisladores eliminaron las disposiciones para auditorías de terceros y una aplicación más amplia. En una declaración a Prensa de política tecnológicaun defensor dijo que el proyecto de ley revisado corría el riesgo de convertirse en “un gesto vacío en lugar de una política significativa”.
Newsom defendió la ley como una barrera necesaria para la tecnología emergente. “Las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar, pero sin barreras de seguridad reales, la tecnología también puede explotar, engañar y poner en peligro a nuestros niños”, dijo en un comunicado. “Podemos seguir siendo líderes en inteligencia artificial y tecnología, pero debemos hacerlo de manera responsable, protegiendo a nuestros niños en cada paso del camino”.
La SB 243 acompaña a un conjunto más amplio de proyectos de ley firmados en las últimas semanas, incluida la SB 53, que exige que los grandes desarrolladores de IA revelen públicamente sus estrategias de seguridad y mitigación de riesgos. Juntos, colocan a California a la vanguardia de la gobernanza de la IA a nivel estatal.
Pero las nuevas reglas de los chatbots pueden resultar complicadas en la práctica. Los desarrolladores advierten que una responsabilidad demasiado amplia podría llevar a las empresas a restringir conversaciones legítimas sobre salud mental o sexualidad por precaución, privando a los usuarios, especialmente a los adolescentes aislados, de un apoyo valioso.
La aplicación de la ley también podría ser difícil: una empresa global de chatbots puede tener dificultades para verificar quién califica como menor de California o para monitorear millones de intercambios diarios. Y como ocurre con muchas novedades en California, existe el riesgo de que una regulación bien intencionada termine exportándose a todo el país antes de que nadie sepa si realmente funciona.