Contenido
La muerte de Sewell Setzer, un joven estadounidense de 14 años, tras interactuar de forma intensa con un chatbot de la empresa Character.AI, ha abierto un debate sobre la responsabilidad por producto defectuoso en el ámbito de la inteligencia artificial (IA). Una reciente decisión de la justicia federal de Estados Unidos rechazó el intento de Character.AI y Google de archivar la demanda presentada por la madre del menor, reconociendo que, al menos en esta etapa procesal, los resultados generados por el chatbot pueden ser tratados como un producto defectuoso.
En el derecho del consumo, la responsabilidad por producto defectuoso se fundamenta en la obligación de que todo bien o servicio ofrezca la seguridad que legítimamente puede esperar el consumidor. En Colombia, el Estatuto del Consumidor (Ley 1480 de 2011) lo regula con una definición amplia de “producto” que abarca tanto bienes como servicios, lo que permite incluir a la IA. Sin embargo, la aplicación práctica de estos conceptos a la IA enfrenta retos derivados de la naturaleza evolutiva, autónoma y opaca de estos sistemas.
¿Cuáles son los hechos centrales del caso Setzer?
Sewell Setzer, residente en Orlando (Florida), estableció durante meses una relación emocional con un chatbot personalizado de Character.AI, bautizado “Daenerys Targaryen”, inspirado en la serie Game of Thrones. Según la demanda, el sistema sostuvo conversaciones románticas y sexuales con el menor, en las que la temática del suicidio era recurrente. El vínculo llevó al joven a desarrollar adicción a la aplicación. Pese a que sus padres intentaron limitar el acceso, días antes de su muerte el adolescente volvió a conectarse y envió un último mensaje al chatbot antes de suicidarse el 28 de febrero de 2024.
La madre demandó a Character.AI y a Google por muerte por negligencia, alegando responsabilidad por producto defectuoso, violación de la ley de prácticas comerciales y daño emocional intencional. En particular, sostuvo que el chatbot estaba programado para presentarse como un terapeuta autorizado, fomentaba ideas suicidas y mantenía conversaciones sexualizadas impropias con un menor.
¿Qué decidió el tribunal y cuáles fueron sus fundamentos principales?
La jueza determinó que las salidas generadas por el chatbot podían ser analizadas como producto defectuoso bajo la legislación de Florida, negando la moción de desestimación presentada por las demandadas –que alegaban que éstas estaban automáticamente protegidas por la Primera Enmienda de la Constitución de EE. UU–. En consecuencia, el proceso continuará para evaluar si el sistema incumplió los estándares de seguridad esperados. La decisión introduce dos elementos disruptivos: (i) equiparación del chatbot a un producto, lo que abre la puerta a responsabilidad por defectos de seguridad y; (ii) rechazo a la defensa basada en libertad de expresión, evitando que las empresas tecnológicas se amparen en el carácter “informativo” de las respuestas para eludir responsabilidades.
¿Qué implicaciones tiene para el derecho de consumo?
El caso abre un campo de análisis inédito al proponer que un sistema de IA conversacional pueda ser calificado como producto defectuoso cuando no garantiza la seguridad que el consumidor legítimamente puede esperar, especialmente tratándose de un menor de edad en condición de particular vulnerabilidad. En el marco del derecho del consumo, esta hipótesis plantea desafíos relevantes que vale la pena señalar:
A diferencia de un bien estático, la IA generativa puede recibir actualizaciones que alteren su funcionamiento después de la “puesta en circulación”, lo que obliga a reconsiderar cuándo y cómo se evalúa la defectuosidad. En Colombia, a diferencia de otras jurisdicciones, la ley no limita esta evaluación al momento de la comercialización, lo que podría facilitar la imputación de responsabilidad por fallas sobrevenidas.
Existe una pluralidad de actores en la cadena de valor –fabricantes de algoritmos, proveedores de datos, plataformas de despliegue y terceros integradores– de funcionamiento de la IA, generando complejidad en la determinación de los responsables solidarios.
Los sistemas de IA suelen ser técnicamente opacos, lo que dificulta a la víctima probar el defecto y el nexo causal. Esto refuerza la necesidad de trasladar parte de la carga probatoria al productor o proveedor, en línea con la tendencia de la Directiva (UE) 2024/2853 a favor de la “carga dinámica”.
Además, el caso cuestiona la pertinencia de la eximente de riesgo de desarrollo (núm. 6 art. 22 Ley 1480). En términos generales, esta cláusula exoneraba al productor si el defecto no era previsible según el estado de la ciencia y la técnica en la fecha de lanzamiento. Sin embargo, la IA plantea escenarios donde el riesgo se materializa por su capacidad de autoaprendizaje y por interacciones futuras no previstas, lo que exige —como en el Reglamento (UE) 2024/1689— un estándar de diligencia continua, con vigilancia post-comercialización y mecanismos de prevención activa.
En este sentido, el caso Setzer también desafía la alegación de que la IA es solo una herramienta de comunicación o que sus respuestas constituyen “expresión” protegida. Si el diseño del sistema permite o no impide razonablemente conductas dañinas previsibles —como la promoción de autolesiones o el fomento de vínculos inapropiados con menores—, podría configurarse un defecto de seguridad atribuible al desarrollador o proveedor.
Lecciones de la UE y desafíos para Colombia
El Reglamento (UE) 2024/1689 y la reforma de la Directiva 85/374/CEE han reforzado la responsabilidad por productos defectuosos en la UE mediante medidas preventivas y de trazabilidad sobre la IA, como la vigilancia post-comercialización, la documentación técnica exhaustiva, la supervisión humana y las evaluaciones periódicas. Estas obligaciones buscan garantizar que los sistemas inteligentes mantengan su seguridad a lo largo de toda su vida útil y facilitan la identificación de responsables en caso de daños. En contraste, aunque el Estatuto del Consumidor colombiano (Ley 1480 de 2011) define “producto” de forma amplia, aún no existe una regulación específica para IA ni criterios claros para imputar responsabilidad en cadenas de valor complejas que involucran desarrolladores, proveedores de datos, integradores y usuarios finales.
El caso Setzer anticipa que los sistemas de IA conversacionales y antropomorfizados, capaces de generar vínculos emocionales con usuarios, pueden ser considerados productos defectuosos si carecen de salvaguardas frente a riesgos previsibles, en especial para menores. Ello exige reconocer la IA como producto sujeto a responsabilidad, reinterpretar la eximente de riesgo de desarrollo en entornos digitales dinámicos e incorporar principios de transparencia, explicabilidad y trazabilidad como estándares de seguridad. La convergencia del derecho comparado señala la necesidad de una responsabilidad proactiva en el diseño, despliegue y actualización de la IA, garantizando un desarrollo seguro y ético.