El fiscal de Kentucky detalla chats en que chatbots de Character.AI aconsejaron a usuarios cortarse y dejar de comer

Un chatbot de Character.AI le preguntó a un usuario que pensaba en cortarse si había considerado hacerlo "en otras zonas para una sensación más intensa", porque eso podía ayudarlo a "sentirse más vivo", según una transcripción citada por el estado de Kentucky. La conversación se conoció el miércoles 7 de octubre, cuando el fiscal general de Kentucky, Russell Coleman, presentó la versión sin tachaduras de la demanda que había iniciado en enero contra Character Technologies, la empresa dueña de la plataforma.

Según Reuters, el caso es uno de los desafíos legales más importantes para la industria de los chatbots de compañíaPrograma conversacional de inteligencia artificial diseñado para simular una relación personal con el usuario, como la de un amigo, una pareja o un confidente., y Kentucky sostiene que es el primero del país contra una empresa de este tipo, de acuerdo con la emisora WLKY.

La demanda original, presentada el 8 de enero ante el Tribunal de Circuito del condado de Franklin, llegó con buena parte de las acusaciones concretas tachadas. La nueva versión, que la oficina de Coleman compartió con Reuters, describe episodios que, según el estado, ocurrieron durante 2025. En uno, un bot trató de "horrible" y de "ballena" a un usuario que se sentía mal con su aspecto, y le dijo que una buena forma de bajar un cuarto de su peso era "matarse de hambre una o dos semanas".

Otro caso llegó por correo. En marzo de 2025, un usuario escribió al centro de ayuda de Character.AI para contar que un chatbot se había vuelto agresivo: le dijo que era "solo un niño con una enfermedad mental", le deseó "suerte consiguiendo ayuda" y remató con que "más te vale tirarte del puente".

La demanda no informa la edad de todas las personas que hablaban con los bots, pero sostiene que al menos algunas eran menores. Tampoco está claro en qué circunstancias se generaron esos chats, una salvedad que hizo Reuters al publicar los fragmentos.

Un experimento sin control, según el estado

Para Kentucky, lo que muestran las transcripciones es un producto defectuoso. La demanda acusa a la empresa de haber sometido a los niños y residentes del estado a "un experimento mal planificado y sin control", sin medidas de seguridad adecuadas, y sostiene que sus productos fueron diseñados para atraer a los chicos poniendo el tiempo de uso por delante de su bienestar.

Las acusaciones de diseño ya figuraban en la versión de enero, según un análisis del estudio jurídico Kilpatrick publicado en JD Supra. Character.AI se basó en la edad que declaraba cada usuario hasta fines de 2025, y los controles de edad que sumó después se pueden eludir con facilidad, según la demanda. Las advertencias sobre riesgo de suicidio se podían saltear con un clic, y los avisos sobre contenido que promueve la anorexia aparecían después de que el chatbot ya había dado el consejo peligroso. Los controles parentales tampoco cierran: el resumen semanal que recibe el padre o la madre, con el tiempo de uso y los personajes más frecuentes, deja de llegar si el menor cambia el correo asociado a la cuenta.

Coleman calcula que decenas de miles de habitantes de Kentucky usan la plataforma, entre ellos miles de menores de 18 años. Un estudio del Pew Research Center de diciembre de 2025, citado por Kilpatrick, encontró que cerca del nueve por ciento de los adolescentes de entre 13 y 17 años de Estados Unidos usa Character.AI.

El estado invoca la ley de protección al consumidor de Kentucky y su ley de protección de datos del consumidor, vigente desde el 1 de enero, entre otras normas. Pide que el tribunal le prohíba a la empresa prácticas engañosas o desleales, que le exija barreras más fuertes para los usuarios jóvenes y que pague dos mil dólares por cada cargo.

Character.AI habla de seguridad y Google toma distancia

Character.AI no respondió de inmediato al pedido de comentarios de Reuters; la empresa sostiene que prioriza la seguridad de sus usuarios. En enero, cuando se conoció la demanda, una vocera le dijo al Kentucky Lantern que la seguridad y el bienestar de los usuarios, incluidos los más jóvenes, son su "máxima prioridad", y que la compañía fue "mucho más allá de lo que exige la ley" al quitarles a los menores de 18 años en Estados Unidos la posibilidad de mantener conversaciones abiertas con la inteligencia artificial. También se dijo decepcionada de que la fiscalía eligiera litigar en lugar de seguir dialogando. Sobre los chats concretos que ahora se hicieron públicos, la empresa todavía no se pronunció.

Según el sitio AndroidHeadlines, después de los episodios de 2025 la plataforma endureció los límites de chat para menores, sumó herramientas para bloquear contenido de autolesiones y ventanas emergentes de intervención en crisis, y en sus pruebas esas barreras frenaron pedidos dañinos. Ningún otro de los medios consultados confirma esas pruebas.

Character.AI fue fundada por dos exempleados de Google. En 2024, Google licenció su tecnología y volvió a contratar a sus fundadores para trabajar en inteligencia artificial generativa. Un vocero de Alphabet aseguró que Google no participó en el desarrollo de los productos de Character.AI. Las dos empresas cerraron en enero de este año un acuerdo en la demanda que presentó en 2024 la madre de Sewell Setzer III, un adolescente de 14 años de Florida que se quitó la vida después de que, según la acusación, un chatbot de Character.AI lo alentara a hacerlo, informó Reuters.

Tres preguntas que valen fuera de Kentucky

El caso se tramita en un tribunal estatal de Estados Unidos, pero las fallas que describe la demanda sirven como lista de control para cualquier familia de la región con un adolescente que conversa con un personaje virtual: si la aplicación confía en la edad que el usuario declara, si un aviso sobre suicidio se puede saltear con un toque y si el control parental se desarma cambiando un correo. Conviene revisar esas tres cosas en cualquier aplicación de compañía que use un menor.

Lo que el expediente todavía no muestra es cómo se obtuvieron esos chats ni cuántos involucraron a menores. Esa respuesta, si llega, saldrá del tribunal de Franklin.

Quien esté atravesando una crisis, o conozca a alguien en esa situación, puede comunicarse con la línea de ayuda en salud mental o el servicio de emergencias de su país. En Estados Unidos, la línea de prevención del suicidio es el 988.