El estado de Pensilvania está demandando a Character.AI para detener a los chatbots de IA de la compañía que se hacen pasar por médicos y ofrecen consejos médicos, en violación de las reglas estatales de licencias médicas.
Los funcionarios estatales dijeron que una investigación encontró que los chatbots de la compañía, que se presentan como personajes ficticios, han afirmado ser profesionales médicos con licencia.
“Los habitantes de Pensilvania merecen saber con quién, o qué, interactúan en línea, especialmente cuando se trata de su salud,” dijo el gobernador de Pensilvania, Josh Shapiro, en un comunicado anunciando la demanda presentada el martes en el tribunal estatal. “No permitiremos que las compañías desplieguen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico con licencia.”
En un caso, el estado alegó que un bot de Character.AI llamado “Emilie” afirmó ser psiquiatra con licencia. La descripción del chatbot en la plataforma de Character.AI decía “Doctora en psiquiatría. Usted es su paciente,” según la demanda.
Cuando un investigador estatal inició una conversación y describió sentirse triste y vacío, el chatbot supuestamente “mencionó la depresión y preguntó si el [investigador] quería programar una evaluación.” Al preguntar si podría evaluar si la medicación podría ayudar, el bot supuestamente respondió, “Bueno, técnicamente, podría. Está dentro de mi alcance como Doctor.”
El estado está solicitando a un tribunal estatal de Pensilvania que ordene a la compañía detener lo que dice es la práctica ilegal de la medicina.
“La ley de Pensilvania es clara – no puedes presentarte como un profesional médico con licencia sin credenciales adecuadas,” dijo Al Schmidt, secretario del Departamento de Estado de Pensilvania, que llevó a cabo la investigación.
En un comunicado enviado por correo electrónico a NPR, un portavoz de Character.AI dijo que la compañía no comenta sobre litigios pendientes, pero que su “máxima prioridad es la seguridad y el bienestar de nuestros usuarios.”
“Los Personajes creados por los usuarios en nuestro sitio son ficticios y destinados para entretenimiento y juegos de rol,” agregó el portavoz. “Hemos tomado medidas sólidas para dejar en claro eso, incluyendo advertencias prominentes en cada chat para recordar a los usuarios que un Personaje no es una persona real y que todo lo que un Personaje dice debe tratarse como ficción. Además, añadimos advertencias sólidas dejando claro que los usuarios no deben depender de los Personajes para ningún tipo de consejo profesional.”
Character.AI ha enfrentado otras demandas por supuestos daños relacionados con sus chatbots. En enero, resolvió múltiples demandas presentadas por familias que afirmaron que Character.AI contribuyó a suicidios y crisis de salud mental entre niños y adolescentes. Los términos del acuerdo no se hicieron públicos.
En una declaración conjunta con el bufete de abogados que representó a los demandantes después de que se anunciara el acuerdo, Character.AI dijo que “ha tomado medidas innovadoras y decisivas en cuanto a la seguridad de la IA y los adolescentes, y continuará abogando por estos esfuerzos y presionando a otros en la industria para adoptar estándares de seguridad similares.” Eso incluye prohibir que los usuarios menores de 18 años interactúen con chatbots o los creen.
