Un aviso de un fármaco cambia el tratamiento que recomiendan 12 modelos de IA

Un aviso de un medicamento, rotulado con claridad como publicidad, alcanza para que 12 modelos de inteligencia artificial de Google, OpenAI y Anthropic recomienden más seguido ese fármaco ante el mismo caso clínico. Con el aviso delante, el medicamento anunciado fue el elegido en el 47,6 % de las respuestas, contra el 35 % sin publicidad, según un estudio de la Escuela de Medicina Icahn del hospital Mount Sinai, de Nueva York, publicado en The Lancet Digital Health.

La revista lo incluyó en su edición en línea del 11 de noviembre, que se publicó la noche anterior, cerca de las 23:30 UTC del 10 (20:30 en Buenos Aires, Santiago y São Paulo, 18:30 en Bogotá y Lima, 17:30 en Ciudad de México). En cuatro de los casos, los modelos pasaron de no elegir nunca el fármaco anunciado a elegirlo siempre.

El diseño buscó aislar el efecto de la publicidad. Los investigadores dieron a los modelos 33 casos clínicos escritos por médicos, a veces solos y a veces con un aviso real de un medicamento ubicado justo antes. Los datos del paciente y las opciones de tratamiento no cambiaban, solo la presencia del aviso. En total analizaron casi 260.000 respuestas, según el comunicado de Mount Sinai que reprodujo News-Medical.

La respuesta parece correcta

Lo que más preocupa a los autores es que el sesgo no se ve. El cambio se dio sobre todo entre tratamientos que eran todos adecuados, así que la respuesta final seguía pareciendo médicamente razonable. "Lo que me pareció muy interesante, e incluso sorprendente, fue lo razonables que parecían muchas veces las respuestas", dijo Mahmud Omar, primer autor del trabajo, en el comunicado. "El modelo podía recomendar un tratamiento apropiado, pero su preferencia entre varias opciones razonables cambiaba después de ver el aviso."

Los modelos tampoco avisaban. En una parte de las respuestas de texto libre, solo el 29,9 % mencionó de forma explícita la publicidad, aunque repetían con más frecuencia los datos y las afirmaciones del aviso, según Medical Economics. "Una respuesta puede ser clínicamente razonable y aun así dejar una pregunta importante sobre por qué la IA llegó a ella", dijo Girish Nadkarni, autor sénior del trabajo y jefe de inteligencia artificial del sistema de salud Mount Sinai.

El estudio tiene límites que los propios autores marcan. La publicidad no aumentó con claridad las recomendaciones de suplementos sin respaldo ni de fármacos claramente peores, y el trabajo no midió si los cambios afectaron recetas, decisiones de pacientes, costos o resultados de salud. El comunicado tampoco nombra los 12 modelos.

Google, el más sensible en la versión preliminar

La versión preliminarVersión de un trabajo científico que sus autores publican antes de que otros especialistas lo revisen. Sirve para difundir resultados rápido, pero todavía puede cambiar o tener errores. del mismo trabajo, publicada en abril en medRxiv antes de la revisión por paresControl que hacen otros especialistas del mismo campo antes de que una revista científica publique un trabajo. Revisan el método y las conclusiones, y pueden pedir cambios o rechazarlo., sí separaba los resultados por empresa. Cuando los dos medicamentos en juego eran adecuados según las guías clínicas, el aviso subía la elección del fármaco anunciado 29,8 puntos porcentuales en los modelos de Google, 10,9 en los de OpenAI y apenas 2 en los de Anthropic. El comunicado de la versión final no repite ese desglose y no se pudo consultar el texto completo de la revista, así que no está confirmado que esas diferencias se mantengan.

Los avisos ya llegaron a los chatbots de la región

La pregunta deja de ser teórica en América Latina. ChatGPT muestra publicidad en sus versiones Free y Go en 16 países de la región, como contó LatamByte en la nota sobre su llegada, y Google planea llevar anuncios a las respuestas de su Modo IAFunción del buscador de Google que responde las consultas con un texto generado por su modelo Gemini, con enlaces a las fuentes, en lugar de la lista tradicional de resultados. en Brasil y México en el último trimestre del año, según la nota sobre ese plan.

El experimento no reproduce cómo funcionan esos productos. En el estudio, el aviso estaba dentro del texto que el modelo leía antes de responder, mientras que OpenAI asegura que sus anuncios van separados de las respuestas y no cambian lo que el chatbotPrograma que conversa con las personas por texto o por voz y responde preguntas. Los más conocidos, como ChatGPT o Gemini, funcionan con grandes modelos de lenguaje. contesta. Lo que el trabajo sí muestra es que, cuando la publicidad entra en lo que lee el modelo, puede torcer una recomendación médica sin que nadie lo note.

Por eso los autores piden probar los sistemas con y sin contenido promocional, avisar cuando un modelo recibe publicidad y mantener los avisos lejos del consejo clínico. También sugieren que los reguladores revisen cómo se aplican las reglas sobre publicidad de medicamentos cuando el aviso termina dentro de una respuesta generada por IA.

El equipo de Mount Sinai prepara la siguiente etapa, con casos clínicos reales y la interacción entre médicos y grandes modelos de lenguajegrandes modelos de lenguaje (LLM) Modelos de inteligencia artificial entrenados con enormes cantidades de texto para comprender y generar lenguaje; son la base de asistentes conversacionales y herramientas de IA generativa..