«No se realizan buenas pruebas y luego se utilizan en situaciones de cara al paciente, y eso es realmente malo», dijo Suresh Venkatasubramanian, científico informático de la Universidad de Brown, sobre los sistemas de inteligencia artificial que los médicos están adoptando.
Venkatasubramanian tiene un punto de vista único sobre el tema. Ayudó a redactar el Anteproyecto para una Declaración de Derechos de la IA que la administración Biden emitió en octubre de 2022. El anteproyecto pedía una fuerte supervisión humana para garantizar que los sistemas de inteligencia artificial hicieran lo que se supone que debían hacer.
Pero el documento sigue siendo sólo un pedazo de papel; El presidente Joe Biden no ha pedido al Congreso que lo ratifique y ningún legislador ha tomado medidas para hacerlo.
Hay pruebas de que la preocupación de Venkatasubramanian está justificada. La ciudad de Nueva York ha formado una Coalición para Acabar con el Racismo en los Algoritmos Clínicos y está presionando a los sistemas de salud para que dejen de usar IA que, según la coalición, se basa en conjuntos de datos que subestiman la capacidad pulmonar de las personas negras y su capacidad para dar a luz por vía vaginal después de una cesárea, y que sobreestiman su masa muscular.
Incluso algunos desarrolladores de IA están preocupados por cómo los médicos utilizan sus sistemas. «A veces, cuando nuestros usuarios se acostumbraban a nuestro producto, empezaban a confiar ciegamente en él», dijo Eli Ben-Joseph, cofundador y director ejecutivo de Regard, una empresa que cuenta con 1,7 millones de diagnósticos realizados con su tecnología, que incorpora en los registros médicos de un sistema de salud.
Considere las salvaguardas implementadas, advirtiendo a los médicos si se mueven demasiado rápido o no leen todos los resultados del sistema.
El Congreso está lejos de llegar a un consenso sobre qué hacer, a pesar de celebrar una cumbre con líderes de la industria tecnológica el mes pasado.
La Administración de Alimentos y Medicamentos, que ha tomado la iniciativa de Biden, ha autorizado nuevos productos de inteligencia artificial antes de que salgan al mercado, sin el tipo de datos completos que se requieren de los fabricantes de medicamentos y dispositivos. Luego, la agencia los monitorea para detectar eventos adversos.
Troy Tazbaz, director del Centro de Excelencia en Salud Digital de la agencia, dijo que la FDA reconoce que necesita hacer más. Los productos de inteligencia artificial fabricados para uso en atención médica y similares a ChatGPT, el robot que puede aprobar exámenes médicos, requieren “un paradigma muy diferente” para regularse, explicó. Pero la agencia todavía está trabajando en qué.
Mientras tanto, la adopción de la IA en la atención sanitaria avanza a toda velocidad a pesar de que los sistemas, afirmó Venkatasubramanian, son «increíblemente frágiles». Al diagnosticar a los pacientes, ve riesgos de error y la posibilidad de prejuicios raciales. Sospecha que los médicos confiarán demasiado fácilmente en los juicios de los sistemas.
Casi todos los 10 innovadores que construyeron la tecnología que hablaron con POLITICO reconocieron los peligros, sin supervisión.
«Probablemente ya haya una serie de ejemplos hoy (y habrá más el próximo año) en los que las organizaciones están implementando grandes modelos de lenguaje de una manera que en realidad no es muy segura», dijo Ross Harper, fundador y director ejecutivo de Limbic, una dijo una empresa que utiliza IA en una aplicación de terapia conductual.
‘Comenzarían a confiar ciegamente en ello’
Limbic obtuvo una certificación de dispositivo médico en el Reino Unido y Harper dijo que la compañía está avanzando en los EE. UU. a pesar de la incertidumbre regulatoria.
«Sería un error no aprovechar estas nuevas herramientas», afirmó.
El chatbot de Limbic, que según la compañía es el primero de su tipo en Estados Unidos, funciona a través de una aplicación de teléfono inteligente, en conjunto con un terapeuta humano.
Los pacientes pueden enviar mensajes al robot sobre lo que piensan y sienten, y el robot sigue protocolos de terapia para responder, utilizando inteligencia artificial y un modelo estadístico separado para garantizar que las respuestas sean precisas y útiles.
Un terapeuta proporciona información a la IA para guiar sus conversaciones. Y la IA informa al terapeuta con notas de sus chats, informando mejor las futuras sesiones de terapia del paciente.
Otra empresa, Talkspace, utiliza inteligencia artificial que, según afirma, puede ayudar a detectar personas en riesgo de suicidio después de analizar conversaciones con terapeutas.
Otros productos de IA crean y resumen los historiales de los pacientes, además de revisarlos y sugerir un diagnóstico.
Gran parte de ello está destinado a ayudar a los médicos con exceso de trabajo a aligerar sus cargas.
Seguridad e innovación
Los estudiantes de tecnología dijeron que los sistemas de inteligencia artificial que cambian (o “aprenden”) a medida que obtienen más información podrían volverse más o menos útiles con el tiempo, cambiando su perfil de seguridad o efectividad.
Y determinar los impactos de esos cambios se vuelve aún más difícil porque las empresas guardan de cerca los algoritmos centrales de sus productos: una “caja negra” patentada que protege la propiedad intelectual pero obstaculiza el camino de los reguladores y los investigadores externos.
La Oficina del Coordinador Nacional de Tecnología de la Información de Salud del HHS ha propuso una política tiene como objetivo obtener más transparencia sobre los sistemas de IA que se utilizan en la salud, pero no se centra en la seguridad o eficacia de esos sistemas.
«¿Cómo regulamos algo así sin necesariamente perder el ritmo de la innovación?» Preguntó Tazbaz, centrándose en el principal desafío de la agencia para la IA. «Siempre digo que la innovación siempre tiene que funcionar dentro de un parámetro: un parámetro de seguridad».
No existen regulaciones que aborden específicamente esta tecnología, por lo que la FDA está planeando un sistema novedoso.
Tazbaz cree que la FDA creará un proceso de auditorías y certificaciones continuas de productos de IA, con la esperanza de garantizar una seguridad continua a medida que cambien los sistemas.
La FDA ya ha aprobado alrededor de 520 dispositivos habilitados para IA, principalmente para radiología, donde la tecnología se ha mostrado prometedora en la lectura de rayos X. El comisionado de la FDA, Robert Califf, dijo en una reunión de agosto que creía que a la agencia le había ido bien con los sistemas predictivos de inteligencia artificial, que toman datos y conjeturan un resultado.
Pero muchos productos actualmente en desarrollo utilizan tecnología más nueva y avanzada capaz de responder a consultas humanas, algo que Califf llamó una “especie de área aterradora” de regulación. Estos presentan aún más desafíos para los reguladores, dijeron los expertos.
Y también existe otro riesgo: reglas demasiado onerosas podrían anular la innovación que podría generar beneficios para los pacientes si logra que la atención sea mejor, más barata y más equitativa.
La agencia está teniendo cuidado de no obstaculizar el crecimiento de la nueva tecnología, dijo Tazbaz, hablando con líderes de la industria, escuchando sus preocupaciones y compartiendo el pensamiento de la agencia.
El enfoque de la Organización Mundial de la Salud no es diferente al de Washington: uno de preocupación, orientación y discusión. Pero al no tener poder propio para regular, la OMS sugirió recientemente que los gobiernos de sus miembros aceleren el ritmo.
Los modelos de IA «se están implementando rápidamente, a veces sin una comprensión completa de cómo pueden funcionar», dijo el organismo en un comunicado.
Aún así, siempre que tome medidas para endurecer las reglas, la FDA puede esperar un rechazo.
Algunos líderes de la industria han sugerido que los médicos son en sí mismos una especie de regulador, ya que son expertos que toman la decisión final independientemente de los copilotos de la IA.
Otros argumentan que incluso el proceso de aprobación actual es demasiado complicado (y gravoso) para respaldar una innovación rápida.
«Me siento como si fuera el asesino de la tecnología», dijo Brad Thompson, abogado de Epstein Becker Green, que asesora a las empresas sobre el uso de la IA en la atención sanitaria, al «informar completamente[ing] ellos del panorama regulatorio”.
‘¿Me sentiría personalmente seguro?’
En el pasado, Thompson habría acudido al Congreso con sus preocupaciones.
Pero los legisladores no están seguros de qué hacer con la IA y la legislación se ralentizó mientras los republicanos elegían un nuevo presidente. Ahora, los legisladores tienen que llegar a un acuerdo sobre la financiación del gobierno en el año fiscal 2024.
«Esa vía simplemente no está disponible ahora ni en el futuro previsible», dijo Thompson sobre los intentos de actualizar las regulaciones a través del Congreso, «y simplemente me rompe el corazón».
Schumer convocó recientemente un foro sobre IA para tratar de decidir qué debería hacer el Congreso con respecto a la tecnología en todos los sectores. La Cámara también cuenta con un grupo de trabajo sobre inteligencia artificial, aunque su producción probablemente esté ligada a su capacidad para resolver desafíos de liderazgo y financiamiento gubernamental.
Reps. Greg Murphy (RN.C.), copresidente del Doctors Caucus, dijo que quiere dejar que los gobiernos estatales lideren la regulación de la tecnología.
Senador de Luisiana. Bill Cassidyel republicano de mayor rango del comité que supervisa la política de salud, ha dicho que el Congreso debería hacer más, pero sin dificultar la innovación.
El plan de Cassidy aborda muchas de las preocupaciones planteadas por investigadores, reguladores y líderes de la industria, pero no ha propuesto un proyecto de ley para implementarlo.
Dada la incertidumbre, algunos de los grandes actores de la tecnología de la salud están apuntando deliberadamente a proyectos de inteligencia artificial de “bajo riesgo y alta recompensa”, como lo expresó Garrett Adams, del gigante de los registros médicos electrónicos Epic. Eso incluye redactar notas, resumir información y actuar más como secretaria que como copiloto para los médicos.
Pero la implementación de esas tecnologías podría sentar las bases para avances más agresivos. Y varias empresas están avanzando, incluso sugiriendo que sus productos inevitablemente reemplazarán a los médicos.
“Queremos eventualmente hacer la transición de partes de nuestra tecnología para que se vuelvan independientes, para automatizarse completamente y eliminar al médico o a la enfermera del circuito”, dijo Ben-Joseph, sugiriendo un período de 10 o 20 años.
Cuente a Tazbaz entre los escépticos.
«Creo que la comunidad médica necesita analizar eficazmente las responsabilidades», dijo sobre la IA utilizada para diagnosticar a los pacientes. “¿Me sentiría personalmente seguro? Creo que depende del caso de uso”.
Politico
