Los médicos suelen dedicar mucho tiempo a buscar información en las historias clínicas, lo que reduce el tiempo que pasan con los pacientes.
Los investigadores están desarrollando modelos de aprendizaje automático para ayudar a los médicos a encontrar información de manera eficiente en la historia clínica de un paciente.
Pero entrenar modelos eficaces requiere grandes conjuntos de datos con preguntas médicas pertinentes, que a menudo son difíciles de conseguir debido a las restricciones de privacidad.
Los médicos suelen consultar la historia clínica electrónica de un paciente para obtener información que les ayude a tomar decisiones sobre el tratamiento, pero la complejidad de estos registros dificulta el proceso. Las investigaciones han demostrado que, incluso cuando un médico ha recibido formación para usar una historia clínica electrónica (HCE), encontrar la respuesta a una sola pregunta puede llevar, en promedio, más de ocho minutos.
Cuanto más tiempo tienen que dedicar los médicos a navegar por una interfaz de HCE, a menudo poco intuitiva, menos tiempo tienen para interactuar con los pacientes y brindarles tratamiento.
Los investigadores han comenzado a desarrollar modelos de aprendizaje automático que agilizan el proceso al encontrar automáticamente la información que los médicos necesitan en una HCE. Sin embargo, entrenar modelos eficaces requiere conjuntos de datos enormes con preguntas médicas pertinentes, que a menudo son difíciles de conseguir debido a las restricciones de privacidad. A los modelos existentes les cuesta generar preguntas auténticas —de las que haría un médico— y a menudo no logran encontrar las respuestas correctas.
Para superar esta escasez de datos, investigadores del MIT colaboraron con expertos médicos para estudiar las preguntas que hacen los médicos al revisar HCE. Después, crearon un conjunto de datos de acceso público con más de 2.000 preguntas de relevancia clínica redactadas por estos expertos médicos.
Al usar su conjunto de datos para entrenar un modelo de aprendizaje automático que generara preguntas clínicas, descubrieron que el modelo formulaba preguntas de alta calidad y auténticas, comparables a las preguntas reales de los expertos médicos, más del 60 % de las veces.
Con este conjunto de datos, planean generar enormes cantidades de preguntas médicas auténticas y luego usarlas para entrenar un modelo de aprendizaje automático que ayude a los médicos a encontrar con mayor eficiencia la información que buscan en la historia clínica de un paciente.
«Dos mil preguntas pueden parecer muchas, pero basta con fijarse en los modelos de aprendizaje automático que se entrenan hoy en día: manejan muchísimos datos, quizá miles de millones de puntos de datos. Para entrenar modelos de aprendizaje automático que funcionen en entornos sanitarios, hay que ser muy creativo, porque faltan muchos datos», afirma el autor principal, Eric Lehman, estudiante de posgrado del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL).
El autor principal sénior es Peter Szolovits, profesor del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS), quien dirige el Grupo de Toma de Decisiones Clínicas del CSAIL y también es miembro del MIT-IBM Watson AI Lab. El artículo de investigación, fruto de la colaboración entre coautores del MIT, el MIT-IBM Watson AI Lab, IBM Research y los médicos y expertos médicos que ayudaron a elaborar las preguntas y participaron en el estudio, se presentará en la conferencia anual de la sección norteamericana de la Association for Computational Linguistics.
«Los datos realistas son fundamentales para entrenar modelos pertinentes para la tarea, pero son difíciles de encontrar o crear», afirma Szolovits. «El valor de este trabajo reside en recopilar cuidadosamente las preguntas que hacen los médicos sobre casos de pacientes; a partir de ellas podemos desarrollar métodos que utilicen estos datos y modelos lingüísticos generales para formular otras preguntas plausibles».
La escasez de datos
Los pocos conjuntos de datos grandes con preguntas clínicas que encontraron los investigadores presentaban numerosos problemas, explica Lehman. Algunos estaban compuestos por preguntas médicas que los pacientes hacían en foros de internet, muy distintas de las preguntas de los médicos. Otros conjuntos de datos contenían preguntas generadas a partir de plantillas, por lo que su estructura era casi idéntica y muchas resultaban poco realistas.
«Recopilar datos de alta calidad es muy importante para las tareas de aprendizaje automático, sobre todo en el ámbito sanitario, y hemos demostrado que se puede hacer», afirma Lehman.
Para crear su conjunto de datos, los investigadores del MIT trabajaron con médicos en ejercicio y estudiantes de medicina en su último año de formación. Entregaron a estos expertos médicos más de 100 resúmenes de alta hospitalaria de HCE y les pidieron que leyeran cada resumen y plantearan todas las preguntas que se les ocurrieran. Para recopilar preguntas naturales, los investigadores no impusieron restricciones sobre los tipos de preguntas ni su estructura. También pidieron a los expertos médicos que identificaran el «texto desencadenante» de la HCE que los había llevado a formular cada pregunta.
Por ejemplo, un experto médico podría leer una nota en la HCE que indique que los antecedentes médicos del paciente incluyen cáncer de próstata e hipotiroidismo. El texto desencadenante «cáncer de próstata» podría llevar al experto a plantear preguntas como «¿fecha del diagnóstico?» o «¿se ha realizado alguna intervención?».
Descubrieron que la mayoría de las preguntas se centraban en los síntomas, los tratamientos o los resultados de las pruebas del paciente. Aunque estos hallazgos no fueron inesperados, cuantificar el número de preguntas sobre cada tema general les ayudará a crear un conjunto de datos eficaz para su uso en un entorno clínico real, afirma Lehman.
Una vez que compilaron su conjunto de datos de preguntas y los textos desencadenantes correspondientes, lo usaron para entrenar modelos de aprendizaje automático a formular preguntas nuevas a partir del texto desencadenante.
Después, los expertos médicos evaluaron si esas preguntas eran «buenas» según cuatro criterios: comprensibilidad (¿tiene sentido la pregunta para un médico?), trivialidad (¿es demasiado fácil responderla a partir del texto desencadenante?), pertinencia médica (¿tiene sentido plantear esta pregunta en ese contexto?) y relación con el desencadenante (¿guarda relación el desencadenante con la pregunta?).
Motivos de preocupación
Los investigadores descubrieron que, cuando se proporcionaba a un modelo un texto desencadenante, este podía generar una pregunta buena el 63 % de las veces, mientras que un médico formularía una pregunta buena el 80 % de las veces.
También entrenaron modelos para recuperar respuestas a preguntas clínicas usando los conjuntos de datos de acceso público que habían encontrado al inicio del proyecto. Luego probaron esos modelos para comprobar si podían encontrar respuestas a preguntas «buenas» planteadas por expertos médicos humanos.
Los modelos solo lograron recuperar alrededor del 25 % de las respuestas a preguntas formuladas por médicos.
«Ese resultado es muy preocupante. En la práctica, los modelos que se consideraban de buen rendimiento eran pésimos, porque las preguntas de evaluación utilizadas para probarlos ya eran deficientes», afirma Lehman.
El equipo está aplicando ahora este trabajo a su objetivo inicial: crear un modelo que pueda responder automáticamente a las preguntas de los médicos en una HCE. En el siguiente paso, usarán su conjunto de datos para entrenar un modelo de aprendizaje automático capaz de generar automáticamente miles o millones de preguntas clínicas buenas, que luego podrán emplearse para entrenar un nuevo modelo de respuesta automática a preguntas.
Aunque aún queda mucho por hacer antes de que ese modelo se convierta en realidad, Lehman se siente alentado por los sólidos resultados iniciales que el equipo obtuvo con este conjunto de datos.
Esta investigación recibió financiación, en parte, del MIT-IBM Watson AI Lab. Entre los coautores adicionales figuran Leo Anthony Celi, del Instituto de Ingeniería Médica y Ciencia del MIT; Preethi Raghavan y Jennifer J. Liang, del MIT-IBM Watson AI Lab; Dana Moukheiber, de la Universidad de Buffalo; Vladislav Lialin y Anna Rumshisky, de la Universidad de Massachusetts en Lowell; Katelyn Legaspi, Nicole Rose I. Alberto, Richard Raymund R. Ragasa, Corinna Victoria M. Puyat, Isabelle Rose I. Alberto y Pia Gabrielle I. Alfonso, de la Universidad de Filipinas; Anne Janelle R. Sy y Patricia Therese S. Pile, del Centro Médico Ramon Magsaysay Memorial de la Universidad del Este; Marianne Taliño, de la Facultad de Medicina y Salud Pública de la Universidad Ateneo de Manila; y Byron C. Wallace, de la Universidad Northeastern.
