Capacidad resolutiva de ChatGPT en un examen de competencias médicas basado en la clínica ampliada - Badr, Pablo Julián (2024)
La aplicación de herramientas de inteligencia artificial (IA) ha cambiado los límites de lo posible en cuanto a la educación y evaluación médica. La carrera de medicina de la Universidad Nacional del Sur ha desarrollado un software específico para evaluar la adquisición de competencias profesionales bajo el encuadre de la clínica ampliada, con respuestas en formato ensayo, que pueden ser simuladas por la IA. Método: Se analiza la capacidad del sistema ChatGPT 3.5 de interpretar y resolver problemas clínicos bajo este encuadre, comparando de forma ciega su desempeño con medidas de distribución de frecuencias de la población control. Resultados: ChatGPT 3.5 presentó un desempeño global del 44.84% (Z-score: –1.14), con desempeño menor a la media del grupo control en 6 de 10 problemas clínicos. En las dimensiones de competencia «Subjetivo» y «Problematización» el desempeño fue aceptable (Z-score –0.02 y 0.05, respectivamente) y pobre en las dimensiones «Objetivo» y «Plan de acción» (Z-score: –2.40 y –1.46, respectivamente). Las respuestas de ChatGPT incluyeron el 60% de los ítems que evalúan la pertinencia de decisiones al contexto sociofamiliar (Z-score: –0.70). Conclusiones: ChatGPT presentó capacidad moderada para resolver evaluaciones en el marco de la clínica ampliada, pero sorprende su capacidad de generar respuestas pertinentes al contexto sociofamiliar. Esto sugiere una utilidad potencial para el desarrollo de competencias blandas en la formación médica. El uso masivo de estas herramientas obliga a revisar las competencias médicas que desarrollar y los mecanismos de evaluación pertinentes que garanticen su seguridad, validez e impacto educativo.