Aprendizaje basado en contexto para el control automático de calidad en segmentación de imágenes médicas

• Autores: Cosarinsky, Matías
• Año de publicación: 2024
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Ferrante, Enzo
• Materia: REVERSE CLASSIFICATION ACCURACY (RCA); IN-CONTEXT LEARNING; SEGMENTACION AUTOMATICA DE IMAGENES; RETRIEVAL AUGMENTATION; IMAGENES MEDICAS; CONTROL AUTOMATICO DE CALIDAD EN SEGMENTACIONES; EVALUACION EN AUSENCIA DE GT; REVERSE CLASSIFICATION ACCURACY (RCA); IN-CONTEXT LEARNING; AUTOMATIC IMAGE SEGMENTATION; RETRIEVAL AUGMENTATION; MEDICAL IMAGING; AUTOMATIC QUALITY CONTROL IN SEGMENTATIONS; EVALUATION IN THE ABSENCE OF GT
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

El control de calidad en la segmentación automática de imágenes médicas es una tarea crucial que enfrenta grandes desafíos, principalmente debido a la frecuente ausencia de etiquetas de referencia (ground truth), lo cual dificulta una evaluación precisa de las predicciones. En Reverse Classification Accuracy (RCA) [1], se propone una metodología que permite evaluar de forma automática la calidad de segmentaciones sin la necesidad de disponer de etiquetas de referencia. El enfoque que plantean consiste en utilizar la segmentación predicha de una nueva imagen para entrenar un clasificador inverso, el cual es evaluado en un conjunto de imágenes de referencia con ground truth disponible. La hipótesis es que, si la segmentación predicha es de buena calidad, el clasificador inverso debería tener un buen rendimiento en al menos algunas de las imágenes de referencia. En este trabajo proponemos un enfoque que denominamos In-Context RCA, el cual expande el marco tradicional de RCA mediante el uso de modelos de segmentación basados en in-context learning, tales como UniverSeg [2] y SAM 2 [3], como clasificadores inversos. Este tipo de modelos permiten adaptar sus predicciones a partir de una cantidad limitada de ejemplos etiquetados, sin la necesidad de entrenamiento adicional, lo que los hace ideales en este contexto. Además, incorporamos técnicas de retrieval augmentation para seleccionar conjuntos de referencia más relevantes, lo que permite una ulterior mejora en las predicciones. La metodología propuesta es evaluada sobre múltiples modalidades de imágenes médicas (Rayos-X, ultrasonido, tomografía computarizada, resonancia magnética, entre otras), ampliando el análisis de RCA realizado hasta el momento y demostrando a su vez la capacidad del método para adaptarse y ofrecer resultados robustos en distintos escenarios clínicos. Los resultados muestran que In-Context RCA es capaz de igualar e incluso superar el enfoque tradicional de RCA, siendo más eficiente computacionalmente. Esto lo convierte en una excelente opción para su integración en procesos de segmentación automática en la práctica clínica.
Quality control in automatic segmentation of medical images is a critical task that pre- sents significant challenges. This is mainly due to the frequent absence of ground truth, which makes accurate evaluation of predictions a difficult task. Reverse Classification Accuracy (RCA) [1], presents a methodology that allows to au- tomatically evaluate segmentation quality in the absence of ground truth. Their presented framework, consists in using the predicted segmentation of a new image to train a reverse classifier, which is then evaluated on a set of reference images with available ground truth. The hypothesis is that if the predicted segmentation is of good quality, then the reverse classifier should perform well on at least some of the reference images. In this work, we propose a novel approach that we call In-Context RCA, which expands the traditional RCA framework by utilizing segmentation models based on in-context lear- ning, such as UniverSeg [2] and SAM 2 [3], as reverse classifiers. These models can adapt their predictions based on a limited number of labeled examples without the need for ad- ditional training, making them ideal for this setting. Additionally, we incorporate retrieval augmentation techniques that allows to select more relevant reference sets, which further improves the predictions as a result. The proposed methodology is evaluated across multiple different modalities in the field of medical imaging (X-rays, US, CT scan, MRI, among others), broadening the RCA analysis conducted thus far and demonstrating the method’s ability to adapt and provide robust results in a wide variety of clinical scenarios. The results show that In-Context RCA matches or even surpasses the traditional RCA approach while being more computationally efficient. This makes it an excellent option for integration into automatic segmentation processes in clinical practice.
Fil: Cosarinsky, Matías. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.