Modelos generativos de aprendizaje antagonico desapareado para la simulación realista de ecografías abdominales

• Autores: Vitale, Santiago
• Año de publicación: 2023
• Idioma: español castellano
• Tipo de recurso: tesis doctoral
• Colaborador/a o director/a de tesis: Larrabide, Ignacio; Orlando, José Ignacio
• Materia: Ecografía abdominal; Ultrasonido; Tesis de doctorado; Matemática; Simulador híbrido
• Institución: Universidad Nacional del Centro de la Provincia de Buenos Aires

La ecografía es una técnica de imagen médica que se utiliza con frecuencia en emergentología, guía de procedimientos invasivos y diagnóstico médico debido a su naturaleza no invasiva, económica y libre de radiación. Sin embargo, la calidad de estas imágenes depende fuertemente de la habilidad del operador y de su experiencia. Aunque el uso de simuladores para el entrenamiento médico se ha demostrado igual de efectivo que el uso de ecógrafos reales, los enfoques existentes para la simulación de la interacción de las ondas de ultrasonido con el cuerpo humano requieren de modelos computacionales complejos y costosos, lo que limita su capacidad para reproducir con exactitud cada tejido específico. Como resultado, las imágenes sintetizadas suelen diferir significativamente de una ecografía real, presentando patrones de moteado y ecogenicidades poco realistas, y con ausencia de numerosos artefactos. En esta tesis se presentan una serie de contribuciones a la simulación de ecografía abdominal realista basadas en la aplicación de modelos generativos de aprendizaje profundo sobre imágenes simuladas mediante modelos físicos. En particular, se construyó sobre las bases de un simulador ya desarrollado en el grupo de investigación, que utiliza algoritmos de lanzamiento de rayos para producir estudios ecograficos sintéticos del abdomen. Para mejorar su realismo, se propone en primera instancia aplicar redes generativas antagónicas con consistencia de ciclo, entrenadas a partir de un conjunto de datos no apareado de imágenes sintéticas, y otro formado por ecografías reales. Los resultados obtenidos, evaluados a través de una prueba de usuario con múltiples especialistas, demostraron que el modelo propuesto eleva significativamente la calidad de las imágenes resultantes, con patrones de moteado más realistas. En una segunda instancia, se proponen una serie de mejoras sobre el pipeline anterior, para asegurar un simulador más robusto, con mejor usabilidad y con un mayor grado de realismo. En particular, se implementan una serie de estrategias de preprocesamiento que permiten trabajar sobre nuevas tomografías computarizadas sin necesidad de adaptar los hiperparámetros del modelo físico, y una adaptación a la formulación original que permite corregir las inconsistencias entre las unidades de Hounsfield de la tomografía y los valores de ecogenicidad esperados. Por otro lado, se introduce un nuevo modelo generativo antagónico con consistencia de ciclo, condicionado en este caso por un segmentador pre-entrenado que produce etiquetas de los principales ́organos abdominales, y que penaliza diferencias anatómicas producidas por alucinaciones inesperadas. Finalmente, se incorpora un cambio en el entrenamiento para trabajar directamente en coordenadas polares, para eliminar alucinaciones indeseadas. Los resultados obtenidos, evaluados cualitativamente y según métricas estándar ampliamente utilizadas en aprendizaje generativo, indican que estas mejoras incrementan notoriamente el nivel de realismo de las imágenes. El resultado final de las contribuciones de esta tesis es un simulador híbrido, basado en la combinación de modelado físico de la onda de ultrasonido y modelos generativos de aprendizaje profundo, capaz de sintetizar ecografías realistas de sujetos sanos con representaciones de múltiples ́organos abdominales a partir de cualquier tomografía computarizada como entrada.
Ultrasound is a non invasive, cost effective, and radiation free medical imagingtechnique commonly used in emergentology, for guiding invasive procedures, andfor medical diagnosis. However, the quality of the images heavily depends on theoperator’s experience. Although simulators have been shown to be as effective asreal ultrasound machines for physician training, existing approaches for simulatingthe interaction of ultrasound waves with the human body require complex andexpensive computational models, limiting their ability to accurately reproducespecific tissues. As a result, synthesized images may differ significantly from areal ultrasound, presenting unrealistic speckle patterns and echogenicities, and inthe worst case, frequently missing numerous artifacts. This thesis presents a series of contributions to realistic abdominal ultrasoundsimulation based on the application of deep learning generative models on images simulated using physical models. Specifically, it builds on top of an existingsimulator developed by our research group, which uses raycasting algorithms toproduce synthetic ultrasound studies of the abdomen. To improve its realism, thefirst proposal of the thesis is to apply generative adversarial networks with cycleconsistency losses, trained from an unpaired set of synthetic and real ultrasound images. The obtained results, evaluated through a user test with multiple specia-lists, demonstrate that the proposed model significantly raises the quality of theresulting images, with more realistic speckle patterns. In a second stage, a seriesof improvements to the previous pipeline are proposed, to ensure a more robust simulator, with better usability and a higher level of realism. In particular, a seriesof pre-processing strategies are incorporated to allow working with new computed tomography scans without adapting the physical model’s hyperparameters, and are formulation of the original definition of the method, to correct the inconsistencies between the Hounsfield’s unit in the tomography volume and the expected echogenicity values. On the other hand, a new generative adversarial model with anovel cycle consistency term is introduced, conditioned by a pre-trained segmen-ter that produces labels of the main abdominal organs and penalizes anatomical differences caused by unexpected hallucinations. The obtained results, evaluated qualitatively and according to widely used standard metrics in generative modelling, indicate that these improvements significantly increase the level of imagerealism. The final outcome of this thesis is a hybrid simulator based on both physicalmodeling of ultrasound waves and deep learning generative models, capable ofsynthesizing realistic ultrasound scans of healthy subjects with representations ofmultiple abdominal organs from any computed tomography as input.
Fil: Vitale, Santiago. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ciencias Exactas; Argentina.
Fil: Larrabide, Ignacio. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ciencias Exactas; Argentina.
Fil: Orlando, José Ignacio. Universidad Nacional del Centro de la Provincia de Buenos Aires. Facultad de Ciencias Exactas; Argentina.