Estudio de metodologías espacio-temporales basadas en Modelos de Atención para reconocimiento de Acciones Egocéntricas en videos

• Autores: Straminsky, Axel Gustavo
• Año de publicación: 2022
• Idioma: español castellano
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Buemi, María Elena
• Materia: VISION EGOCENTRICA; ATTENTION MECHANISMS; RECONOCIMIENTO DE ACCIONES; EGOCENTRIC VISION; ATTENTION MECHANISMS; ACTION RECOGNITION
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

El reconocimiento de actividades y objetos en vídeos capturados con cámaras montadas en una persona constituye un área de importancia ya que tiene múltiples aplicaciones: asistencia sanitaria, monitoreo no invasivo, visión en robots entre otros. El reconocimiento de acciones capturadas por estos dispositivos requieren reconocimiento de objetos y sus ubicaciones. En general este problema lo tratan con grandes equipos como clusters o varias unidades de GPU. El objetivo de este trabajo fue analizar la performance de localización de objetos y proponer alternativas que permitan obtener iguales o mejores resultados con recursos de menor envergadura. Para ello adaptamos un modelo de Reconocimiento de Acción en videos egocéntricos basado en mecanismos de atención combinado con Optical Flow. Se trata de un modelo de arquitectura que usa 2 submodelos en paralelo: uno basado en Optical Flow y el otro basado en el video en s´ı (im´agenes RGB), al que se le introdujo las siguientes mejoras: incorporar precisión mixta en el ciclo de entrenamiento, uso de optimizador Ranger en lugar de vanilla SGD, a la vez que se amplía el mecanismo de atención. Para las pruebas se utilizó el dataset EGTEA Gaze+, que consiste en videos de acciones en primera persona de la vida diarias y la experimentación realizada con los resultados alcanzados deja abierta la posibilidad de hacer pruebas con datasets más complejos.
The recognition of activities and objects in videos captured with cameras mounted on a person constitutes an area of importance since it has multiple applications: health care, non-invasive monitoring, vision in robots, among others. The recognition of actions captured by these devices require recognition of objects and their locations. In general, this problem is dealt with with large equipment such as clusters or several GPU units. The objective of this work was to analyze the performance of locating objects and to propose alternatives that allow obtaining the same or better results with smaller resources. For this, we adapted an Action Recognition model in egocentric videos based on Attention Mechanisms combined with Optical Flow. It is an architecture model that uses 2 sub-models in parallel: one based on Optical Flow and the other based on the video itself (RGB images), to which the following improvements were introduced: incorporate mixed precision in the training cycle, use of Ranger Optimizer instead of vanilla SGD, while extending the attention mechanism. For the tests, the EGTEA Gaze+ dataset was used, which consists of videos of first-person actions of daily life and the experimentation carried out with the results achieved leaves open the possibility of testing more complex datasets.
Fil: Straminsky, Axel Gustavo. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.