Estimación de movimiento en secuencias de imágenes RGB y RGB-D

• Autores: Gómez Fernández, Francisco Roberto
• Año de publicación: 2016
• Idioma: inglés
• Tipo de recurso: tesis doctoral
• Colaborador/a o director/a de tesis: Mejail, Marta Estela; Pardo Piccone, Alvaro D.
• Materia: ESTIMACION DE MOVIMIENTO; TEXTURAS DINAMICAS; OPTICAL FLOW; SCENE FLOW; GRAPH CUTS; MOTION ESTIMATION; DYNAMIC TEXTURES; OPTICAL FLOW; SCENE FLOW; GRAPH CUTS
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

El movimiento es una característica fundamental para el procesamientode video y sus posteriores aplicaciones. La estimación de movimientoen video es de gran utilidad para definir la correspondencia depuntos en una escena, calcular sus velocidades y así poder discriminar objetos,acciones, segmentar movimiento, etc. El objetivo de este trabajo es realizar un seguimiento preciso y una estimación de movimiento de un gran conjunto de puntos. Esto se conoce comoestimación densa de movimiento. Para ello, se proponen dos líneas principales de estudio: modelos estadísticos de movimiento utilizando texturas dinámicas y el cálculo del flujoóptico minimizando la energía con graph cuts, en ambos casos considerandosecuencias de imágenes RGB y RGB-D. El modelo de texturas dinámicas está muy bien condicionado para lasegmentación de movimiento, y dentro de este contexto desarrollamos unaaplicación con características novedosas: (i) proceso de aprendizaje desacopladoy (ii) algoritmos optimizados para trabajar en placas gráficas GPU (Graphic Process Unit). Además, el modelo ha sido extendido para contemplarsecuencias de imágenes RGB-D, el cual no había sido estudiado hastael momento, permitiéndonos identificar procesos visuales en 3D. Experimentos sobre la base de datos DynTex muestran resultados exitososde performance y de clasificación para la mayoría de las casos. Luego,nuestros análisis sobre secuencias RGB-D revelan la viabilidad de este modelopara aplicaciones 3D. El problema de la estimación del flujo óptico (optical flow) fue abordadomediante la minimización de la energía del campo de vectores utilizando latécnica de graph cuts con una formulación novedosa de la energía. Ampliamosesta formulación para tener en cuenta la profundidad y así calcular el flujo de la escena (scene flow). Hasta donde sabemos, en la literatura, nuncase había utilizado graph cuts para estimar el scene flow. Los resultados obtenidossobre el dataset Middlebury muestran que nuestros algoritmos soncompetitivos comparados con los presentes en el estado del arte y los mejorescon en términos de error angular.
Motion is a fundamental cue for video processing and its furtherapplications. Video motion estimation is very useful to find correspondencesof points in a scene, computing their velocities, discriminate objects,actions, segment motion, etc. The aim of this work is to accurately track the motion of a large set ofpoints in videos. This is known as dense motion estimation. To this end,two main lines of study were proposed: statistical models of motion usingdynamic textures and optical flow calculation using graph cuts for energyminimization, considering in both cases sequences of RGB and RGB-D images. The dynamic textures model is well suited for motion segmentation,and in this context we develop an application with novel features: (i) a decoupledlearning step (ii) GPU-translated algorithms optimized to work on GPU (Graphic Process Unit). Also, the model has been extended to process RGB-D sequences, which had not been studied so far, allowing us to identifyvisual processes in 3D. Experiments on the Dyntex dataset show successfulresults of performance and classification for most cases. Then our analysisof RGB-D sequences reveal the viability of this model for 3D applications. The problem of optical flow estimation was addressed by minimizingthe energy of the vector field using the graph cuts method with a novel formulationof energy. We extend this formulation to take depth into accountand thus estimate the Scene Flow. To the best of our knowledge, scene flowestimation using graph cuts has never been used in the literature. The resultsobtained on the Middlebury dataset show that our algorithms are competitivewith the state of the art and the best performing in terms of angularerror.
Fil: Gómez Fernández, Francisco Roberto. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.