Automatic ear detection and segmentation over partially occluded profile face images

Autores
Cintas, Celia; Delrieux, Claudio Augusto; Navarro, Jose Pablo; Quinto-sánchez, Mirsha Emmanuel; Pazos, Bruno Alfredo; Gonzalez-Jose, Rolando
Año de publicación
2019
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
La detección automática del pabellón auditivo en imágenes y video, es una funcionalidad crecientemente requerida en varios contextos. Entre ellos podemos citar: identificación biométrica no invasiva, análisis biomédicos, estudios forenses, entre otros. En los sistemas de reconocimiento biométrico, la detección rápida y confiable del pabellón auditivo es un paso fundamental dentro del procesamiento. Las aproximaciones existentes con respecto a esta detección no son robustas, siendo susceptibles a fallas en la presencia de oclusiones parciales, accesorios como aros o piercings, o condiciones desfavorables en la cámara o la iluminación. Además, gran parte de los sistemas biométricos de la actualidad asumen que el dato de entrada será la región de interés que contiene el pabellón auditivo, lo cual limita su uso y reduce la exactitud global de reconocimiento. En este trabajo se evalúa el uso de redes convolucionales (Convolutional Neural Networks o CNNs) junto con Morfometría Geométrica para la detección automática del pabellón auditivo y la segmentación de los píxeles correspondientes al mismo mediante el uso de un algoritmo de Convex Hull. Luego del entrenamiento, la red CNN puede detectar el pabellón auditivo sobre imágenes de rostro en vista lateral, inclusive en la presencia de oclusiones parciales. Se analiza la performance del método de detección y segmentación de orejas sobre imágenes con oclusiones parciales correspondientes al conjunto de datos CVL.
Automated, non invasive ear detection in images and video is becoming increasingly required in several contexts,  including  nonivasive  biometric  identification, biomedical analysis, forensics, and many others.  In biometric recognition systems, fast and robust ear de-tection is a crucial step within the recognition pipeline.Existing approaches to ear detection are susceptible to fail in the presence of typical everyday situations that prevent a crisp imaging of the ears, like partial occlusions, ear accessories, or uncontrolled camera and illumination conditions. Even more, most of the proposed solutions work efficiently only within a previously detected rectangular region of interest, which limits their applicability and lowers the accuracy of the overall detection. In this paper we evaluate the use of Convolutional Neural Networks (CNNs) together with Geometric Morphometrics (GM) for automatic ear detection in the presence of partial occlusions, and a Convex Hull algorithm for the ear area segmentation.  A CNN was trained with a set of ear images landmarked by experts using GM to achieve high consistency. After training, the CNN is able to detect ears over profile faces, even in the presence of partial occlusions. We analyze the performance of the proposed ear detection and segmentation method over partially occluded ear images using the CVL Dataset.
Fil: Cintas, Celia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Navarro, Jose Pablo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Quinto-sánchez, Mirsha Emmanuel. Universidad Nacional Autónoma de México; México
Fil: Pazos, Bruno Alfredo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "san Juan Bosco". Facultad de Ingenieria - Sede Trelew.; Argentina
Fil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Materia
BIOMETRICS
CONVEX HULL
DEEP LEARNING
EAR DETECTION
OCCLUSSION
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/118835

id CONICETDig_38d4557f4af6ac7ce324c08427d0bd31
oai_identifier_str oai:ri.conicet.gov.ar:11336/118835
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling Automatic ear detection and segmentation over partially occluded profile face imagesDetección y segmentación automática de oídos en imágenes de rostro con vista lateral parcialmente ocluıdaCintas, CeliaDelrieux, Claudio AugustoNavarro, Jose PabloQuinto-sánchez, Mirsha EmmanuelPazos, Bruno AlfredoGonzalez-Jose, RolandoBIOMETRICSCONVEX HULLDEEP LEARNINGEAR DETECTIONOCCLUSSIONhttps://purl.org/becyt/ford/1.2https://purl.org/becyt/ford/1https://purl.org/becyt/ford/3.3https://purl.org/becyt/ford/3La detección automática del pabellón auditivo en imágenes y video, es una funcionalidad crecientemente requerida en varios contextos. Entre ellos podemos citar: identificación biométrica no invasiva, análisis biomédicos, estudios forenses, entre otros. En los sistemas de reconocimiento biométrico, la detección rápida y confiable del pabellón auditivo es un paso fundamental dentro del procesamiento. Las aproximaciones existentes con respecto a esta detección no son robustas, siendo susceptibles a fallas en la presencia de oclusiones parciales, accesorios como aros o piercings, o condiciones desfavorables en la cámara o la iluminación. Además, gran parte de los sistemas biométricos de la actualidad asumen que el dato de entrada será la región de interés que contiene el pabellón auditivo, lo cual limita su uso y reduce la exactitud global de reconocimiento. En este trabajo se evalúa el uso de redes convolucionales (Convolutional Neural Networks o CNNs) junto con Morfometría Geométrica para la detección automática del pabellón auditivo y la segmentación de los píxeles correspondientes al mismo mediante el uso de un algoritmo de Convex Hull. Luego del entrenamiento, la red CNN puede detectar el pabellón auditivo sobre imágenes de rostro en vista lateral, inclusive en la presencia de oclusiones parciales. Se analiza la performance del método de detección y segmentación de orejas sobre imágenes con oclusiones parciales correspondientes al conjunto de datos CVL.Automated, non invasive ear detection in images and video is becoming increasingly required in several contexts,  including  nonivasive  biometric  identification, biomedical analysis, forensics, and many others.  In biometric recognition systems, fast and robust ear de-tection is a crucial step within the recognition pipeline.Existing approaches to ear detection are susceptible to fail in the presence of typical everyday situations that prevent a crisp imaging of the ears, like partial occlusions, ear accessories, or uncontrolled camera and illumination conditions. Even more, most of the proposed solutions work efficiently only within a previously detected rectangular region of interest, which limits their applicability and lowers the accuracy of the overall detection. In this paper we evaluate the use of Convolutional Neural Networks (CNNs) together with Geometric Morphometrics (GM) for automatic ear detection in the presence of partial occlusions, and a Convex Hull algorithm for the ear area segmentation.  A CNN was trained with a set of ear images landmarked by experts using GM to achieve high consistency. After training, the CNN is able to detect ears over profile faces, even in the presence of partial occlusions. We analyze the performance of the proposed ear detection and segmentation method over partially occluded ear images using the CVL Dataset.Fil: Cintas, Celia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; ArgentinaFil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Navarro, Jose Pablo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; ArgentinaFil: Quinto-sánchez, Mirsha Emmanuel. Universidad Nacional Autónoma de México; MéxicoFil: Pazos, Bruno Alfredo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "san Juan Bosco". Facultad de Ingenieria - Sede Trelew.; ArgentinaFil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaUniversidad Nacional de La Plata. Facultad de Informática2019-04info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/118835Cintas, Celia; Delrieux, Claudio Augusto; Navarro, Jose Pablo; Quinto-sánchez, Mirsha Emmanuel; Pazos, Bruno Alfredo; et al.; Automatic ear detection and segmentation over partially occluded profile face images; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 19; 8; 4-2019; 81-901666-6038CONICET DigitalCONICETenginfo:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.19.e08info:eu-repo/semantics/altIdentifier/url/https://journal.info.unlp.edu.ar/JCST/article/view/1097info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-10-15T14:41:56Zoai:ri.conicet.gov.ar:11336/118835instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-10-15 14:41:56.42CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv Automatic ear detection and segmentation over partially occluded profile face images
Detección y segmentación automática de oídos en imágenes de rostro con vista lateral parcialmente ocluıda
title Automatic ear detection and segmentation over partially occluded profile face images
spellingShingle Automatic ear detection and segmentation over partially occluded profile face images
Cintas, Celia
BIOMETRICS
CONVEX HULL
DEEP LEARNING
EAR DETECTION
OCCLUSSION
title_short Automatic ear detection and segmentation over partially occluded profile face images
title_full Automatic ear detection and segmentation over partially occluded profile face images
title_fullStr Automatic ear detection and segmentation over partially occluded profile face images
title_full_unstemmed Automatic ear detection and segmentation over partially occluded profile face images
title_sort Automatic ear detection and segmentation over partially occluded profile face images
dc.creator.none.fl_str_mv Cintas, Celia
Delrieux, Claudio Augusto
Navarro, Jose Pablo
Quinto-sánchez, Mirsha Emmanuel
Pazos, Bruno Alfredo
Gonzalez-Jose, Rolando
author Cintas, Celia
author_facet Cintas, Celia
Delrieux, Claudio Augusto
Navarro, Jose Pablo
Quinto-sánchez, Mirsha Emmanuel
Pazos, Bruno Alfredo
Gonzalez-Jose, Rolando
author_role author
author2 Delrieux, Claudio Augusto
Navarro, Jose Pablo
Quinto-sánchez, Mirsha Emmanuel
Pazos, Bruno Alfredo
Gonzalez-Jose, Rolando
author2_role author
author
author
author
author
dc.subject.none.fl_str_mv BIOMETRICS
CONVEX HULL
DEEP LEARNING
EAR DETECTION
OCCLUSSION
topic BIOMETRICS
CONVEX HULL
DEEP LEARNING
EAR DETECTION
OCCLUSSION
purl_subject.fl_str_mv https://purl.org/becyt/ford/1.2
https://purl.org/becyt/ford/1
https://purl.org/becyt/ford/3.3
https://purl.org/becyt/ford/3
dc.description.none.fl_txt_mv La detección automática del pabellón auditivo en imágenes y video, es una funcionalidad crecientemente requerida en varios contextos. Entre ellos podemos citar: identificación biométrica no invasiva, análisis biomédicos, estudios forenses, entre otros. En los sistemas de reconocimiento biométrico, la detección rápida y confiable del pabellón auditivo es un paso fundamental dentro del procesamiento. Las aproximaciones existentes con respecto a esta detección no son robustas, siendo susceptibles a fallas en la presencia de oclusiones parciales, accesorios como aros o piercings, o condiciones desfavorables en la cámara o la iluminación. Además, gran parte de los sistemas biométricos de la actualidad asumen que el dato de entrada será la región de interés que contiene el pabellón auditivo, lo cual limita su uso y reduce la exactitud global de reconocimiento. En este trabajo se evalúa el uso de redes convolucionales (Convolutional Neural Networks o CNNs) junto con Morfometría Geométrica para la detección automática del pabellón auditivo y la segmentación de los píxeles correspondientes al mismo mediante el uso de un algoritmo de Convex Hull. Luego del entrenamiento, la red CNN puede detectar el pabellón auditivo sobre imágenes de rostro en vista lateral, inclusive en la presencia de oclusiones parciales. Se analiza la performance del método de detección y segmentación de orejas sobre imágenes con oclusiones parciales correspondientes al conjunto de datos CVL.
Automated, non invasive ear detection in images and video is becoming increasingly required in several contexts,  including  nonivasive  biometric  identification, biomedical analysis, forensics, and many others.  In biometric recognition systems, fast and robust ear de-tection is a crucial step within the recognition pipeline.Existing approaches to ear detection are susceptible to fail in the presence of typical everyday situations that prevent a crisp imaging of the ears, like partial occlusions, ear accessories, or uncontrolled camera and illumination conditions. Even more, most of the proposed solutions work efficiently only within a previously detected rectangular region of interest, which limits their applicability and lowers the accuracy of the overall detection. In this paper we evaluate the use of Convolutional Neural Networks (CNNs) together with Geometric Morphometrics (GM) for automatic ear detection in the presence of partial occlusions, and a Convex Hull algorithm for the ear area segmentation.  A CNN was trained with a set of ear images landmarked by experts using GM to achieve high consistency. After training, the CNN is able to detect ears over profile faces, even in the presence of partial occlusions. We analyze the performance of the proposed ear detection and segmentation method over partially occluded ear images using the CVL Dataset.
Fil: Cintas, Celia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina
Fil: Navarro, Jose Pablo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Quinto-sánchez, Mirsha Emmanuel. Universidad Nacional Autónoma de México; México
Fil: Pazos, Bruno Alfredo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "san Juan Bosco". Facultad de Ingenieria - Sede Trelew.; Argentina
Fil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
description La detección automática del pabellón auditivo en imágenes y video, es una funcionalidad crecientemente requerida en varios contextos. Entre ellos podemos citar: identificación biométrica no invasiva, análisis biomédicos, estudios forenses, entre otros. En los sistemas de reconocimiento biométrico, la detección rápida y confiable del pabellón auditivo es un paso fundamental dentro del procesamiento. Las aproximaciones existentes con respecto a esta detección no son robustas, siendo susceptibles a fallas en la presencia de oclusiones parciales, accesorios como aros o piercings, o condiciones desfavorables en la cámara o la iluminación. Además, gran parte de los sistemas biométricos de la actualidad asumen que el dato de entrada será la región de interés que contiene el pabellón auditivo, lo cual limita su uso y reduce la exactitud global de reconocimiento. En este trabajo se evalúa el uso de redes convolucionales (Convolutional Neural Networks o CNNs) junto con Morfometría Geométrica para la detección automática del pabellón auditivo y la segmentación de los píxeles correspondientes al mismo mediante el uso de un algoritmo de Convex Hull. Luego del entrenamiento, la red CNN puede detectar el pabellón auditivo sobre imágenes de rostro en vista lateral, inclusive en la presencia de oclusiones parciales. Se analiza la performance del método de detección y segmentación de orejas sobre imágenes con oclusiones parciales correspondientes al conjunto de datos CVL.
publishDate 2019
dc.date.none.fl_str_mv 2019-04
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/118835
Cintas, Celia; Delrieux, Claudio Augusto; Navarro, Jose Pablo; Quinto-sánchez, Mirsha Emmanuel; Pazos, Bruno Alfredo; et al.; Automatic ear detection and segmentation over partially occluded profile face images; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 19; 8; 4-2019; 81-90
1666-6038
CONICET Digital
CONICET
url http://hdl.handle.net/11336/118835
identifier_str_mv Cintas, Celia; Delrieux, Claudio Augusto; Navarro, Jose Pablo; Quinto-sánchez, Mirsha Emmanuel; Pazos, Bruno Alfredo; et al.; Automatic ear detection and segmentation over partially occluded profile face images; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 19; 8; 4-2019; 81-90
1666-6038
CONICET Digital
CONICET
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.19.e08
info:eu-repo/semantics/altIdentifier/url/https://journal.info.unlp.edu.ar/JCST/article/view/1097
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1846082918809600000
score 13.22299