body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices

Autores
Trujillo Jiménez, Magda Alexandra; Navarro, Pablo Eugenio; Pazos, Bruno Alfredo; Morales, Arturo Leonardo; Ramallo, Virginia; Paschetta, Carolina Andrea; de Azevedo, Soledad; Ruderman, Anahí; Perez, Luis Orlando; Delrieux, Claudio Augusto; Gonzalez-Jose, Rolando
Año de publicación
2020
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Current point cloud extraction methods based on photogrammetry generate large amounts of spurious detections that hamper useful 3D mesh reconstructions or, even worse, the possibility of adequate measurements. Moreover, noise removal methods for point clouds are complex, slow and incapable to cope with semantic noise. In this work, we present body2vec, a model-based body segmentation tool that uses a specifically trained Neural Network architecture. Body2vec is capable to perform human body point cloud reconstruction from videos taken on hand-held devices (smartphones or tablets), achieving high quality anthropometric measurements. The main contribution of the proposed workflow is to perform a background removal step, thus avoiding the spurious points generation that is usual in photogrammetric reconstruction. A group of 60 persons were taped with a smartphone, and the corresponding point clouds were obtained automatically with standard photogrammetric methods. We used as a 3D silver standard the clean meshes obtained at the same time with LiDAR sensors post-processed and noise-filtered by expert anthropological biologists. Finally, we used as gold standard anthropometric measurements of the waist and hip of the same people, taken by expert anthropometrists. Applying our method to the raw videos significantly enhanced the quality of the results of the point cloud as compared with the LiDAR-based mesh, and of the anthropometric measurements as compared with the actual hip and waist perimeter measured by the anthropometrists. In both contexts, the resulting quality of body2vec is equivalent to the LiDAR reconstruction.
Fil: Trujillo Jiménez, Magda Alexandra. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Navarro, Pablo Eugenio. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina
Fil: Pazos, Bruno Alfredo. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Morales, Arturo Leonardo. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Ramallo, Virginia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Paschetta, Carolina Andrea. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: de Azevedo, Soledad. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Ruderman, Anahí. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Perez, Luis Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Materia
DEEP LEARNING
NEURAL NETWORKS
STRUCTURE FROM MOTION
3D POINT CLOUD
ANTHROPOMETRY
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/125297
Acceder
id CONICETDig_5efbf33d0cd4e5a9a0592497ebdf70e3
oai_identifier_str oai:ri.conicet.gov.ar:11336/125297
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld DevicesTrujillo Jiménez, Magda AlexandraNavarro, Pablo EugenioPazos, Bruno AlfredoMorales, Arturo LeonardoRamallo, VirginiaPaschetta, Carolina Andreade Azevedo, SoledadRuderman, AnahíPerez, Luis OrlandoDelrieux, Claudio AugustoGonzalez-Jose, RolandoDEEP LEARNINGNEURAL NETWORKSSTRUCTURE FROM MOTION3D POINT CLOUDANTHROPOMETRYhttps://purl.org/becyt/ford/1.2https://purl.org/becyt/ford/1Current point cloud extraction methods based on photogrammetry generate large amounts of spurious detections that hamper useful 3D mesh reconstructions or, even worse, the possibility of adequate measurements. Moreover, noise removal methods for point clouds are complex, slow and incapable to cope with semantic noise. In this work, we present body2vec, a model-based body segmentation tool that uses a specifically trained Neural Network architecture. Body2vec is capable to perform human body point cloud reconstruction from videos taken on hand-held devices (smartphones or tablets), achieving high quality anthropometric measurements. The main contribution of the proposed workflow is to perform a background removal step, thus avoiding the spurious points generation that is usual in photogrammetric reconstruction. A group of 60 persons were taped with a smartphone, and the corresponding point clouds were obtained automatically with standard photogrammetric methods. We used as a 3D silver standard the clean meshes obtained at the same time with LiDAR sensors post-processed and noise-filtered by expert anthropological biologists. Finally, we used as gold standard anthropometric measurements of the waist and hip of the same people, taken by expert anthropometrists. Applying our method to the raw videos significantly enhanced the quality of the results of the point cloud as compared with the LiDAR-based mesh, and of the anthropometric measurements as compared with the actual hip and waist perimeter measured by the anthropometrists. In both contexts, the resulting quality of body2vec is equivalent to the LiDAR reconstruction.Fil: Trujillo Jiménez, Magda Alexandra. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Navarro, Pablo Eugenio. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; ArgentinaFil: Pazos, Bruno Alfredo. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Morales, Arturo Leonardo. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; ArgentinaFil: Ramallo, Virginia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Paschetta, Carolina Andrea. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: de Azevedo, Soledad. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Ruderman, Anahí. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Perez, Luis Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaFil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; ArgentinaFil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; ArgentinaMDPI2020-09info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/125297Trujillo Jiménez, Magda Alexandra; Navarro, Pablo Eugenio; Pazos, Bruno Alfredo; Morales, Arturo Leonardo; Ramallo, Virginia; et al.; body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices; MDPI; Journal of Imaging; 6; 9; 9-2020; 1-142313-433XCONICET DigitalCONICETenginfo:eu-repo/semantics/altIdentifier/doi/10.3390/jimaging6090094info:eu-repo/semantics/altIdentifier/url/https://www.mdpi.com/2313-433X/6/9/94info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-11-12T09:41:40Zoai:ri.conicet.gov.ar:11336/125297instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-11-12 09:41:41.057CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
title body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
spellingShingle body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
Trujillo Jiménez, Magda Alexandra
DEEP LEARNING
NEURAL NETWORKS
STRUCTURE FROM MOTION
3D POINT CLOUD
ANTHROPOMETRY
title_short body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
title_full body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
title_fullStr body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
title_full_unstemmed body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
title_sort body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices
dc.creator.none.fl_str_mv Trujillo Jiménez, Magda Alexandra
Navarro, Pablo Eugenio
Pazos, Bruno Alfredo
Morales, Arturo Leonardo
Ramallo, Virginia
Paschetta, Carolina Andrea
de Azevedo, Soledad
Ruderman, Anahí
Perez, Luis Orlando
Delrieux, Claudio Augusto
Gonzalez-Jose, Rolando
author Trujillo Jiménez, Magda Alexandra
author_facet Trujillo Jiménez, Magda Alexandra
Navarro, Pablo Eugenio
Pazos, Bruno Alfredo
Morales, Arturo Leonardo
Ramallo, Virginia
Paschetta, Carolina Andrea
de Azevedo, Soledad
Ruderman, Anahí
Perez, Luis Orlando
Delrieux, Claudio Augusto
Gonzalez-Jose, Rolando
author_role author
author2 Navarro, Pablo Eugenio
Pazos, Bruno Alfredo
Morales, Arturo Leonardo
Ramallo, Virginia
Paschetta, Carolina Andrea
de Azevedo, Soledad
Ruderman, Anahí
Perez, Luis Orlando
Delrieux, Claudio Augusto
Gonzalez-Jose, Rolando
author2_role author
author
author
author
author
author
author
author
author
author
dc.subject.none.fl_str_mv DEEP LEARNING
NEURAL NETWORKS
STRUCTURE FROM MOTION
3D POINT CLOUD
ANTHROPOMETRY
topic DEEP LEARNING
NEURAL NETWORKS
STRUCTURE FROM MOTION
3D POINT CLOUD
ANTHROPOMETRY
purl_subject.fl_str_mv https://purl.org/becyt/ford/1.2
https://purl.org/becyt/ford/1
dc.description.none.fl_txt_mv Current point cloud extraction methods based on photogrammetry generate large amounts of spurious detections that hamper useful 3D mesh reconstructions or, even worse, the possibility of adequate measurements. Moreover, noise removal methods for point clouds are complex, slow and incapable to cope with semantic noise. In this work, we present body2vec, a model-based body segmentation tool that uses a specifically trained Neural Network architecture. Body2vec is capable to perform human body point cloud reconstruction from videos taken on hand-held devices (smartphones or tablets), achieving high quality anthropometric measurements. The main contribution of the proposed workflow is to perform a background removal step, thus avoiding the spurious points generation that is usual in photogrammetric reconstruction. A group of 60 persons were taped with a smartphone, and the corresponding point clouds were obtained automatically with standard photogrammetric methods. We used as a 3D silver standard the clean meshes obtained at the same time with LiDAR sensors post-processed and noise-filtered by expert anthropological biologists. Finally, we used as gold standard anthropometric measurements of the waist and hip of the same people, taken by expert anthropometrists. Applying our method to the raw videos significantly enhanced the quality of the results of the point cloud as compared with the LiDAR-based mesh, and of the anthropometric measurements as compared with the actual hip and waist perimeter measured by the anthropometrists. In both contexts, the resulting quality of body2vec is equivalent to the LiDAR reconstruction.
Fil: Trujillo Jiménez, Magda Alexandra. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Navarro, Pablo Eugenio. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina
Fil: Pazos, Bruno Alfredo. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Morales, Arturo Leonardo. Universidad Nacional de la Patagonia "San Juan Bosco"; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Ramallo, Virginia. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Paschetta, Carolina Andrea. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: de Azevedo, Soledad. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Ruderman, Anahí. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Perez, Luis Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
Fil: Delrieux, Claudio Augusto. Universidad Nacional del Sur. Departamento de Ingeniería Eléctrica y de Computadoras; Argentina
Fil: Gonzalez-Jose, Rolando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Centro Nacional Patagónico. Instituto Patagónico de Ciencias Sociales y Humanas; Argentina
description Current point cloud extraction methods based on photogrammetry generate large amounts of spurious detections that hamper useful 3D mesh reconstructions or, even worse, the possibility of adequate measurements. Moreover, noise removal methods for point clouds are complex, slow and incapable to cope with semantic noise. In this work, we present body2vec, a model-based body segmentation tool that uses a specifically trained Neural Network architecture. Body2vec is capable to perform human body point cloud reconstruction from videos taken on hand-held devices (smartphones or tablets), achieving high quality anthropometric measurements. The main contribution of the proposed workflow is to perform a background removal step, thus avoiding the spurious points generation that is usual in photogrammetric reconstruction. A group of 60 persons were taped with a smartphone, and the corresponding point clouds were obtained automatically with standard photogrammetric methods. We used as a 3D silver standard the clean meshes obtained at the same time with LiDAR sensors post-processed and noise-filtered by expert anthropological biologists. Finally, we used as gold standard anthropometric measurements of the waist and hip of the same people, taken by expert anthropometrists. Applying our method to the raw videos significantly enhanced the quality of the results of the point cloud as compared with the LiDAR-based mesh, and of the anthropometric measurements as compared with the actual hip and waist perimeter measured by the anthropometrists. In both contexts, the resulting quality of body2vec is equivalent to the LiDAR reconstruction.
publishDate 2020
dc.date.none.fl_str_mv 2020-09
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/125297
Trujillo Jiménez, Magda Alexandra; Navarro, Pablo Eugenio; Pazos, Bruno Alfredo; Morales, Arturo Leonardo; Ramallo, Virginia; et al.; body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices; MDPI; Journal of Imaging; 6; 9; 9-2020; 1-14
2313-433X
CONICET Digital
CONICET
url http://hdl.handle.net/11336/125297
identifier_str_mv Trujillo Jiménez, Magda Alexandra; Navarro, Pablo Eugenio; Pazos, Bruno Alfredo; Morales, Arturo Leonardo; Ramallo, Virginia; et al.; body2vec: 3D Point Cloud Reconstruction for Precise Anthropometry with Handheld Devices; MDPI; Journal of Imaging; 6; 9; 9-2020; 1-14
2313-433X
CONICET Digital
CONICET
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/doi/10.3390/jimaging6090094
info:eu-repo/semantics/altIdentifier/url/https://www.mdpi.com/2313-433X/6/9/94
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv MDPI
publisher.none.fl_str_mv MDPI
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1848597592143822848
score 12.976206

Publicaciones similares