ConvAtt Network: A Low Parameter Approach For Sign Language Recognition

Autores
Rios, Gaston Gustavo; Dal Bianco, Pedro; Ronchetti, Franco; Quiroga, Facundo; Ponte Ahón, Santiago Ponte; Stanchi, Oscar Agustín; Hasperué, Waldo
Año de publicación
2024
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Despite recent advances in Large Language Models in text processing, Sign Language Recognition (SLR) remains an unresolved task. This is, in part, due to limitations in the available data. In this paper, we investigate combining 1D convolutions with transformer layers to capture local features and global interactions in a low-parameter SLR model. We experimented using multiple data augmentation and regularization techniques to categorize signs of the French Belgian Sign Language. We achieved a top-1 accuracy of 42.7% and a top-10 accuracy of 81.9% in 600 different signs. This model is competitive with the current state of the art while using a significantly lower number of parameters.
A pesar de los avances recientes en grandes modelos de lenguaje para el procesamiento de texto, el Reconocimiento de Lenguas de Señas (SLR por sus siglas en inglés) aun es una tarea sin resolver. Esto es, en parte, debido a las limitaciones en los datos disponibles. En este articulo, investigamos cómo combinar convoluciones 1d con capas transformer para capturar las características locales y las interacciones globales utilizando un modelo de SLR de pocos parámetros. Experimentamos usando múltiples técnicas de aumento de datos y regularización para categorizar señas de la lengua de señas belga-francesa. Como resultado, obtuvimos una exactitud top-1 de 42.7% y top-10 de 81.9% en 600 señas diferentes. Este modelo es competitivo con el estado del arte actual, utilizando una cantidad significativamente menor de parámetros.
Fil: Rios, Gaston Gustavo. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Dal Bianco, Pedro. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Ronchetti, Franco. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Quiroga, Facundo. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Ponte Ahón, Santiago Ponte. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Stanchi, Oscar Agustín. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Hasperué, Waldo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Materia
Deep Learning
Sequence Classification
Sign Language Recognition
Unbalanced Data
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/247154
Acceder
id CONICETDig_5974d27b89e9472a8082e46ebef8e185
oai_identifier_str oai:ri.conicet.gov.ar:11336/247154
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling ConvAtt Network: A Low Parameter Approach For Sign Language RecognitionRed ConvAtt: Un Acercamiento Con Bajos Parámetros Para El Reconocimiento De Lengua De SeñasRios, Gaston GustavoDal Bianco, PedroRonchetti, FrancoQuiroga, FacundoPonte Ahón, Santiago PonteStanchi, Oscar AgustínHasperué, WaldoDeep LearningSequence ClassificationSign Language RecognitionUnbalanced Datahttps://purl.org/becyt/ford/1.2https://purl.org/becyt/ford/1Despite recent advances in Large Language Models in text processing, Sign Language Recognition (SLR) remains an unresolved task. This is, in part, due to limitations in the available data. In this paper, we investigate combining 1D convolutions with transformer layers to capture local features and global interactions in a low-parameter SLR model. We experimented using multiple data augmentation and regularization techniques to categorize signs of the French Belgian Sign Language. We achieved a top-1 accuracy of 42.7% and a top-10 accuracy of 81.9% in 600 different signs. This model is competitive with the current state of the art while using a significantly lower number of parameters.A pesar de los avances recientes en grandes modelos de lenguaje para el procesamiento de texto, el Reconocimiento de Lenguas de Señas (SLR por sus siglas en inglés) aun es una tarea sin resolver. Esto es, en parte, debido a las limitaciones en los datos disponibles. En este articulo, investigamos cómo combinar convoluciones 1d con capas transformer para capturar las características locales y las interacciones globales utilizando un modelo de SLR de pocos parámetros. Experimentamos usando múltiples técnicas de aumento de datos y regularización para categorizar señas de la lengua de señas belga-francesa. Como resultado, obtuvimos una exactitud top-1 de 42.7% y top-10 de 81.9% en 600 señas diferentes. Este modelo es competitivo con el estado del arte actual, utilizando una cantidad significativamente menor de parámetros.Fil: Rios, Gaston Gustavo. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Dal Bianco, Pedro. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Ronchetti, Franco. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Quiroga, Facundo. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Ponte Ahón, Santiago Ponte. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Stanchi, Oscar Agustín. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaFil: Hasperué, Waldo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; ArgentinaUniversidad Nacional de La Plata. Facultad de Informática2024-10info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/247154Rios, Gaston Gustavo; Dal Bianco, Pedro; Ronchetti, Franco; Quiroga, Facundo; Ponte Ahón, Santiago Ponte; et al.; ConvAtt Network: A Low Parameter Approach For Sign Language Recognition; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 24; 2; 10-2024; 104-1101666-60461666-6038CONICET DigitalCONICETenginfo:eu-repo/semantics/altIdentifier/url/https://journal.info.unlp.edu.ar/JCST/article/view/3485info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.24.e10info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-09-29T10:01:17Zoai:ri.conicet.gov.ar:11336/247154instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-09-29 10:01:17.41CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
Red ConvAtt: Un Acercamiento Con Bajos Parámetros Para El Reconocimiento De Lengua De Señas
title ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
spellingShingle ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
Rios, Gaston Gustavo
Deep Learning
Sequence Classification
Sign Language Recognition
Unbalanced Data
title_short ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
title_full ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
title_fullStr ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
title_full_unstemmed ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
title_sort ConvAtt Network: A Low Parameter Approach For Sign Language Recognition
dc.creator.none.fl_str_mv Rios, Gaston Gustavo
Dal Bianco, Pedro
Ronchetti, Franco
Quiroga, Facundo
Ponte Ahón, Santiago Ponte
Stanchi, Oscar Agustín
Hasperué, Waldo
author Rios, Gaston Gustavo
author_facet Rios, Gaston Gustavo
Dal Bianco, Pedro
Ronchetti, Franco
Quiroga, Facundo
Ponte Ahón, Santiago Ponte
Stanchi, Oscar Agustín
Hasperué, Waldo
author_role author
author2 Dal Bianco, Pedro
Ronchetti, Franco
Quiroga, Facundo
Ponte Ahón, Santiago Ponte
Stanchi, Oscar Agustín
Hasperué, Waldo
author2_role author
author
author
author
author
author
dc.subject.none.fl_str_mv Deep Learning
Sequence Classification
Sign Language Recognition
Unbalanced Data
topic Deep Learning
Sequence Classification
Sign Language Recognition
Unbalanced Data
purl_subject.fl_str_mv https://purl.org/becyt/ford/1.2
https://purl.org/becyt/ford/1
dc.description.none.fl_txt_mv Despite recent advances in Large Language Models in text processing, Sign Language Recognition (SLR) remains an unresolved task. This is, in part, due to limitations in the available data. In this paper, we investigate combining 1D convolutions with transformer layers to capture local features and global interactions in a low-parameter SLR model. We experimented using multiple data augmentation and regularization techniques to categorize signs of the French Belgian Sign Language. We achieved a top-1 accuracy of 42.7% and a top-10 accuracy of 81.9% in 600 different signs. This model is competitive with the current state of the art while using a significantly lower number of parameters.
A pesar de los avances recientes en grandes modelos de lenguaje para el procesamiento de texto, el Reconocimiento de Lenguas de Señas (SLR por sus siglas en inglés) aun es una tarea sin resolver. Esto es, en parte, debido a las limitaciones en los datos disponibles. En este articulo, investigamos cómo combinar convoluciones 1d con capas transformer para capturar las características locales y las interacciones globales utilizando un modelo de SLR de pocos parámetros. Experimentamos usando múltiples técnicas de aumento de datos y regularización para categorizar señas de la lengua de señas belga-francesa. Como resultado, obtuvimos una exactitud top-1 de 42.7% y top-10 de 81.9% en 600 señas diferentes. Este modelo es competitivo con el estado del arte actual, utilizando una cantidad significativamente menor de parámetros.
Fil: Rios, Gaston Gustavo. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Dal Bianco, Pedro. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Ronchetti, Franco. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Quiroga, Facundo. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Ponte Ahón, Santiago Ponte. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Stanchi, Oscar Agustín. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
Fil: Hasperué, Waldo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - La Plata; Argentina. Provincia de Buenos Aires. Gobernación. Comisión de Investigaciones Científicas; Argentina. Universidad Nacional de La Plata. Facultad de Informática. Instituto de Investigación en Informática Lidi; Argentina
description Despite recent advances in Large Language Models in text processing, Sign Language Recognition (SLR) remains an unresolved task. This is, in part, due to limitations in the available data. In this paper, we investigate combining 1D convolutions with transformer layers to capture local features and global interactions in a low-parameter SLR model. We experimented using multiple data augmentation and regularization techniques to categorize signs of the French Belgian Sign Language. We achieved a top-1 accuracy of 42.7% and a top-10 accuracy of 81.9% in 600 different signs. This model is competitive with the current state of the art while using a significantly lower number of parameters.
publishDate 2024
dc.date.none.fl_str_mv 2024-10
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/247154
Rios, Gaston Gustavo; Dal Bianco, Pedro; Ronchetti, Franco; Quiroga, Facundo; Ponte Ahón, Santiago Ponte; et al.; ConvAtt Network: A Low Parameter Approach For Sign Language Recognition; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 24; 2; 10-2024; 104-110
1666-6046
1666-6038
CONICET Digital
CONICET
url http://hdl.handle.net/11336/247154
identifier_str_mv Rios, Gaston Gustavo; Dal Bianco, Pedro; Ronchetti, Franco; Quiroga, Facundo; Ponte Ahón, Santiago Ponte; et al.; ConvAtt Network: A Low Parameter Approach For Sign Language Recognition; Universidad Nacional de La Plata. Facultad de Informática; Journal of Computer Science and Technology; 24; 2; 10-2024; 104-110
1666-6046
1666-6038
CONICET Digital
CONICET
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/url/https://journal.info.unlp.edu.ar/JCST/article/view/3485
info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.24.e10
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
publisher.none.fl_str_mv Universidad Nacional de La Plata. Facultad de Informática
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1844613805420576768
score 13.070432

Publicaciones similares