Trust evaluation in virtual software development teams using BERT-based language models

Autores
Zapata, Sergio G.; Gallardo, Facundo; Sevilla, Gustavo A.; Torres, Estela; Forradellas Martinez, Raymundo Quilez
Año de publicación
2023
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.
Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.
Facultad de Informática
Materia
Ciencias Informáticas
BERT-based language model
Social software engineering
Trust analysis
Modelo de lenguaje BERT
Ingeniería de software social
Modelo de lenguaje BERT
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc/4.0/
Repositorio
SEDICI (UNLP)
Institución
Universidad Nacional de La Plata
OAI Identificador
oai:sedici.unlp.edu.ar:10915/151317

id SEDICI_028961e3cef9c1061fe28a302a753090
oai_identifier_str oai:sedici.unlp.edu.ar:10915/151317
network_acronym_str SEDICI
repository_id_str 1329
network_name_str SEDICI (UNLP)
spelling Trust evaluation in virtual software development teams using BERT-based language modelsEvaluación de confianza en equipos virtuales de desarrollo de software usando modelos de lenguajes basados en BERTZapata, Sergio G.Gallardo, FacundoSevilla, Gustavo A.Torres, EstelaForradellas Martinez, Raymundo QuilezCiencias InformáticasBERT-based language modelSocial software engineeringTrust analysisModelo de lenguaje BERTIngeniería de software socialModelo de lenguaje BERTNowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.Facultad de Informática2023-04info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionArticulohttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfhttp://sedici.unlp.edu.ar/handle/10915/151317enginfo:eu-repo/semantics/altIdentifier/issn/1666-6038info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.23.e04info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc/4.0/Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-09-29T11:38:57Zoai:sedici.unlp.edu.ar:10915/151317Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-09-29 11:38:57.851SEDICI (UNLP) - Universidad Nacional de La Platafalse
dc.title.none.fl_str_mv Trust evaluation in virtual software development teams using BERT-based language models
Evaluación de confianza en equipos virtuales de desarrollo de software usando modelos de lenguajes basados en BERT
title Trust evaluation in virtual software development teams using BERT-based language models
spellingShingle Trust evaluation in virtual software development teams using BERT-based language models
Zapata, Sergio G.
Ciencias Informáticas
BERT-based language model
Social software engineering
Trust analysis
Modelo de lenguaje BERT
Ingeniería de software social
Modelo de lenguaje BERT
title_short Trust evaluation in virtual software development teams using BERT-based language models
title_full Trust evaluation in virtual software development teams using BERT-based language models
title_fullStr Trust evaluation in virtual software development teams using BERT-based language models
title_full_unstemmed Trust evaluation in virtual software development teams using BERT-based language models
title_sort Trust evaluation in virtual software development teams using BERT-based language models
dc.creator.none.fl_str_mv Zapata, Sergio G.
Gallardo, Facundo
Sevilla, Gustavo A.
Torres, Estela
Forradellas Martinez, Raymundo Quilez
author Zapata, Sergio G.
author_facet Zapata, Sergio G.
Gallardo, Facundo
Sevilla, Gustavo A.
Torres, Estela
Forradellas Martinez, Raymundo Quilez
author_role author
author2 Gallardo, Facundo
Sevilla, Gustavo A.
Torres, Estela
Forradellas Martinez, Raymundo Quilez
author2_role author
author
author
author
dc.subject.none.fl_str_mv Ciencias Informáticas
BERT-based language model
Social software engineering
Trust analysis
Modelo de lenguaje BERT
Ingeniería de software social
Modelo de lenguaje BERT
topic Ciencias Informáticas
BERT-based language model
Social software engineering
Trust analysis
Modelo de lenguaje BERT
Ingeniería de software social
Modelo de lenguaje BERT
dc.description.none.fl_txt_mv Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.
Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.
Facultad de Informática
description Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.
publishDate 2023
dc.date.none.fl_str_mv 2023-04
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
Articulo
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://sedici.unlp.edu.ar/handle/10915/151317
url http://sedici.unlp.edu.ar/handle/10915/151317
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/issn/1666-6038
info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.23.e04
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:SEDICI (UNLP)
instname:Universidad Nacional de La Plata
instacron:UNLP
reponame_str SEDICI (UNLP)
collection SEDICI (UNLP)
instname_str Universidad Nacional de La Plata
instacron_str UNLP
institution UNLP
repository.name.fl_str_mv SEDICI (UNLP) - Universidad Nacional de La Plata
repository.mail.fl_str_mv alira@sedici.unlp.edu.ar
_version_ 1844616264503263232
score 13.070432