Trust evaluation in virtual software development teams using BERT-based language models
- Autores
- Zapata, Sergio G.; Gallardo, Facundo; Sevilla, Gustavo A.; Torres, Estela; Forradellas Martinez, Raymundo Quilez
- Año de publicación
- 2023
- Idioma
- inglés
- Tipo de recurso
- artículo
- Estado
- versión publicada
- Descripción
- Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.
Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.
Facultad de Informática - Materia
-
Ciencias Informáticas
BERT-based language model
Social software engineering
Trust analysis
Modelo de lenguaje BERT
Ingeniería de software social
Modelo de lenguaje BERT - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- http://creativecommons.org/licenses/by-nc/4.0/
- Repositorio
- Institución
- Universidad Nacional de La Plata
- OAI Identificador
- oai:sedici.unlp.edu.ar:10915/151317
Ver los metadatos del registro completo
id |
SEDICI_028961e3cef9c1061fe28a302a753090 |
---|---|
oai_identifier_str |
oai:sedici.unlp.edu.ar:10915/151317 |
network_acronym_str |
SEDICI |
repository_id_str |
1329 |
network_name_str |
SEDICI (UNLP) |
spelling |
Trust evaluation in virtual software development teams using BERT-based language modelsEvaluación de confianza en equipos virtuales de desarrollo de software usando modelos de lenguajes basados en BERTZapata, Sergio G.Gallardo, FacundoSevilla, Gustavo A.Torres, EstelaForradellas Martinez, Raymundo QuilezCiencias InformáticasBERT-based language modelSocial software engineeringTrust analysisModelo de lenguaje BERTIngeniería de software socialModelo de lenguaje BERTNowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.Facultad de Informática2023-04info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionArticulohttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfhttp://sedici.unlp.edu.ar/handle/10915/151317enginfo:eu-repo/semantics/altIdentifier/issn/1666-6038info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.23.e04info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc/4.0/Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-09-29T11:38:57Zoai:sedici.unlp.edu.ar:10915/151317Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-09-29 11:38:57.851SEDICI (UNLP) - Universidad Nacional de La Platafalse |
dc.title.none.fl_str_mv |
Trust evaluation in virtual software development teams using BERT-based language models Evaluación de confianza en equipos virtuales de desarrollo de software usando modelos de lenguajes basados en BERT |
title |
Trust evaluation in virtual software development teams using BERT-based language models |
spellingShingle |
Trust evaluation in virtual software development teams using BERT-based language models Zapata, Sergio G. Ciencias Informáticas BERT-based language model Social software engineering Trust analysis Modelo de lenguaje BERT Ingeniería de software social Modelo de lenguaje BERT |
title_short |
Trust evaluation in virtual software development teams using BERT-based language models |
title_full |
Trust evaluation in virtual software development teams using BERT-based language models |
title_fullStr |
Trust evaluation in virtual software development teams using BERT-based language models |
title_full_unstemmed |
Trust evaluation in virtual software development teams using BERT-based language models |
title_sort |
Trust evaluation in virtual software development teams using BERT-based language models |
dc.creator.none.fl_str_mv |
Zapata, Sergio G. Gallardo, Facundo Sevilla, Gustavo A. Torres, Estela Forradellas Martinez, Raymundo Quilez |
author |
Zapata, Sergio G. |
author_facet |
Zapata, Sergio G. Gallardo, Facundo Sevilla, Gustavo A. Torres, Estela Forradellas Martinez, Raymundo Quilez |
author_role |
author |
author2 |
Gallardo, Facundo Sevilla, Gustavo A. Torres, Estela Forradellas Martinez, Raymundo Quilez |
author2_role |
author author author author |
dc.subject.none.fl_str_mv |
Ciencias Informáticas BERT-based language model Social software engineering Trust analysis Modelo de lenguaje BERT Ingeniería de software social Modelo de lenguaje BERT |
topic |
Ciencias Informáticas BERT-based language model Social software engineering Trust analysis Modelo de lenguaje BERT Ingeniería de software social Modelo de lenguaje BERT |
dc.description.none.fl_txt_mv |
Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved. Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente. Facultad de Informática |
description |
Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved. |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-04 |
dc.type.none.fl_str_mv |
info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion Articulo http://purl.org/coar/resource_type/c_6501 info:ar-repo/semantics/articulo |
format |
article |
status_str |
publishedVersion |
dc.identifier.none.fl_str_mv |
http://sedici.unlp.edu.ar/handle/10915/151317 |
url |
http://sedici.unlp.edu.ar/handle/10915/151317 |
dc.language.none.fl_str_mv |
eng |
language |
eng |
dc.relation.none.fl_str_mv |
info:eu-repo/semantics/altIdentifier/issn/1666-6038 info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.23.e04 |
dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess http://creativecommons.org/licenses/by-nc/4.0/ Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) |
eu_rights_str_mv |
openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc/4.0/ Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) |
dc.format.none.fl_str_mv |
application/pdf |
dc.source.none.fl_str_mv |
reponame:SEDICI (UNLP) instname:Universidad Nacional de La Plata instacron:UNLP |
reponame_str |
SEDICI (UNLP) |
collection |
SEDICI (UNLP) |
instname_str |
Universidad Nacional de La Plata |
instacron_str |
UNLP |
institution |
UNLP |
repository.name.fl_str_mv |
SEDICI (UNLP) - Universidad Nacional de La Plata |
repository.mail.fl_str_mv |
alira@sedici.unlp.edu.ar |
_version_ |
1844616264503263232 |
score |
13.070432 |