Empirical studies conducted with software collections: a mapping study

Autores
Carruthers, Juan Andrés; Díaz-Pace, Jorge Andrés; Irrazábal, Emanuel Agustín
Año de publicación
2023
Idioma
español castellano
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Software projects are inputs in Evidence-Based Software Engineering, although they are selected without following a specific strategy, which decreases the generalization and replication of the results. One option is to use collections of existing projects, but these must have explicit construction and maintenance rules. The objective of this work was to perform a secondary study on software project selection strategies in empirical studies, and learn about: the rules considered, project characteristics, code metrics, extraction tools and statistical analyses employed. A systematic mapping was used to identify articles from January 2013 to December 2021. We selected 150 studies in which 67% used their own rules for project selection and 31% worked with existing collections, and the majority (80%) used Java projects. Furthermore, there was no evidence of a standardized framework for project selection for empirical studies in Software Engineering.
Los proyectos software son insumos en la Ingeniería del Software Basada en Evidencias, aunque estos sean seleccionados sin seguir una estrategia específica, lo cual disminuye la generalización y replicación de los resultados. Una opción es usar colecciones de proyectos existentes, pero estas deben contar con reglas explícitas de construcción y mantenimiento. El objetivo de este trabajo fue realizar un estudio secundario sistematizado sobre las estrategias de selección de los proyectos software en estudios empíricos, y conocer: las reglas consideradas, las características de los proyectos, las métricas de código, las herramientas de extracción y los análisis estadísticos practicados. Se utilizó un mapeo sistemático para identificar artículos desde enero de 2013 a diciembre de 2021. Se seleccionaron 150 estudios de los cuales el 67% utilizó reglas propias para la selección de los proyectos y el 31% trabajó con colecciones existentes, y la mayoría (80%) empleó proyectos Java. Asimismo, no se encontraron evidencias de un marco estandarizado para la selección de proyectos para estudios empíricos en Ingeniería de Software.
Sociedad Argentina de Informática e Investigación Operativa
Materia
Ciencias Informáticas
Colecciones
Proyectos software
Ingeniería del software basada en evidencia
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc/4.0/
Repositorio
SEDICI (UNLP)
Institución
Universidad Nacional de La Plata
OAI Identificador
oai:sedici.unlp.edu.ar:10915/156924

id SEDICI_2bec537301e4d56bb659bd9810e50f1b
oai_identifier_str oai:sedici.unlp.edu.ar:10915/156924
network_acronym_str SEDICI
repository_id_str 1329
network_name_str SEDICI (UNLP)
spelling Empirical studies conducted with software collections: a mapping studyEstudios empíricos realizados con colecciones de proyectos software: un mapeo sistemáticoCarruthers, Juan AndrésDíaz-Pace, Jorge AndrésIrrazábal, Emanuel AgustínCiencias InformáticasColeccionesProyectos softwareIngeniería del software basada en evidenciaSoftware projects are inputs in Evidence-Based Software Engineering, although they are selected without following a specific strategy, which decreases the generalization and replication of the results. One option is to use collections of existing projects, but these must have explicit construction and maintenance rules. The objective of this work was to perform a secondary study on software project selection strategies in empirical studies, and learn about: the rules considered, project characteristics, code metrics, extraction tools and statistical analyses employed. A systematic mapping was used to identify articles from January 2013 to December 2021. We selected 150 studies in which 67% used their own rules for project selection and 31% worked with existing collections, and the majority (80%) used Java projects. Furthermore, there was no evidence of a standardized framework for project selection for empirical studies in Software Engineering.Los proyectos software son insumos en la Ingeniería del Software Basada en Evidencias, aunque estos sean seleccionados sin seguir una estrategia específica, lo cual disminuye la generalización y replicación de los resultados. Una opción es usar colecciones de proyectos existentes, pero estas deben contar con reglas explícitas de construcción y mantenimiento. El objetivo de este trabajo fue realizar un estudio secundario sistematizado sobre las estrategias de selección de los proyectos software en estudios empíricos, y conocer: las reglas consideradas, las características de los proyectos, las métricas de código, las herramientas de extracción y los análisis estadísticos practicados. Se utilizó un mapeo sistemático para identificar artículos desde enero de 2013 a diciembre de 2021. Se seleccionaron 150 estudios de los cuales el 67% utilizó reglas propias para la selección de los proyectos y el 31% trabajó con colecciones existentes, y la mayoría (80%) empleó proyectos Java. Asimismo, no se encontraron evidencias de un marco estandarizado para la selección de proyectos para estudios empíricos en Ingeniería de Software.Sociedad Argentina de Informática e Investigación Operativa2023-05info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionArticulohttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdf82-107http://sedici.unlp.edu.ar/handle/10915/156924spainfo:eu-repo/semantics/altIdentifier/url/https://publicaciones.sadio.org.ar/index.php/EJS/article/view/469info:eu-repo/semantics/altIdentifier/issn/1514-6774info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc/4.0/Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-09-29T11:40:51Zoai:sedici.unlp.edu.ar:10915/156924Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-09-29 11:40:51.877SEDICI (UNLP) - Universidad Nacional de La Platafalse
dc.title.none.fl_str_mv Empirical studies conducted with software collections: a mapping study
Estudios empíricos realizados con colecciones de proyectos software: un mapeo sistemático
title Empirical studies conducted with software collections: a mapping study
spellingShingle Empirical studies conducted with software collections: a mapping study
Carruthers, Juan Andrés
Ciencias Informáticas
Colecciones
Proyectos software
Ingeniería del software basada en evidencia
title_short Empirical studies conducted with software collections: a mapping study
title_full Empirical studies conducted with software collections: a mapping study
title_fullStr Empirical studies conducted with software collections: a mapping study
title_full_unstemmed Empirical studies conducted with software collections: a mapping study
title_sort Empirical studies conducted with software collections: a mapping study
dc.creator.none.fl_str_mv Carruthers, Juan Andrés
Díaz-Pace, Jorge Andrés
Irrazábal, Emanuel Agustín
author Carruthers, Juan Andrés
author_facet Carruthers, Juan Andrés
Díaz-Pace, Jorge Andrés
Irrazábal, Emanuel Agustín
author_role author
author2 Díaz-Pace, Jorge Andrés
Irrazábal, Emanuel Agustín
author2_role author
author
dc.subject.none.fl_str_mv Ciencias Informáticas
Colecciones
Proyectos software
Ingeniería del software basada en evidencia
topic Ciencias Informáticas
Colecciones
Proyectos software
Ingeniería del software basada en evidencia
dc.description.none.fl_txt_mv Software projects are inputs in Evidence-Based Software Engineering, although they are selected without following a specific strategy, which decreases the generalization and replication of the results. One option is to use collections of existing projects, but these must have explicit construction and maintenance rules. The objective of this work was to perform a secondary study on software project selection strategies in empirical studies, and learn about: the rules considered, project characteristics, code metrics, extraction tools and statistical analyses employed. A systematic mapping was used to identify articles from January 2013 to December 2021. We selected 150 studies in which 67% used their own rules for project selection and 31% worked with existing collections, and the majority (80%) used Java projects. Furthermore, there was no evidence of a standardized framework for project selection for empirical studies in Software Engineering.
Los proyectos software son insumos en la Ingeniería del Software Basada en Evidencias, aunque estos sean seleccionados sin seguir una estrategia específica, lo cual disminuye la generalización y replicación de los resultados. Una opción es usar colecciones de proyectos existentes, pero estas deben contar con reglas explícitas de construcción y mantenimiento. El objetivo de este trabajo fue realizar un estudio secundario sistematizado sobre las estrategias de selección de los proyectos software en estudios empíricos, y conocer: las reglas consideradas, las características de los proyectos, las métricas de código, las herramientas de extracción y los análisis estadísticos practicados. Se utilizó un mapeo sistemático para identificar artículos desde enero de 2013 a diciembre de 2021. Se seleccionaron 150 estudios de los cuales el 67% utilizó reglas propias para la selección de los proyectos y el 31% trabajó con colecciones existentes, y la mayoría (80%) empleó proyectos Java. Asimismo, no se encontraron evidencias de un marco estandarizado para la selección de proyectos para estudios empíricos en Ingeniería de Software.
Sociedad Argentina de Informática e Investigación Operativa
description Software projects are inputs in Evidence-Based Software Engineering, although they are selected without following a specific strategy, which decreases the generalization and replication of the results. One option is to use collections of existing projects, but these must have explicit construction and maintenance rules. The objective of this work was to perform a secondary study on software project selection strategies in empirical studies, and learn about: the rules considered, project characteristics, code metrics, extraction tools and statistical analyses employed. A systematic mapping was used to identify articles from January 2013 to December 2021. We selected 150 studies in which 67% used their own rules for project selection and 31% worked with existing collections, and the majority (80%) used Java projects. Furthermore, there was no evidence of a standardized framework for project selection for empirical studies in Software Engineering.
publishDate 2023
dc.date.none.fl_str_mv 2023-05
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
Articulo
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://sedici.unlp.edu.ar/handle/10915/156924
url http://sedici.unlp.edu.ar/handle/10915/156924
dc.language.none.fl_str_mv spa
language spa
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/url/https://publicaciones.sadio.org.ar/index.php/EJS/article/view/469
info:eu-repo/semantics/altIdentifier/issn/1514-6774
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.format.none.fl_str_mv application/pdf
82-107
dc.source.none.fl_str_mv reponame:SEDICI (UNLP)
instname:Universidad Nacional de La Plata
instacron:UNLP
reponame_str SEDICI (UNLP)
collection SEDICI (UNLP)
instname_str Universidad Nacional de La Plata
instacron_str UNLP
institution UNLP
repository.name.fl_str_mv SEDICI (UNLP) - Universidad Nacional de La Plata
repository.mail.fl_str_mv alira@sedici.unlp.edu.ar
_version_ 1844616280877826048
score 13.070432