Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing

Autores
Mascheroni, Maximiliano Agustín; Irrazábal, Emanuel
Año de publicación
2018
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.
Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.
Facultad de Informática
Materia
Ciencias Informáticas
flaky tests
pruebas no determinísticas
integración continua
despliegue continuo
entrega continua
pruebas de servicios web
continuous integration
continuous deployment
continuous delivery
web service testing
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc/4.0/
Repositorio
SEDICI (UNLP)
Institución
Universidad Nacional de La Plata
OAI Identificador
oai:sedici.unlp.edu.ar:10915/70119
Acceder
id SEDICI_081138717efe7440c86fa0f052a2608e
oai_identifier_str oai:sedici.unlp.edu.ar:10915/70119
network_acronym_str SEDICI
repository_id_str 1329
network_name_str SEDICI (UNLP)
spelling Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service TestingIdentificación de factores clave de éxito para evitar las pruebas automatizadas no determinísticas en servicios RESTMascheroni, Maximiliano AgustínIrrazábal, EmanuelCiencias Informáticasflaky testspruebas no determinísticasintegración continuadespliegue continuoentrega continuapruebas de servicios webcontinuous integrationcontinuous deploymentcontinuous deliveryweb service testingA flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.Facultad de Informática2018-10info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionArticulohttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdf143-152http://sedici.unlp.edu.ar/handle/10915/70119enginfo:eu-repo/semantics/altIdentifier/issn/1666-6038info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.18.e16info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc/4.0/Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-09-17T09:54:00Zoai:sedici.unlp.edu.ar:10915/70119Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-09-17 09:54:00.937SEDICI (UNLP) - Universidad Nacional de La Platafalse
dc.title.none.fl_str_mv Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
Identificación de factores clave de éxito para evitar las pruebas automatizadas no determinísticas en servicios REST
title Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
spellingShingle Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
Mascheroni, Maximiliano Agustín
Ciencias Informáticas
flaky tests
pruebas no determinísticas
integración continua
despliegue continuo
entrega continua
pruebas de servicios web
continuous integration
continuous deployment
continuous delivery
web service testing
title_short Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
title_full Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
title_fullStr Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
title_full_unstemmed Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
title_sort Identifying Key Success Factors in Stopping Flaky Tests in Automated REST Service Testing
dc.creator.none.fl_str_mv Mascheroni, Maximiliano Agustín
Irrazábal, Emanuel
author Mascheroni, Maximiliano Agustín
author_facet Mascheroni, Maximiliano Agustín
Irrazábal, Emanuel
author_role author
author2 Irrazábal, Emanuel
author2_role author
dc.subject.none.fl_str_mv Ciencias Informáticas
flaky tests
pruebas no determinísticas
integración continua
despliegue continuo
entrega continua
pruebas de servicios web
continuous integration
continuous deployment
continuous delivery
web service testing
topic Ciencias Informáticas
flaky tests
pruebas no determinísticas
integración continua
despliegue continuo
entrega continua
pruebas de servicios web
continuous integration
continuous deployment
continuous delivery
web service testing
dc.description.none.fl_txt_mv A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.
Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.
Facultad de Informática
description A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.
publishDate 2018
dc.date.none.fl_str_mv 2018-10
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
Articulo
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://sedici.unlp.edu.ar/handle/10915/70119
url http://sedici.unlp.edu.ar/handle/10915/70119
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/issn/1666-6038
info:eu-repo/semantics/altIdentifier/doi/10.24215/16666038.18.e16
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc/4.0/
Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
dc.format.none.fl_str_mv application/pdf
143-152
dc.source.none.fl_str_mv reponame:SEDICI (UNLP)
instname:Universidad Nacional de La Plata
instacron:UNLP
reponame_str SEDICI (UNLP)
collection SEDICI (UNLP)
instname_str Universidad Nacional de La Plata
instacron_str UNLP
institution UNLP
repository.name.fl_str_mv SEDICI (UNLP) - Universidad Nacional de La Plata
repository.mail.fl_str_mv alira@sedici.unlp.edu.ar
_version_ 1843532363606261760
score 13.000565

Publicaciones similares