Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines

Autores
Cabral, Juan Bautista; Sánchez, Bruno Orlando; Beroiz, Martin Isidro Ramon; Dominguez Romero, Mariano Javier de Leon; Lares Harbin Latorre, Marcelo; Gurovich, Sebastian; Granitto, Pablo Miguel
Año de publicación
2017
Idioma
inglés
Tipo de recurso
artículo
Estado
versión publicada
Descripción
Data processing pipelines represent an important slice of the astronomical software library that include chains of processes that transform raw data into valuable information via data reduction and analysis. In this work we present Corral, a Python framework for astronomical pipeline generation. Corral features a Model-View-Controller design pattern on top of an SQL Relational Database capable of handling: custom data models; processing stages; and communication alerts, and also provides automatic quality and structural metrics based on unit testing. The Model-View-Controller provides concept separation between the user logic and the data models, delivering at the same time multi-processing and distributed computing capabilities. Corral represents an improvement over commonly found data processing pipelines in astronomysince the design pattern eases the programmer from dealing with processing flow and parallelization issues, allowing them to focus on the specific algorithms needed for the successive data transformations and at the same time provides a broad measure of quality over the created pipeline. Corral and working examples of pipelines that use it are available to the community at https://github.com/toros-astro.
Fil: Cabral, Juan Bautista. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Sánchez, Bruno Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Beroiz, Martin Isidro Ramon. University of Texas; Estados Unidos
Fil: Dominguez Romero, Mariano Javier de Leon. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Lares Harbin Latorre, Marcelo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Gurovich, Sebastian. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Granitto, Pablo Miguel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas. Universidad Nacional de Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas; Argentina
Materia
Astroinformatics
Astronomical Pipeline
Design Patterns
Multiprocessing
Software And Its Engineering
Nivel de accesibilidad
acceso abierto
Condiciones de uso
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
Repositorio
CONICET Digital (CONICET)
Institución
Consejo Nacional de Investigaciones Científicas y Técnicas
OAI Identificador
oai:ri.conicet.gov.ar:11336/63575
Acceder
id CONICETDig_1a09c38af18297edecf19c0d9a0cf6f1
oai_identifier_str oai:ri.conicet.gov.ar:11336/63575
network_acronym_str CONICETDig
repository_id_str 3498
network_name_str CONICET Digital (CONICET)
spelling Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelinesCabral, Juan BautistaSánchez, Bruno OrlandoBeroiz, Martin Isidro RamonDominguez Romero, Mariano Javier de LeonLares Harbin Latorre, MarceloGurovich, SebastianGranitto, Pablo MiguelAstroinformaticsAstronomical PipelineDesign PatternsMultiprocessingSoftware And Its Engineeringhttps://purl.org/becyt/ford/2.2https://purl.org/becyt/ford/2Data processing pipelines represent an important slice of the astronomical software library that include chains of processes that transform raw data into valuable information via data reduction and analysis. In this work we present Corral, a Python framework for astronomical pipeline generation. Corral features a Model-View-Controller design pattern on top of an SQL Relational Database capable of handling: custom data models; processing stages; and communication alerts, and also provides automatic quality and structural metrics based on unit testing. The Model-View-Controller provides concept separation between the user logic and the data models, delivering at the same time multi-processing and distributed computing capabilities. Corral represents an improvement over commonly found data processing pipelines in astronomysince the design pattern eases the programmer from dealing with processing flow and parallelization issues, allowing them to focus on the specific algorithms needed for the successive data transformations and at the same time provides a broad measure of quality over the created pipeline. Corral and working examples of pipelines that use it are available to the community at https://github.com/toros-astro.Fil: Cabral, Juan Bautista. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; ArgentinaFil: Sánchez, Bruno Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; ArgentinaFil: Beroiz, Martin Isidro Ramon. University of Texas; Estados UnidosFil: Dominguez Romero, Mariano Javier de Leon. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; ArgentinaFil: Lares Harbin Latorre, Marcelo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; ArgentinaFil: Gurovich, Sebastian. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; ArgentinaFil: Granitto, Pablo Miguel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas. Universidad Nacional de Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas; ArgentinaElsevier Science2017-07info:eu-repo/semantics/articleinfo:eu-repo/semantics/publishedVersionhttp://purl.org/coar/resource_type/c_6501info:ar-repo/semantics/articuloapplication/pdfapplication/pdfhttp://hdl.handle.net/11336/63575Cabral, Juan Bautista; Sánchez, Bruno Orlando; Beroiz, Martin Isidro Ramon; Dominguez Romero, Mariano Javier de Leon; Lares Harbin Latorre, Marcelo; et al.; Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines; Elsevier Science; Astronomy and Computing; 20; 7-2017; 140-1542213-1337CONICET DigitalCONICETenginfo:eu-repo/semantics/altIdentifier/url/http://www.sciencedirect.com/science/article/pii/S2213133717300069info:eu-repo/semantics/altIdentifier/doi/10.1016/j.ascom.2017.07.003info:eu-repo/semantics/openAccesshttps://creativecommons.org/licenses/by-nc-sa/2.5/ar/reponame:CONICET Digital (CONICET)instname:Consejo Nacional de Investigaciones Científicas y Técnicas2025-09-29T09:39:54Zoai:ri.conicet.gov.ar:11336/63575instacron:CONICETInstitucionalhttp://ri.conicet.gov.ar/Organismo científico-tecnológicoNo correspondehttp://ri.conicet.gov.ar/oai/requestdasensio@conicet.gov.ar; lcarlino@conicet.gov.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:34982025-09-29 09:39:54.774CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicasfalse
dc.title.none.fl_str_mv Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
title Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
spellingShingle Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
Cabral, Juan Bautista
Astroinformatics
Astronomical Pipeline
Design Patterns
Multiprocessing
Software And Its Engineering
title_short Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
title_full Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
title_fullStr Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
title_full_unstemmed Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
title_sort Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines
dc.creator.none.fl_str_mv Cabral, Juan Bautista
Sánchez, Bruno Orlando
Beroiz, Martin Isidro Ramon
Dominguez Romero, Mariano Javier de Leon
Lares Harbin Latorre, Marcelo
Gurovich, Sebastian
Granitto, Pablo Miguel
author Cabral, Juan Bautista
author_facet Cabral, Juan Bautista
Sánchez, Bruno Orlando
Beroiz, Martin Isidro Ramon
Dominguez Romero, Mariano Javier de Leon
Lares Harbin Latorre, Marcelo
Gurovich, Sebastian
Granitto, Pablo Miguel
author_role author
author2 Sánchez, Bruno Orlando
Beroiz, Martin Isidro Ramon
Dominguez Romero, Mariano Javier de Leon
Lares Harbin Latorre, Marcelo
Gurovich, Sebastian
Granitto, Pablo Miguel
author2_role author
author
author
author
author
author
dc.subject.none.fl_str_mv Astroinformatics
Astronomical Pipeline
Design Patterns
Multiprocessing
Software And Its Engineering
topic Astroinformatics
Astronomical Pipeline
Design Patterns
Multiprocessing
Software And Its Engineering
purl_subject.fl_str_mv https://purl.org/becyt/ford/2.2
https://purl.org/becyt/ford/2
dc.description.none.fl_txt_mv Data processing pipelines represent an important slice of the astronomical software library that include chains of processes that transform raw data into valuable information via data reduction and analysis. In this work we present Corral, a Python framework for astronomical pipeline generation. Corral features a Model-View-Controller design pattern on top of an SQL Relational Database capable of handling: custom data models; processing stages; and communication alerts, and also provides automatic quality and structural metrics based on unit testing. The Model-View-Controller provides concept separation between the user logic and the data models, delivering at the same time multi-processing and distributed computing capabilities. Corral represents an improvement over commonly found data processing pipelines in astronomysince the design pattern eases the programmer from dealing with processing flow and parallelization issues, allowing them to focus on the specific algorithms needed for the successive data transformations and at the same time provides a broad measure of quality over the created pipeline. Corral and working examples of pipelines that use it are available to the community at https://github.com/toros-astro.
Fil: Cabral, Juan Bautista. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Sánchez, Bruno Orlando. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Beroiz, Martin Isidro Ramon. University of Texas; Estados Unidos
Fil: Dominguez Romero, Mariano Javier de Leon. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Lares Harbin Latorre, Marcelo. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Gurovich, Sebastian. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Astronomía Teórica y Experimental. Universidad Nacional de Córdoba. Observatorio Astronómico de Córdoba. Instituto de Astronomía Teórica y Experimental; Argentina
Fil: Granitto, Pablo Miguel. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas. Universidad Nacional de Rosario. Centro Internacional Franco Argentino de Ciencias de la Información y de Sistemas; Argentina
description Data processing pipelines represent an important slice of the astronomical software library that include chains of processes that transform raw data into valuable information via data reduction and analysis. In this work we present Corral, a Python framework for astronomical pipeline generation. Corral features a Model-View-Controller design pattern on top of an SQL Relational Database capable of handling: custom data models; processing stages; and communication alerts, and also provides automatic quality and structural metrics based on unit testing. The Model-View-Controller provides concept separation between the user logic and the data models, delivering at the same time multi-processing and distributed computing capabilities. Corral represents an improvement over commonly found data processing pipelines in astronomysince the design pattern eases the programmer from dealing with processing flow and parallelization issues, allowing them to focus on the specific algorithms needed for the successive data transformations and at the same time provides a broad measure of quality over the created pipeline. Corral and working examples of pipelines that use it are available to the community at https://github.com/toros-astro.
publishDate 2017
dc.date.none.fl_str_mv 2017-07
dc.type.none.fl_str_mv info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion
http://purl.org/coar/resource_type/c_6501
info:ar-repo/semantics/articulo
format article
status_str publishedVersion
dc.identifier.none.fl_str_mv http://hdl.handle.net/11336/63575
Cabral, Juan Bautista; Sánchez, Bruno Orlando; Beroiz, Martin Isidro Ramon; Dominguez Romero, Mariano Javier de Leon; Lares Harbin Latorre, Marcelo; et al.; Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines; Elsevier Science; Astronomy and Computing; 20; 7-2017; 140-154
2213-1337
CONICET Digital
CONICET
url http://hdl.handle.net/11336/63575
identifier_str_mv Cabral, Juan Bautista; Sánchez, Bruno Orlando; Beroiz, Martin Isidro Ramon; Dominguez Romero, Mariano Javier de Leon; Lares Harbin Latorre, Marcelo; et al.; Corral framework: Trustworthy and fully functional data intensive parallel astronomical pipelines; Elsevier Science; Astronomy and Computing; 20; 7-2017; 140-154
2213-1337
CONICET Digital
CONICET
dc.language.none.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/url/http://www.sciencedirect.com/science/article/pii/S2213133717300069
info:eu-repo/semantics/altIdentifier/doi/10.1016/j.ascom.2017.07.003
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
eu_rights_str_mv openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-sa/2.5/ar/
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Elsevier Science
publisher.none.fl_str_mv Elsevier Science
dc.source.none.fl_str_mv reponame:CONICET Digital (CONICET)
instname:Consejo Nacional de Investigaciones Científicas y Técnicas
reponame_str CONICET Digital (CONICET)
collection CONICET Digital (CONICET)
instname_str Consejo Nacional de Investigaciones Científicas y Técnicas
repository.name.fl_str_mv CONICET Digital (CONICET) - Consejo Nacional de Investigaciones Científicas y Técnicas
repository.mail.fl_str_mv dasensio@conicet.gov.ar; lcarlino@conicet.gov.ar
_version_ 1844613262586413056
score 13.070432

Publicaciones similares