Proceso de agregación para estudios experimentales en ingenieria del software

• Autores: Fernández, Enrique
• Año de publicación: 2012
• Idioma: español castellano
• Tipo de recurso: tesis doctoral
• Colaborador/a o director/a de tesis: Dieste, Oscar; García Martínez, Ramón; Pesado, Patricia Mabel
• Materia: Ciencias Informáticas; Ingeniería de software; Agregación; Meta-análisis
• Institución: Universidad Nacional de La Plata

Antecedentes: Si bien el Meta-Análisis o agregación de estudios experimentales no es un tema nuevo en Ingeniería del Software, la práctica actual deriva sus recomendaciones exclusivamente de la medicina, ciencia que en muchos aspectos dista bastante del contexto actual de la Ingeniería del Software (IS). En general los experimentos en medicina contienen muchos sujetos. Asimismo, es frecuente la realización de replicaciones. En estas circunstancias, las técnicas de Meta-Análisis utilizadas, en especial las diferencias medias ponderadas, son fiables. Objetivo: Desarrollar un proceso de agregación propio para la Ingeniería del Software, tomando en cuenta en las características específicas de los experimentos realizados en esta área de la ciencia. Método: Para poder construir el procedimiento de agregación, se han identificado los principales problemas para realizar un trabajo de esta naturaleza en Ingeniería del Software; se ha evaluado y analizado como trabajan en otras ramas de la ciencias (como son, por ejemplo, las ciencias sociales o la ecología); se han identificado técnicas de agregación alternativas a la que habitualmente se utiliza en Ingeniería del Software; se ha evaluado el desempeño de estas técnicas en contextos como el que presenta la Ingeniería del Software mediante un procesos de simulación, estableciendo los niveles de exactitud y potencia empírica de cada una de ellas; y se han definido un conjunto de heurísticas para poder determinar con que técnica de Meta-Análisis combinar los resultados de los experimentos identificados, para generar así una conclusión en base a la mejor evidencia disponible. Resultados: Se han identificado tres técnicas de Meta-Análisis nuevas para la IS: Ratio de Respuesta Paramétrico, Ratio de Respuesta no Paramétrico y Conteo de Votos Estadístico. Se ha determinado como es el comportamiento de estas técnicas y la técnica Diferencias Medias Ponderadas, evaluando su exactitud y potencia empírica, en función del tamaño de Meta-Análisis (cantidad de experimentos y sujetos por experimentos), el tamaño de efecto y los niveles de varianza. Finalmente, se ha desarrollado un proceso de agregación de experimentos acorde al contexto experimental de la IS. Conclusiones: El proceso de agregación desarrollado permite aprovechar mejor las evidencias empíricas disponibles en el contexto de la IS, permitiendo agregar experimentos con falencias de reporte. Si bien mediante los trabajos de simulación se ha establecido como es el comportamiento de las técnicas de agregación a nivel general, no se cuenta con la suficiente precisión como para determinar con exactitud cuál es el nivel de error de las mismas para todas las posibles combinaciones de tamaños de experimentos.
Doctor en Ciencias Informáticas
Universidad Nacional de La Plata
Facultad de Informática