Evaluación empírica de una metodología para la automatización de la medición del tamaño funcional del software.

Estado: 
Finalizado
Número de proyecto: 
834-B8-A27
Vigencia:
De 01/Mar/2018 hasta 28/Feb/2021

Objetivo:

Evaluar empíricamente tres herramientas prototipo de la metodología aFPA para la automatización de la medición del tamaño funcional del software.


Descripción:

Este proyecto tiene como objetivo evaluar empíricamente la metodología para la automatización de la medición del tamaño funcional del software (aFPA). En particular, la metodología de medición aFPA, propuesta como parte de la tesis de doctorado de Cristian Quesada López, se compone de tres procedimientos: medición automática de tamaño funcional, verificación automática de la exactitud de las mediciones de tamaño funcional y evaluación comparativa de modelos de estimación para el aprovechamiento de los resultados de la medición de tamaño funcional.

Este proyecto incluye la evaluación de los tres procedimientos y las herramientas prototipo de soporte. Los métodos empíricos de evaluación que se usaran son los de la ingeniería de software empírica incluyendo casos de estudio y cuasi-experimentos.

Durante las evaluaciones empíricas realizadas en la tesis de Cristian Quesada López se obtuvieron resultados prometedores y se determinaron oportunidades de mejora.

Se requiere realizar nuevas investigaciones empíricas y mejorar los prototipos de la metodología aFPA. Asimismo, se requieren nuevos casos de estudio, incluyendo la evaluación de aplicaciones reales de la industria. El proyecto realiza nuevos estudios empíricos de una de las líneas de investigación del Grupo de Investigación de Ingeniería de Software Empírica de la ECCI y se deriva de algunos de los trabajos futuros de la Tesis de Doctorado de Cristian Quesada López.

Asimismo, incluye los trabajos futuros mencionados en los TFIAs de maestría de Denisse Madrigal y Luis Carlos Salas que fueron colaboradores del Grupo de Investigación y participaron en algunas de las investigaciones realizadas en la tesis de doctorado mencionada anteriormente. Este proyecto desarrollará experticia en el tema de medición de tamaño funcional, estimación del esfuerzo del software y metodologías de la ingeniería de software empírica. El conocimiento generado será socializado mediante artículos científicos y puede ser aprovechado para los cursos y electivas relacionados con la Ingeniería de software en la ECCI y los cursos de métricas, medición, estimación, ingeniería de software empírica en el PCI. Finalmente, con el proyecto de investigación buscamos incidir en la industria de software nacional generando evidencia sobre la implementación de algunas de estas metodologías.

Impacto del proyecto:

Desde la perspectiva del impacto en el CITIC y la ECCI – UCR, este proyecto permitirá que los profesores e investigadores del CITIC y la ECCI desarrollen y mejoren su experticia en el tema de la medición del tamaño funcional del software y de la ingeniería de software empírica. Esto permitirá mediante las investigaciones en el área generar conocimiento y nueva evidencia, además de generar temas para TFIAs, tesis y nuevos proyectos de investigación. Adicionalmente, este proyecto permitirá seguir consolidando el Grupo de Investigación en Ingeniería de Software Experimental de la UCR. También se potenciarán y mantendrán activas las colaboraciones con grupos de investigación locales (ITCR y la UNA) y en el extranjero, como el grupo de investigación del Dr. Oscar Pastor en Valencia, la Dra. Laurie Williams en Carolina del Norte y Dr. Guilherme Travassos en Rio de Janeiro.

Desde la perspectiva del impacto en la docencia (ECCI) se espera que los resultados de esta investigación contribuyan a retroalimentar (actualizar, mejorar) los cursos de grado y posgrado relacionados con la ingeniería del software. Asimismo, se desarrolla un vínculo externo con la industria de software nacional, específicamente, con Grupo Asesor S.A. con el cual se ha colaborado mediante el TFIA de Luis Carlos Salas y quien se encuentra interesado en el proyecto.

Investigador principal
Dr. Christian Quesada-López

Colaboradores
Dr. Marcelo Jenkins Coronas
Denisse Madrigal Sánchez
Luis Carlos Salas Villalobos
Leonardo Villalobos Arias
Bach. Sivana Alexa Hamer Campos
Dr. Christian Quesada-López

Unidad académica base
Centro de Investigaciones en Tecnologías de la Información y Comunicación (CITIC)

Unidades académicas colaboradoras
Escuela de Ciencias de la Computación e Informática (ECCI)

Publicaciones asociadas

Automated Functional Size Measurement: A Multiple Case Study in the Industry

Nov
2019

Descripción:

Automating functional size measurement (FSM) for software applications that use specific development frameworks is a challenge for the industry. Although FSM automation brings benefits such as savings in time and costs, and better measure reliability, it is difficult to implement. In this paper, we present a multi-case study that evaluates the accuracy of an automated procedure for software size estimation in the context of a software development company. This procedure is implemented by a tool called FastWorks FPA, which obtains the IFPUG FPA function point estimation of software applications modeled in the company’s FastWorks framework. We describe the measurement process used by the tool, and discuss the results of the case studies. The accuracy (magnitude of relative error) of the measurements computed by the tool ranged between 3.9% and 12.9%, based on the total unadjusted function points. These results provide evidence for the feasibility of automating the counting process, as the tool’s estimated functional size reasonably approximates the result of specialists’ manual counting.

Tipo de publicación: Conference Paper

Publicado en: Product-Focused Software Process Improvement

Técnicas de ajuste de hiperparámetros de algoritmos de aprendizaje automático para la estimación de esfuerzo: un mapeo de literatura

Feb
2021

Descripción:

Distintos algoritmos de aprendizaje automático (ML) han sido utilizados para apoyar los procesos de estimación de esfuerzo de desarrollo del software (EES). Sin embargo, el desempeño de estos algoritmos puede verse impactado por varios factores, uno de los cuales es la escogencia de los hiperparámetros. En los últimos años, el ajuste de hiperparámetros ha surgido como un área de investigación de interés para la EES que busca optimizar el desempeño de los modelos de ML. En este trabajo, realizamos un mapeo sistemático de literatura para caracterizar las técnicas de ajuste automático de hiperparámetros de algoritmos de ML utilizados en el contexto de la EES. Presentamos los resultados de 67 estudios identificados entre el 2010 y el 2019 y clasificamos las técnicas de ajuste de hiperparámetros, los algoritmos de ML y los conjuntos de datos dónde se han aplicado. Asimismo, reportamos los retos reportados como mapa de ruta para futuras investigaciones en el área.

Tipo de publicación: Journal Article

Publicado en: Revista Ibérica de Sistemas e Tecnologias de Informação

Evaluating hyper-parameter tuning using random search in support vector machines for software effort estimation

Nov
2020

Descripción:

Studies in software effort estimation (SEE) have explored the use of hyper-parameter tuning for machine learning algorithms (MLA) to improve the accuracy of effort estimates. In other contexts random search (RS) has shown similar results to grid search, while being less computationally-expensive. In this paper, we investigate to what extent the random search hyper-parameter tuning approach affects the accuracy and stability of support vector regression (SVR) in SEE. Results were compared to those obtained from ridge regression models and grid search-tuned models. A case study with four data sets extracted from the ISBSG 2018 repository shows that random search exhibits similar performance to grid search, rendering it an attractive alternative technique for hyper-parameter tuning. RS-tuned SVR achieved an increase of 0.227 standardized accuracy (SA) with respect to default hyper-parameters. In addition, random search improved prediction stability of SVR models to a minimum ratio of 0.840. The analysis showed that RS-tuned SVR attained performance equivalent to GS-tuned SVR. Future work includes extending this research to cover other hyper-parameter tuning approaches and machine learning algorithms, as well as using additional data sets.

Tipo de publicación: Conference Paper

Publicado en: Proceedings of the 16th ACM International Conference on Predictive Models and Data Analytics in Software Engineering

Hyper-Parameter Tuning of Classification and Regression Trees for Software Effort Estimation

Mar
2021

Descripción:

Classification and regression trees (CART) have been reported to be competitive machine learning algorithms for software effort estimation. In this work, we analyze the impact of hyper-parameter tuning on the accuracy and stability of CART using the grid search, random search, and DODGE approaches. We compared the results of CART with support vector regression (SVR) and ridge regression (RR) models. Results show that tuning improves the performance of CART models up to a maximum of 0.153 standardized accuracy and reduce its stability radio to a minimum of 0.819. Also, CART proved to be as competitive as SVR and outperformed RR.

Tipo de publicación: Book Chapter

Publicado en: Advances in Intelligent Systems and Computing

Derechos reservados © 2024 Universidad de Costa RIca