Regresión lasso bayesiana. Ajuste de modelos lineales penalizados mediante la asignación de priores normales con mezcla de escala

• Autores: Allasia, María Belén; Branco, Márcia D´Elia; Quaglino, Marta Beatriz
• Año de publicación: 2016
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Data Mining; Regresión penalizada; Selección de variables; Data Mining; Penalized regression; Variable Selection
• Institución: Universidad Nacional de Rosario

Uno de los desafíos más importantes del análisis estadístico en grandes volúmenes de da-tos es identificar aquellas variables que provean información valiosa, haciendo una selección de variables predictoras. La estimación Lasso (Least Absolute Shrinkage and Selection Ope-rator) para el modelo de regresión lineal puede ser interpretada desde el enfoque Bayesiano como la moda a posteriori cuando los coeficientes de regresión tienen distribución priori do-ble exponencial independientes. Al representar dicha distribución como una distribución Normal con mezcla de escala, es factible la construcción de un modelo jerárquico mediante la introducción de un vector de variables latentes, conjugando una distribución priori normal para los parámetros de regresión y prioris exponencial independientes para sus respectivas variancias. Mediante la implementación del algoritmo de simulación de Gibbs a partir de las distribuciones condicionales completas, se obtienen secuencias que permiten estimar cual-quier característica de interés de la distribución a posteriori de manera sencilla. La regresión Lasso Bayesiana tiene una enorme ventaja sobre el método clásico, dado que permite mejo-rar sustancialmente la inferencia, especialmente en el contexto de muchas variables predic-toras
La regresión Lasso Bayesiana es fácil de implementar y permite establecer intervalos de credibilidad para todos los parámetros estimados, incluida la variancia de los errores aleatorios. Al conseguir mediante GS una estimación de la distribución a posteriori de los parámetros, puede calcularse cualquier característica de interés bajo dicha distribución, como la esperanza a posteriori o la moda (� ̂ �����). Esto le otorga una enorme ventaja sobre el método clásico. En algunos casos, los valores de las estimaciones producidos por las regresiones Lasso estándar y bayesiana son muy similares. Dependiendo del método de optimización y si se utilizan o no aproximaciones, ambas estimaciones pueden coincidir. Los mecanismos de elección de � que se proponen para la regresión Lasso Bayesiana, son aplicables para la regresión Lasso clásica y podrían ayudar a simplificar, otorgando mayor objetividad, la elección del mismo. Por otra parte, Casella (2008) muestra algunas extensiones del enfoque bayesiano para las regresiones Lasso y plantea la posibilidad de extender las consideraciones a modelos lineales generalizados, mediante algunas modificaciones metodológicas que no deberían requerir mayor esfuerzo computacional que desde el punto de vista clásico
One of the most important challenges of statistical analysis in big data is to identify those variables that provide valuable information, making a selection of predictor variables. The Lasso (Least Absolute Shrinkage and Selection Operator) estimate for the linear regression model can be interpreted from the Bayesian approach as a posterior mode estimate when the regression parameters have independent double-exponential priors. Representing such distribution as a scale mixture of normals, it is feasible to construct a hierarchical model by introducing a vector of latent variables, with conjugate normal priors for the regression pa-rameters and independent exponential priors on their variances. By implementing the simula-tion Gibbs algorithm from complete conditional distributions, the obtained sequences allow to estimate any characteristic of interest based on the posterior distribution in a simple way. The Bayesian Lasso regression has a huge advantage over conventional methods; it sub-stantially improves inference, especially in the context of many predictor variables
Fil: Fil: Allasia, María Belén - Facultad Ciencias Económicas y Estadística - Universidad Nacional de Rosario - Argentina
Fil: Fil: Allasia, María Belén - Facultad Ciencias Económicas y Estadística - Universidad Nacional de Rosario - Argentina
Fil: Fil: Quaglino, Marta Beatriz - Facultad Ciencias Económicas y Estadística - Universidad Nacional de Rosario - Argentina