Estimadores robustos para el modelo de regresión lineal con datos de alta dimensión

• Autores: Smucler, Ezequiel
• Año de publicación: 2016
• Idioma: inglés
• Tipo de recurso: tesis doctoral
• Colaborador/a o director/a de tesis: Yohai, Víctor J.
• Materia: REGRESION ROBUSTA; M-ESTIMADORES; S-ESTIMADORES; MM-ESTIMADORES; ESTIMADOS DE REGRESION PENALIZADOS; LASSO; MODELOS RALOS; PROPIEDAD ORACULO; MODELOS ESTADISTICOS CON UN NUMERO DE PARAMETROS QUE DIVERGE; ROBUST REGRESSION; M-ESTIMATORS; S-ESTIMATORS; MM-ESTIMATORS; PENALIZED REGRESSION ESTIMATORS; LASSO; SPARSITY; ORACLE PROPERTY; DIMENSION ASYMPTOTICS
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

Los estimadores de regresión penalizados son una herramienta popular para analizar conjuntosde datos ralos y de alta dimensión. Sin embargo, los estimadores de regresión penalizadosdefinidos utilizando funciones de pérdida no acotadas, como la pérdida cuadrática, puedenverse muy afectados por la presencia de observaciones atípicas en la muestra, especialmenteaquellas de alto leverage, y por lo tanto no son robustos. Esta tesis consiste de dos partes. En la primera, proponemos una familia de estimadorespenalizados para la estimación robusta en modelos lineales ralos y de alta dimensión basadosen los MM-estimadores de Yohai (1987). Estudiamos las propiedades asintóticas de estosestimadores en modelos lineales con una cantidad fija de variables predictoras aleatorias. Proponemos un algoritmo para computar una subfamilia de los estimadores propuestos. Lasventajas relativas que ofrecen los estimadores propuestos son demostradas mediante un extensoestudio de simulación y el análisis de un conjunto de datos reales. Esta primer parte estábasada en Smucler and Yohai (2015 b). En la segunda parte, estudiamos las propiedades asintóticas de los estimadores propuestosen modelos lineales con un número de variables predictoras fijas que diverge, dentro delrégimen p << n. Probamos la consistencia de los estimadores asumiendo solo p/n → 0, yque si la función de penalización es elegida convenientemente entonces los estimadores resultantestienen la propiedad oráculo definida en Fan and Li (2001). La misma técnica dedemostración nos permite probar la consistencia y derivar la distribución asintótica de M-estimadoresde regresión definidos utilizando una función de perdida acotada y un estimadorde escala, en modelos lineales con un número de variables predictoras fijas que diverge. Enparticular, probamos la consistencia y derivamos la distribución asintótica de los S-estimadores (Rousseeuw and Yohai (1984)) y MM-estimadores de regresión.
Penalized regression estimators are a popular tool for the analysis of sparse and high-dimensionaldata sets. However, penalized regression estimators defined using unbounded loss functions,such as the quadratic loss, can be very sensitive to the presence of outlying observations,especially high leverage outliers, and hence are not robust. This thesis consists of two parts. In the first one, we propose a family of penalized estimatorsfor robust estimation in sparse and high-dimensional linear models based on the MM-estimators of Yohai (1987). We study the asymptotic properties of these estimators inlinear models with a fixed number of random predictor variables. We propose an algorithm tocompute a subset of this family. The relative advantages of these estimators are demonstratedthrough an extensive simulation study and the analysis of a real high-dimensional data set. This first part is based on Smucler and Yohai (2015 b). In the second part, we study the asymptotic properties of the proposed estimators in linearmodels with a diverging number of fixed predictor variables in the p << n regime. We provethe consistency of the estimators assuming only p/n → 0 and that if the penalty functionis chosen appropriately then the resulting estimators have the oracle property of Fan and Li (2001). The same proof technique allows us to prove the consistency and derive the asymptoticdistribution of regression M-estimators defined using a bounded loss function and an estimateof scale, in linear models with a diverging number of fixed predictor variables. In particular,we prove the consistency and derive the asymptotic distribution of S-estimators (Rousseeuwand Yohai (1984)) and MM-estimators.
Fil: Smucler, Ezequiel. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.