A methodological study of factorization machines - Prillo, Sebastián (2019)
La tarea de un sistema de recomendación es recomendarle a usuarios (tales como un usuario de Netflix, un usuario navegando Amazon, o un usuario escuchando música en Spotify) productos nuevos e interesantes (tales como pel´ıculas nuevas para mirar, productos para comprar, o música para escuchar). Con la llegada del e-commerce, los sistemas de recomendación se han vuelto ubicuos y la investigación en sistemas de recomendación ha prosperado. En este trabajo estudiamos las Máquinas de Factorización (FMs), un modelo de aprendizaje automático que forma parte del estado del arte en problemas de recomendación. Nuestro objetivo es estudiar dos aspectos de las FMs: la simetría de la ecuación del modelo FM, y la viabilidad de parametrizar de forma continua el orden de interacción de las FMs como propuesto en las FMs de orden intermedio. Más en general, en este trabajo tratamos de desarrollar una comprensión más profunda sobre el sesgo inductivo de las FMs. Este trabajo se basa en [1] y complementa la propuesta original con experimentación extensiva y análisis. Con respecto a la asimetría de las FMs, mostramos que esto tiene un impacto no trivial sobre las predicciones de las FMs. Por este motivo, mostramos que ensamblar dos FMs, una entrenada sobre los datos originales y otra entrenada luego de negar el valor de la variable respuesta, puede llevar a mejoras inusualmente grandes de performance (cuando se lo compara con la mejora de performance típicamente observada al ensamblar dos modelos de la misma clase). También consideramos una formulación simétrica de FMs para la cual la estrategia de ensamblado puede ser vista como una estrategia efectiva de regularización. Con respecto a parametrizar de forma continua el orden de interacción de FMs, mostramos que esto puede ser efectivo cuando las FMs se usan como predictor general, en algunos casos obteniendo performance comparable a la de predictores generales estado del arte como los gradient boosted decision trees (GBDTs). Por otra parte, cuando lo utilizamos en el contexto de problemas de recomendación, obtenemos poca o ninguna mejora.