A methodological study of factorization machines

• Autores: Prillo, Sebastián
• Año de publicación: 2019
• Idioma: inglés
• Tipo de recurso: tesis de grado
• Colaborador/a o director/a de tesis: Lombardi, Leandro Ezequiel
• Materia: APRENDIZAJE AUTOMATICO; SISTEMAS DE RECOMENDACION; MAQUINAS DE FACTORIZACION; FACTORIZACION DE MATRICES; KERNEL ANOVA; MACHINE LEARNING; RECOMMENDER SYSTEMS; FACTORIZATION MACHINES; MATRIX FACTORIZATION; ANOVA KERNEL
• Institución: Universidad Nacional de Buenos Aires. Facultad de Ciencias Exactas y Naturales

La tarea de un sistema de recomendación es recomendarle a usuarios (tales como un usuario de Netflix, un usuario navegando Amazon, o un usuario escuchando música en Spotify) productos nuevos e interesantes (tales como pel´ıculas nuevas para mirar, productos para comprar, o música para escuchar). Con la llegada del e-commerce, los sistemas de recomendación se han vuelto ubicuos y la investigación en sistemas de recomendación ha prosperado. En este trabajo estudiamos las Máquinas de Factorización (FMs), un modelo de aprendizaje automático que forma parte del estado del arte en problemas de recomendación. Nuestro objetivo es estudiar dos aspectos de las FMs: la simetría de la ecuación del modelo FM, y la viabilidad de parametrizar de forma continua el orden de interacción de las FMs como propuesto en las FMs de orden intermedio. Más en general, en este trabajo tratamos de desarrollar una comprensión más profunda sobre el sesgo inductivo de las FMs. Este trabajo se basa en [1] y complementa la propuesta original con experimentación extensiva y análisis. Con respecto a la asimetría de las FMs, mostramos que esto tiene un impacto no trivial sobre las predicciones de las FMs. Por este motivo, mostramos que ensamblar dos FMs, una entrenada sobre los datos originales y otra entrenada luego de negar el valor de la variable respuesta, puede llevar a mejoras inusualmente grandes de performance (cuando se lo compara con la mejora de performance típicamente observada al ensamblar dos modelos de la misma clase). También consideramos una formulación simétrica de FMs para la cual la estrategia de ensamblado puede ser vista como una estrategia efectiva de regularización. Con respecto a parametrizar de forma continua el orden de interacción de FMs, mostramos que esto puede ser efectivo cuando las FMs se usan como predictor general, en algunos casos obteniendo performance comparable a la de predictores generales estado del arte como los gradient boosted decision trees (GBDTs). Por otra parte, cuando lo utilizamos en el contexto de problemas de recomendación, obtenemos poca o ninguna mejora.
The task of a recommender system is to recommend to users (such as a Netflix user, a user browsing on Amazon, or a user listening to music on Spotify) interesting, novel products (such as new movies to watch, products to purchase, or music to listen to). With the advent of e-commerce, recommender systems have become ubiquitous and research on recommender systems has thrived. In this work we study Factorization Machines (FMs), a state-of-the-art machine learning model which excels at recommendation problems. Our goal is to study two aspects of FMs: the asymmetry of the FM model equation, and the viability of continuously parameterizing the interaction order in FMs as proposed by Intermediate-Order FMs. More generally, in this work we try to develop a deeper understanding about the inductive bias of FMs. This work is based on [1] and complements the original proposal with thorough experimentation and analysis. Regarding the asymmetry of FMs, we show that it has a non-trivial impact on the predictions of FMs. Because of this, we show that ensembling two FMs, one trained on the original data and another trained after reversing the value of the response variable, can lead to unusually large performance improvements (when compared to the performance improvement typically observed by ensembling two models from the same model family). We consider a symmetric formulation of FMs for which the ensemble strategy can be seen as an effective regularization technique. Regarding continuously parameterizing the interaction order in FMs, we show that this can be effective when FMs are used as a general predictor, in some cases nearing the performance of state-of-the-art general predictors such as gradient boosted decision trees. On the other hand, when used in the context of recommendation problems, we obtain little to no improvement.
Fil: Prillo, Sebastián. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina.