Enhancing The Recommendation of High-impact Rare-event Business News for Professionals with LLM-based Augmentation

• Autores: Bivort Haiek, Felipe; Ankolekar, Anupriya
• Año de publicación: 2025
• Idioma: inglés
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; Recommender Systems; LLMs; Augmentation; Sistemas de recomendación; Aumentación
• Institución: Universidad Nacional de La Plata

Personalized news recommendation has become an essential tool for professionals around the world to keep track of news events matching their interests and alleviate information overload. Beyond personalization, an essential aspect of useful news recommendations for professional use is that they highlight events that are more significant and of higher impact. However, we find that state-of-the-art recommenders struggle to identify and recommend news about significant events. In this paper, we address this gap as follows. To mitigate the relative scarcity of news about significant events, we use an LLM to create a synthetic dataset of significant news seeded from business-relevant news in the MIND dataset. We train four state-of-the-art recommendation models (MINER, UNBERT, UniTRec, Fastformer) with synthetically enhanced versions of a subset of the MIND dataset. We find that this successfully improves the performance of two of the recommendation models on the MIND-large dataset restricted to news about significant events in terms of the MRR, NDCG@5 and Hit@5 metrics and the performance of UNBERT on the AUC metric. The contribution of this paper is three-fold: we highlight news significance as an important aspect of useful news recommendation, we demonstrate the use of generative LLMs to create synthetic datasets for training on rare data and lastly, we demonstrate that augmenting some recommendation models with more significant news improves news recommendation performance on the MIND dataset.
La recomendación personalizada de noticias se ha convertido en una herramienta esencial para que profesionales de todo el mundo puedan mantenerse al tanto de eventos noticiosos que se ajustan a sus intereses y, al mismo tiempo, reducir la sobrecarga de información. Más allá de la personalización, un aspecto clave de las recomendaciones de noticias útiles para uso profesional es que resalten eventos más significativos y de mayor impacto. Sin embargo, encontramos que los sistemas de recomendación más avanzados tienen dificultades para identificar y recomendar noticias sobre eventos significativos. En este artículo, abordamos esta limitación de la siguiente manera. Para mitigar la escasez relativa de noticias sobre eventos significativos, utilizamos un modelo de lenguaje grande (LLM) para crear un conjunto de datos sintético de noticias significativas a partir de noticias relevantes para el ámbito empresarial del conjunto de datos MIND. Entrenamos cuatro modelos de recomendación de ´ultima generación (MINER, UNBERT, Uni-TRec, Fastformer) con versiones mejoradas sintéticamente de un subconjunto del conjunto de datos MIND. Encontramos que esto mejora con éxito el rendimiento de dos de los modelos de recomendación en el conjunto de datos MIND-large, restringido a noticias sobre eventos significativos, en términos de las métricas MRR, NDCG@5 y Hit@5, así como el rendimiento de UNBERT en la métrica AUC. La contribución de este trabajo es triple: destacamos la importancia de la significancia de las noticias como un aspecto clave en la recomendación útil de noticias; demostramos el uso de modelos generativos LLM para crear conjuntos de datos sintéticos que permitan entrenar con datos poco frecuentes; y, finalmente, demostramos que al aumentar algunos modelos de recomendación con noticias más significativas se mejora el rendimiento de la recomendación en el conjunto de datos MIND.
Sociedad Argentina de Informática e Investigación Operativa