Ranking de dimensiones en vectores densos para recuperacón eficiente

• Autores: Delvechio, Tomás; Ríssola, Esteban A.; Tolosa, Gabriel Hernán
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; vectores densos; neural IR; ranking de dimensiones; eficiencia; dense vectors; dimenons ranking; efficiency
• Institución: Universidad Nacional de La Plata

La Recuperación de Información sobre colecciones de millones de documentos es una tarea computacionalmente intensiva. La aparición de representaciones densas (embeddings) posibilita construir vectores de centenas de dimensiones, convirtiendo al  problema de resolver una consulta en una búsqueda de vectores más cercanos. Como es razonable considerar que no todas las dimensiones de estos embeddings son igualmente importantes, se propone rankear la importancia de las mismas para facilitar su poda seg´ún un requerimiento de efectividad objetivo. En este trabajo se evalúan diversos métodos para la poda. A partir de modelos ampliamente utilizados para generar embeddings y una colección de documentos y consultas de referencia en la comunidad, los experimentos muestran que es posible reducir el tamaño de los vectores hasta un 50% manteniendo hasta un 90% de efectividad, mejorando así la eficiencia.
Information retrieval over collections of millions of documents is a computationally intensive task. The emergence of dense representations (embeddings) enables the construction of vectors with hundreds of dimensions shifting the retrieval task into a nearest-neighbour vector search problem. We hypothesize that not all the embedding dimensions are equally important for the retrieval task and, therefore some could be pruned. In this paper, we propose to rank embedding dimensions based on their importance and evaluate different pruning methods following an objective effectiveness requirement.Based on widely used models for generating embeddings and well-known document collections, our experiments show that it is possible to reduce the size of vectors by up to 50% while maintaining the effectiveness of up to 90 %, thus improving efficiency.
Sociedad Argentina de Informática e Investigación Operativa