Study on the fairness of speaker verification systems across accent and gender groups

• Autores: Estevez, Mariel; Ferrer, Luciana
• Año de publicación: 2025
• Idioma: inglés
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; Verificación del hablante; Justicia; Tendencia; Calibración; Speaker verification; Fairness; Bias; Calibration
• Institución: Universidad Nacional de La Plata

Los sistemas de verificación de hablantes (SV) se utilizan actualmente para tareas importantes como el acceso a cuentas bancarias. Es crucial garantizar que estos sistemas sean justos y no perjudiquen a ningún grupo en particular. En este trabajo, analizamos el rendimiento de dos sistemas de SV usando X vectors en grupos definidos por el género y el acento de los hablantes al hablar inglés. Para ello, creamos un nuevo conjunto de datos basado en el corpus de VoxCeleb, seleccionando muestras de hablantes con acentos de diferentes países y lo utilizamos para evaluar el rendimiento de los sistemas de SV entrenados con datos de VoxCeleb. Demostramos que el rendimiento, medido con una métrica sensible a la calibración, se degrada notablemente en los grupos subrepresentados en el entrenamiento y que un enfoque simple de equilibrio de datos mitiga este sesgo indeseable en los grupos minoritarios sin degradar el rendimiento en los grupos mayoritarios.
Speaker verification (SV) systems are currently used for consequential tasks like giving access to bank accounts or making forensic decisions. Ensuring that these systems are fair and do not disfavor any particular group is crucial. In this work, we analyze the performance of two X-vector-based SV systems across groups defined by gender and accent of the speakers when speaking English. To this end, we created a new dataset based on the VoxCeleb corpus by selecting samples from speakers with accents from different countries. We used this dataset to evaluate system performance of SV systems trained with VoxCeleb data. We show that performance, measured with a calibration-sensitive metric, is markedly degraded on groups that are underrepresented in training: females and speakers with non-native accents in English. Finally, we show that a simple data balancing approach mitigates this undesirable bias on the minority groups without degrading performance on the majority groups.
Link al trabajo completo en documentos relacionados.
Sociedad Argentina de Informática e Investigación Operativa