Detección del nivel de confianza en las habilidades de un asistente virtual a partir del habla de la persona

• Autores: Gauder, Lara; Pepino, Leonardo; Riera, Pablo; Brussino, Silvina; Vidal, Jazmín; Gravano, Agustín; Ferrer, Luciana
• Año de publicación: 2025
• Idioma: español castellano
• Tipo de recurso: documento de conferencia
• Materia: Ciencias Informáticas; confianza; procesamiento del habla; interacción humano-computadora; bases de datos de habla; trust; speech processing; human-computer interaction; speech resources
• Institución: Universidad Nacional de La Plata

Trabajos previos han demostrado que la confianza es un aspecto esencial en la interacción humano-computadora, determinando el grado en que una persona utilizará un sistema. La detección automática del nivel de confianza que un usuario tiene hacia un sistema podría permitir respuestas dinámicas para corregir situaciones de desconfianza. En este trabajo exploramos la factibilidad de detectar si el usuario está confiando en las habilidades de un asistente virtual (AV). Para ello, desarrollamos un protocolo novedoso para recolectar datos de habla de personas que interactúan con VAs con distintos niveles de habilidad. Los sujetos deben responder una serie de preguntas de conocimiento general mientras interactúan oralmente con un VA. El mismo es presentado junto con una calificación previamente asignada por otros usuarios como habilidoso o no y, además, responden de manera coherente a la puntuación reportada. El objetivo del protocolo es condicionar a los sujetos a un estado de confianza o desconfianza en las habilidades del VA, considerando que esto afectarán sus formas de habla que podrían ser detectados automáticamente. Recolectamos una base de datos de habla en español rioplatense que está disponible públicamente para fines de investigación. Los resultados obtenidos confirman que el protocolo logró inducir el estado mental deseado en los sujetos. Con los datos recolectados desarrollamos un sistema capaz de detectar la habilidad del VA con el que el sujeto interactuó durante una sesión utilizando características extraídas de las grabaciones de su habla con una precisión de más de 76%. Nuestro análisis sugiere que los sujetos modifican su forma de hablar según si confían o no en sus habilidades.
Research has shown that trust is an essential aspect of human-computer interaction directly determining the degree to which the person is willing to use a system. Automatic detection of the level of trust that a user has in a certain system could be used to enable adaptive responses to correct potential distrust. We aim to explore the feasibility of automatically detecting whether the user trusts the ability of the virtual assistant (VA). We developed a novel protocol for collecting speech data from subjects interacting with VAs with different skill levels. The subject is asked to respond to a series of factual questions while interacting orally with the VA. It is presented as having been previously rated by other users as either competent or incompetent and it answers the subjects' questions consistently to its ability. The goal of the protocol was to induce subjects to either trust or distrust the VA's skills, assuming that this would affect their speech patterns. We collected a speech corpus in Argentine Spanish which is publicly available for research use. Using the collected data, we developed a system to detect the ability of the VA with which a subject interacted during a session, based on the subject's speech patterns, with an accuracy up to 76%, compared to a random baseline of 50%. Our analysis suggests that subjects change the way they speak to the VA depending on whether they perceive it as more or less competent; that is, depending on whether they trust its ability.
Link al trabajo completo en documentos relacionados.
Sociedad Argentina de Informática e Investigación Operativa