Minería de argumentos con aprendizaje profundo y atención

Autores
González, David Ignacio
Año de publicación
2019
Idioma
español castellano
Tipo de recurso
tesis de grado
Estado
versión publicada
Colaborador/a o director/a de tesis
Teruel, Milagro
Descripción
Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2019.
Fil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
En este trabajo agregamos un mecanismo de atención a una red neuronal del estado del arte, que consiste de una red BiLSTM con embeddings de caracteres y una capa de CRF. Este modelo no sólo ha sido previamente aplicado en minería de argumentos, sino en muchas otras tareas de etiquetado de secuencias, como el Reconocimiento de Entidades Nombradas, PoS tagging, chunking, y el reconocimiento de eventos. Se simplificó la red para poder lograr una mejor comparación de resultados, y agregamos dos enfoques distintos del mecanismo de atención, variando las funciones de activación disponibles. Luego se realizaron experimentos y se analizaron los resultados obtenidos para determinar el impacto de la atención en el rendimiento de la red. Los modelos con atención fueron evaluados con un conocido corpus de ensayos persuasivos. El mismo consta de 402 ensayos de estudiantes en inglés, anotados manualmente con componentes argumentativos y sus relaciones. Se observó que el rendimiento de uno de los enfoques del mecanismo de atención superó al modelo sin atención, mientras que el enfoque restante no obtuvo mejoras en el desempeño. De la misma manera se comprobó que las distintas funciones de activación del mecanismo de atención son determinantes para el mismo.
In this paper, we add an attention mechanism to a state-of-the-art neural network, which consists of a BiLSTM with characters embeddings and a CRF layer. This model has not only been previously applied in argument mining, but in many other sequence tagging tasks, such as Named Entity Recognition, PoS tagging, chunking, and event recognition. The network was simplified in order to achieve a better comparison of results, and then two different attention mechanism approaches were added, varying between the availables activation functions. Experiments were then conducted, and the results obtained were analyzed to determine the impact of attention on the network performance. Attention models were evaluated with a well-known persuasive essays corpus. It consists of 402 students essays, manually annotated with argumentative components and their relations. It was observed that the performance of one of the attention mechanism approaches outperformed the no-attention model, while the remaining approach did not result in improvements of performance. Also, we proved that the different activation functions of the attention mechanism are decisive in the network performance.
info:eu-repo/semantics/publishedVersion
Fil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
Materia
Arquitectura computacional
Redes neuronales
Inteligencia artificial
Computing methodologies
Artificial intelligence
Natural language processing
Neural networks
Nivel de accesibilidad
acceso abierto
Condiciones de uso
Repositorio
Repositorio Digital Universitario (UNC)
Institución
Universidad Nacional de Córdoba
OAI Identificador
oai:rdu.unc.edu.ar:11086/15038

id RDUUNC_070214b28faa764581f64e40e4c806ad
oai_identifier_str oai:rdu.unc.edu.ar:11086/15038
network_acronym_str RDUUNC
repository_id_str 2572
network_name_str Repositorio Digital Universitario (UNC)
spelling Minería de argumentos con aprendizaje profundo y atenciónGonzález, David IgnacioArquitectura computacionalRedes neuronalesInteligencia artificialComputing methodologiesArtificial intelligenceNatural language processingNeural networksTesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2019.Fil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.En este trabajo agregamos un mecanismo de atención a una red neuronal del estado del arte, que consiste de una red BiLSTM con embeddings de caracteres y una capa de CRF. Este modelo no sólo ha sido previamente aplicado en minería de argumentos, sino en muchas otras tareas de etiquetado de secuencias, como el Reconocimiento de Entidades Nombradas, PoS tagging, chunking, y el reconocimiento de eventos. Se simplificó la red para poder lograr una mejor comparación de resultados, y agregamos dos enfoques distintos del mecanismo de atención, variando las funciones de activación disponibles. Luego se realizaron experimentos y se analizaron los resultados obtenidos para determinar el impacto de la atención en el rendimiento de la red. Los modelos con atención fueron evaluados con un conocido corpus de ensayos persuasivos. El mismo consta de 402 ensayos de estudiantes en inglés, anotados manualmente con componentes argumentativos y sus relaciones. Se observó que el rendimiento de uno de los enfoques del mecanismo de atención superó al modelo sin atención, mientras que el enfoque restante no obtuvo mejoras en el desempeño. De la misma manera se comprobó que las distintas funciones de activación del mecanismo de atención son determinantes para el mismo.In this paper, we add an attention mechanism to a state-of-the-art neural network, which consists of a BiLSTM with characters embeddings and a CRF layer. This model has not only been previously applied in argument mining, but in many other sequence tagging tasks, such as Named Entity Recognition, PoS tagging, chunking, and event recognition. The network was simplified in order to achieve a better comparison of results, and then two different attention mechanism approaches were added, varying between the availables activation functions. Experiments were then conducted, and the results obtained were analyzed to determine the impact of attention on the network performance. Attention models were evaluated with a well-known persuasive essays corpus. It consists of 402 students essays, manually annotated with argumentative components and their relations. It was observed that the performance of one of the attention mechanism approaches outperformed the no-attention model, while the remaining approach did not result in improvements of performance. Also, we proved that the different activation functions of the attention mechanism are decisive in the network performance.info:eu-repo/semantics/publishedVersionFil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.Teruel, Milagro2019info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/bachelorThesishttp://purl.org/coar/resource_type/c_7a1finfo:ar-repo/semantics/tesisDeGradoapplication/pdfhttp://hdl.handle.net/11086/15038spainfo:eu-repo/semantics/openAccessreponame:Repositorio Digital Universitario (UNC)instname:Universidad Nacional de Córdobainstacron:UNC2025-09-04T12:33:54Zoai:rdu.unc.edu.ar:11086/15038Institucionalhttps://rdu.unc.edu.ar/Universidad públicaNo correspondehttp://rdu.unc.edu.ar/oai/snrdoca.unc@gmail.comArgentinaNo correspondeNo correspondeNo correspondeopendoar:25722025-09-04 12:33:54.51Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdobafalse
dc.title.none.fl_str_mv Minería de argumentos con aprendizaje profundo y atención
title Minería de argumentos con aprendizaje profundo y atención
spellingShingle Minería de argumentos con aprendizaje profundo y atención
González, David Ignacio
Arquitectura computacional
Redes neuronales
Inteligencia artificial
Computing methodologies
Artificial intelligence
Natural language processing
Neural networks
title_short Minería de argumentos con aprendizaje profundo y atención
title_full Minería de argumentos con aprendizaje profundo y atención
title_fullStr Minería de argumentos con aprendizaje profundo y atención
title_full_unstemmed Minería de argumentos con aprendizaje profundo y atención
title_sort Minería de argumentos con aprendizaje profundo y atención
dc.creator.none.fl_str_mv González, David Ignacio
author González, David Ignacio
author_facet González, David Ignacio
author_role author
dc.contributor.none.fl_str_mv Teruel, Milagro
dc.subject.none.fl_str_mv Arquitectura computacional
Redes neuronales
Inteligencia artificial
Computing methodologies
Artificial intelligence
Natural language processing
Neural networks
topic Arquitectura computacional
Redes neuronales
Inteligencia artificial
Computing methodologies
Artificial intelligence
Natural language processing
Neural networks
dc.description.none.fl_txt_mv Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2019.
Fil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
En este trabajo agregamos un mecanismo de atención a una red neuronal del estado del arte, que consiste de una red BiLSTM con embeddings de caracteres y una capa de CRF. Este modelo no sólo ha sido previamente aplicado en minería de argumentos, sino en muchas otras tareas de etiquetado de secuencias, como el Reconocimiento de Entidades Nombradas, PoS tagging, chunking, y el reconocimiento de eventos. Se simplificó la red para poder lograr una mejor comparación de resultados, y agregamos dos enfoques distintos del mecanismo de atención, variando las funciones de activación disponibles. Luego se realizaron experimentos y se analizaron los resultados obtenidos para determinar el impacto de la atención en el rendimiento de la red. Los modelos con atención fueron evaluados con un conocido corpus de ensayos persuasivos. El mismo consta de 402 ensayos de estudiantes en inglés, anotados manualmente con componentes argumentativos y sus relaciones. Se observó que el rendimiento de uno de los enfoques del mecanismo de atención superó al modelo sin atención, mientras que el enfoque restante no obtuvo mejoras en el desempeño. De la misma manera se comprobó que las distintas funciones de activación del mecanismo de atención son determinantes para el mismo.
In this paper, we add an attention mechanism to a state-of-the-art neural network, which consists of a BiLSTM with characters embeddings and a CRF layer. This model has not only been previously applied in argument mining, but in many other sequence tagging tasks, such as Named Entity Recognition, PoS tagging, chunking, and event recognition. The network was simplified in order to achieve a better comparison of results, and then two different attention mechanism approaches were added, varying between the availables activation functions. Experiments were then conducted, and the results obtained were analyzed to determine the impact of attention on the network performance. Attention models were evaluated with a well-known persuasive essays corpus. It consists of 402 students essays, manually annotated with argumentative components and their relations. It was observed that the performance of one of the attention mechanism approaches outperformed the no-attention model, while the remaining approach did not result in improvements of performance. Also, we proved that the different activation functions of the attention mechanism are decisive in the network performance.
info:eu-repo/semantics/publishedVersion
Fil: González, David Ignacio. Universidad Nacional de Córdoba. Facultad de Matemática, Astronomía, Física y Computación; Argentina.
description Tesis (Lic. en Ciencias de la Computación)--Universidad Nacional de Córdoba, Facultad de Matemática, Astronomía, Física y Computación, 2019.
publishDate 2019
dc.date.none.fl_str_mv 2019
dc.type.none.fl_str_mv info:eu-repo/semantics/publishedVersion
info:eu-repo/semantics/bachelorThesis
http://purl.org/coar/resource_type/c_7a1f
info:ar-repo/semantics/tesisDeGrado
status_str publishedVersion
format bachelorThesis
dc.identifier.none.fl_str_mv http://hdl.handle.net/11086/15038
url http://hdl.handle.net/11086/15038
dc.language.none.fl_str_mv spa
language spa
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositorio Digital Universitario (UNC)
instname:Universidad Nacional de Córdoba
instacron:UNC
reponame_str Repositorio Digital Universitario (UNC)
collection Repositorio Digital Universitario (UNC)
instname_str Universidad Nacional de Córdoba
instacron_str UNC
institution UNC
repository.name.fl_str_mv Repositorio Digital Universitario (UNC) - Universidad Nacional de Córdoba
repository.mail.fl_str_mv oca.unc@gmail.com
_version_ 1842349669250760704
score 13.13397