Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias

Autores
Orellana, Marcos; García, Patricio Santiago; Zambrano Martínez, Jorge Luis; Suppi, Remo
Año de publicación
2024
Idioma
español castellano
Tipo de recurso
documento de conferencia
Estado
versión publicada
Descripción
Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
Red de Universidades con Carreras en Informática
Materia
Ciencias Informáticas
Ajuste-fino
GPU
LLM
PLN
Sistemas Distribuidos
Nivel de accesibilidad
acceso abierto
Condiciones de uso
http://creativecommons.org/licenses/by-nc-sa/4.0/
Repositorio
SEDICI (UNLP)
Institución
Universidad Nacional de La Plata
OAI Identificador
oai:sedici.unlp.edu.ar:10915/178366
Acceder
id SEDICI_3a17ecf3c23874547af630098d183e1c
oai_identifier_str oai:sedici.unlp.edu.ar:10915/178366
network_acronym_str SEDICI
repository_id_str 1329
network_name_str SEDICI (UNLP)
spelling Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergenciasOrellana, MarcosGarcía, Patricio SantiagoZambrano Martínez, Jorge LuisSuppi, RemoCiencias InformáticasAjuste-finoGPULLMPLNSistemas DistribuidosLos grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.Red de Universidades con Carreras en Informática2024-10info:eu-repo/semantics/conferenceObjectinfo:eu-repo/semantics/publishedVersionObjeto de conferenciahttp://purl.org/coar/resource_type/c_5794info:ar-repo/semantics/documentoDeConferenciaapplication/pdf208-217http://sedici.unlp.edu.ar/handle/10915/178366spainfo:eu-repo/semantics/altIdentifier/isbn/978-950-34-2428-5info:eu-repo/semantics/reference/hdl/10915/172755info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-sa/4.0/Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-10-22T17:28:19Zoai:sedici.unlp.edu.ar:10915/178366Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-10-22 17:28:19.614SEDICI (UNLP) - Universidad Nacional de La Platafalse
dc.title.none.fl_str_mv Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
spellingShingle Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
Orellana, Marcos
Ciencias Informáticas
Ajuste-fino
GPU
LLM
PLN
Sistemas Distribuidos
title_short Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_full Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_fullStr Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_full_unstemmed Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_sort Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
dc.creator.none.fl_str_mv Orellana, Marcos
García, Patricio Santiago
Zambrano Martínez, Jorge Luis
Suppi, Remo
author Orellana, Marcos
author_facet Orellana, Marcos
García, Patricio Santiago
Zambrano Martínez, Jorge Luis
Suppi, Remo
author_role author
author2 García, Patricio Santiago
Zambrano Martínez, Jorge Luis
Suppi, Remo
author2_role author
author
author
dc.subject.none.fl_str_mv Ciencias Informáticas
Ajuste-fino
GPU
LLM
PLN
Sistemas Distribuidos
topic Ciencias Informáticas
Ajuste-fino
GPU
LLM
PLN
Sistemas Distribuidos
dc.description.none.fl_txt_mv Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
Red de Universidades con Carreras en Informática
description Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
publishDate 2024
dc.date.none.fl_str_mv 2024-10
dc.type.none.fl_str_mv info:eu-repo/semantics/conferenceObject
info:eu-repo/semantics/publishedVersion
Objeto de conferencia
http://purl.org/coar/resource_type/c_5794
info:ar-repo/semantics/documentoDeConferencia
format conferenceObject
status_str publishedVersion
dc.identifier.none.fl_str_mv http://sedici.unlp.edu.ar/handle/10915/178366
url http://sedici.unlp.edu.ar/handle/10915/178366
dc.language.none.fl_str_mv spa
language spa
dc.relation.none.fl_str_mv info:eu-repo/semantics/altIdentifier/isbn/978-950-34-2428-5
info:eu-repo/semantics/reference/hdl/10915/172755
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)
eu_rights_str_mv openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-sa/4.0/
Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)
dc.format.none.fl_str_mv application/pdf
208-217
dc.source.none.fl_str_mv reponame:SEDICI (UNLP)
instname:Universidad Nacional de La Plata
instacron:UNLP
reponame_str SEDICI (UNLP)
collection SEDICI (UNLP)
instname_str Universidad Nacional de La Plata
instacron_str UNLP
institution UNLP
repository.name.fl_str_mv SEDICI (UNLP) - Universidad Nacional de La Plata
repository.mail.fl_str_mv alira@sedici.unlp.edu.ar
_version_ 1846783766761046016
score 12.982451

Publicaciones similares