Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
- Autores
- Orellana, Marcos; García, Patricio Santiago; Zambrano Martínez, Jorge Luis; Suppi, Remo
- Año de publicación
- 2024
- Idioma
- español castellano
- Tipo de recurso
- documento de conferencia
- Estado
- versión publicada
- Descripción
- Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
Red de Universidades con Carreras en Informática - Materia
-
Ciencias Informáticas
Ajuste-fino
GPU
LLM
PLN
Sistemas Distribuidos - Nivel de accesibilidad
- acceso abierto
- Condiciones de uso
- http://creativecommons.org/licenses/by-nc-sa/4.0/
- Repositorio
- Institución
- Universidad Nacional de La Plata
- OAI Identificador
- oai:sedici.unlp.edu.ar:10915/178366
Ver los metadatos del registro completo
id |
SEDICI_3a17ecf3c23874547af630098d183e1c |
---|---|
oai_identifier_str |
oai:sedici.unlp.edu.ar:10915/178366 |
network_acronym_str |
SEDICI |
repository_id_str |
1329 |
network_name_str |
SEDICI (UNLP) |
spelling |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergenciasOrellana, MarcosGarcía, Patricio SantiagoZambrano Martínez, Jorge LuisSuppi, RemoCiencias InformáticasAjuste-finoGPULLMPLNSistemas DistribuidosLos grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.Red de Universidades con Carreras en Informática2024-10info:eu-repo/semantics/conferenceObjectinfo:eu-repo/semantics/publishedVersionObjeto de conferenciahttp://purl.org/coar/resource_type/c_5794info:ar-repo/semantics/documentoDeConferenciaapplication/pdf208-217http://sedici.unlp.edu.ar/handle/10915/178366spainfo:eu-repo/semantics/altIdentifier/isbn/978-950-34-2428-5info:eu-repo/semantics/reference/hdl/10915/172755info:eu-repo/semantics/openAccesshttp://creativecommons.org/licenses/by-nc-sa/4.0/Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)reponame:SEDICI (UNLP)instname:Universidad Nacional de La Platainstacron:UNLP2025-09-29T11:47:28Zoai:sedici.unlp.edu.ar:10915/178366Institucionalhttp://sedici.unlp.edu.ar/Universidad públicaNo correspondehttp://sedici.unlp.edu.ar/oai/snrdalira@sedici.unlp.edu.arArgentinaNo correspondeNo correspondeNo correspondeopendoar:13292025-09-29 11:47:28.794SEDICI (UNLP) - Universidad Nacional de La Platafalse |
dc.title.none.fl_str_mv |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
title |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
spellingShingle |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias Orellana, Marcos Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos |
title_short |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
title_full |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
title_fullStr |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
title_full_unstemmed |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
title_sort |
Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias |
dc.creator.none.fl_str_mv |
Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo |
author |
Orellana, Marcos |
author_facet |
Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo |
author_role |
author |
author2 |
García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo |
author2_role |
author author author |
dc.subject.none.fl_str_mv |
Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos |
topic |
Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos |
dc.description.none.fl_txt_mv |
Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras. Red de Universidades con Carreras en Informática |
description |
Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras. |
publishDate |
2024 |
dc.date.none.fl_str_mv |
2024-10 |
dc.type.none.fl_str_mv |
info:eu-repo/semantics/conferenceObject info:eu-repo/semantics/publishedVersion Objeto de conferencia http://purl.org/coar/resource_type/c_5794 info:ar-repo/semantics/documentoDeConferencia |
format |
conferenceObject |
status_str |
publishedVersion |
dc.identifier.none.fl_str_mv |
http://sedici.unlp.edu.ar/handle/10915/178366 |
url |
http://sedici.unlp.edu.ar/handle/10915/178366 |
dc.language.none.fl_str_mv |
spa |
language |
spa |
dc.relation.none.fl_str_mv |
info:eu-repo/semantics/altIdentifier/isbn/978-950-34-2428-5 info:eu-repo/semantics/reference/hdl/10915/172755 |
dc.rights.none.fl_str_mv |
info:eu-repo/semantics/openAccess http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) |
eu_rights_str_mv |
openAccess |
rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) |
dc.format.none.fl_str_mv |
application/pdf 208-217 |
dc.source.none.fl_str_mv |
reponame:SEDICI (UNLP) instname:Universidad Nacional de La Plata instacron:UNLP |
reponame_str |
SEDICI (UNLP) |
collection |
SEDICI (UNLP) |
instname_str |
Universidad Nacional de La Plata |
instacron_str |
UNLP |
institution |
UNLP |
repository.name.fl_str_mv |
SEDICI (UNLP) - Universidad Nacional de La Plata |
repository.mail.fl_str_mv |
alira@sedici.unlp.edu.ar |
_version_ |
1844616338275827712 |
score |
13.070432 |