Redes neuronales artificiales - Repetur, Ariel Emiliano (2019)
Nuestra primera implementación del perceptrón multicapa mostró un rendimiento inicial aceptable para el problema de clasificación de dígitos escritos a mano, pero también mostró cierta sensibilidad a las condiciones iniciales y lentitud durante el proceso de aprendizaje. En este contexto, el reemplazo de la función costo cuadrático por la entropía cruzada nos brindó una mejora importante en la velocidad del entrenamiento. Otro aspecto que probo ser muy importante para mejorar el aprendizaje de la red fue la elección de un método apropiado para inicializar los parámetros. Esto, combinado con la utilización de las unidades tanh, nos permitió obtener resultados muy superiores a los iniciales, tanto en la velocidad del entrenamiento como en la exactitud nal, superior al 98 %. En lo que respecta a la elección de las unidades ocultas y de salida, también se examinaron otras posibilidades, como son las unidades ReLU y softmax, pero no se observaron mejoras substanciales para nuestro problema. Finalmente se logro una mejora notable en el rendimiento al cambiar la arquitectura, empleando una red neuronal convolucional. Este tipo de redes funcionan particularmente bien cuando son aplicadas a imágenes, ya que su arquitectura tiene en cuenta la estructura espacial de los datos que se procesan. El resultado fue una exactitud del 99 %, superando las barreras que nos detenían con la arquitectura utilizada previamente. Incluso es factible mejorar estos resultados aun mas combinando tecnicas de regularizacion como dropout y aumento de datos, las cuales han sido utilizadas con éxito para obtener exactitudes superiores al 99:5 %. En la actualidad las redes convolucionales se utilizan ampliamente en el campo de visión artificial, aplicadas a tareas como clasificación, reconocimiento de objetos en imagenes y subtitulado de imágenes. Las arquitecturas se han vuelto cada vez mas profundas, con algunas de las mas recientes superando las 100 capas. El aumento de la profundidad, junto con algunas mejoras sobre la red convolucional básica, han permitido atacar problemas cada vez más complejos. En este sentido, lo logrado con el conjunto MNIST representa apenas la punta del iceberg en t erminos de las capacidades de este tipo de esquemas. Uno de los desafíos mas populares hoy en día en el reconocimiento visual de objetos es el provisto por ImageNet. Este conjunto contiene mas de 14 millones de imágenes de diversos objetos y 20000 categorías con las que clasi carlos. En 2012 se dio un paso importante en este problema con la introducción de la AlexNet, que logro reducir el error al 15%. Desde entonces se han logrado mejoras cada año, obteniendo desde el 2017 una exactitud por encima del 95 %, e incluso esto no es mas que solo un pequeño vistazo al panorama actual. Mas allá de las redes neuronales convolucionales existen otras arquitecturas que no han sido vistas en este trabajo, como pueden ser las redes neuronales recursivas o los autoencoders, por mencionar algunas. Estas se aplican en diversos campos, como puede ser en el reconocimiento de voz, el diagnostico de enfermedades, la predicción de tendencias, el catalogado de contenido, la publicidad dirigida, etc. Se puede apreciar que el panorama de aplicaciones para las redes neuronales es amplio y variado, y este trabajo no es mas que una mirada sobre algunas de las ideas sobre las que se funda el campo de deep learning, sirviendo de base para la exploración de técnicas mas avanzadas que permitan la resolución de problemas mas complejos.