Towards more efficient initialization methods for Convolutional Neural Networks via K-Means and Principal Components

• Autores: Rabinovich, Federico; Ronchetti, Franco; Quiroga, Facundo Manuel
• Año de publicación: 2025
• Idioma: inglés
• Tipo de recurso: artículo
• Materia: Ciencias Informáticas; Clustering,; Convolutional Neural Networks,; Initialization,; K-Means,; Principal Components.; Agrupamiento no supervisado; Componentes principales; Inicialización; K-Medias; Redes Neuronales Convolucionales
• Institución: Universidad Nacional de La Plata

This paper presents an exploration of unsupervised methods for initializing and training filters in convolutional layers, aiming to reduce the dependency on labeled data and computational resources. We propose two unsupervised methods based on the distribution of input data and evaluate their performance against traditional Glorot Uniform initialization. By initializing solely the initial layer of a basic CNN network with one of our proposed methods, we attained a 0.78% enhancement in final accuracy compared to traditional Glorot Uniform initialization. Our findings suggest that these unsupervised methods could serve as effective alternatives for filter initialization, potentially leading to more efficient training processes and a better understanding of CNNs.
Este artículo presenta una exploración de métodos no supervisados para la inicialización y el entrenamiento de filtros en capas convolucionales, con el objetivo de reducir la dependencia de datos etiquetados y recursos computacionales. Proponemos dos métodos no supervisados basados en la distribución de los datos de entrada y evaluamos su rendimiento en comparación con la inicialización Glorot Uniform tradicional. Al inicializar únicamente la capa inicial de una red CNN básica con uno de nuestros métodos propuestos, logramos una mejora del 0.78% en la precisión final en comparación con la inicialización Glorot Uniform tradicional. Nuestros hallazgos sugieren que estos métodos no supervisados podrían servir como alternativas efectivas para la inicialización de filtros, lo que podría llevar a procesos de entrenamiento más eficientes y a una mejor comprensión de las redes convolucionales.
Facultad de Informática