Assessment of data augmentation techniques with synthetic images in uncommon datasets cases

Abstract

El siguiente trabajo final se centra en el área de la Computer Vision (CV) haciendo foco en el uso de imágenes y en los problemas de clasificación relacionados con ellas. Se propone la generación de datos sintéticos a través de técnicas modernas generativas de Inteligencia Artificial (IA) para imágenes, como los modelos de difusión, como una alternativa a las técnicas convencionales de Data Augmentation. Se corrobora que los modelos entrenados con una combinación de datos reales y sintéticos pueden superar a los entrenados sólo con datos reales. Ésta mejora, sin embargo, mostró variaciones significativas dependiendo del conjunto de datos y de la técnica generativa empleada. En un dataset particular, caracterizado por su simplicidad y uniformidad, el rendimiento demostró ser bueno. Por otro lado, en conjuntos de datos más variados, raros o especializados, los desafíos en la adaptación de los modelos generativos resaltaron la necesidad de un análisis cuidadoso. El conocimiento previo de los modelos generativos en los conceptos utilizados en el ajuste fino resultó ser crucial para obtener imágenes sintéticas de calidad. Esto subraya la importancia de entrenar los modelos generativos en una amplia variedad de datos para que puedan reproducir los conceptos necesarios de manera efectiva. En resumen, los datos sintéticos sirven en algunos casos como una herramienta valiosa para mejorar la eficiencia de los modelos de ML en tareas de CV, particularmente con conjuntos de datos complejos debido a las características específicas dentro de sus clases o el desbalanceo de las mismas.