Mejora del rendimiento de modelos pequeños mediante destilación generativa con enmascaramiento: implementación práctica con ResNet-18 para clasificación en ImageNet
En el campo del aprendizaje profunod, la destilación del conocimiento (Knowledge Distillation) es una técnica popular para transferir el aprendizaje de un modelo maestro (teacher) grande y complejo a un modelo estudiante (student) más ligero. Sin embargo, los métodos tradicionales suelen limitarse a que el estudiante imite superficialmente las ...
Publicado el 7-21 08:45