ResNet (Residual Network) désigne une famille d’architectures de réseaux de neurones convolutifs dont la profondeur varie de 18 à plus de 150 couches. Plus le modèle est profond, plus il consomme de VRAM et de cycles de calcul GPU. Sur une carte graphique grand public dotée de quelques gigaoctets de mémoire, un ResNet-50 standard peut saturer la VRAM avant même la fin du premier epoch d’entraînement.
Adapter ResNet à un GPU limité ne se résume pas à réduire le batch size. Plusieurs leviers, de l’architecture elle-même à la gestion mémoire entre GPU et CPU, permettent de conserver des performances utiles sans investir dans du matériel serveur.
Lire également : Les écueils à éviter avec la solution Unicorn Overlord : conseils de pro
Variantes ResNet optimisées pour GPU à faible VRAM
Le premier réflexe face à un GPU limité consiste à choisir une variante de ResNet conçue pour réduire le nombre de FLOPs sans sacrifier la précision. Depuis 2024, plusieurs architectures dérivées ont démontré qu’elles atteignent la même précision qu’un ResNet classique avec une empreinte mémoire nettement réduite.
Les tweaks de type ResNet-D et ResNet-E modifient les blocs de sous-échantillonnage (downsampling) pour limiter la perte d’information tout en diminuant le coût de calcul. ResNeSt introduit des blocs Split-Attention qui redistribuent la charge de traitement entre les canaux, ce qui réduit le pic de consommation VRAM lors de la propagation avant.
A lire aussi : Portail arena aix marseille sur mobile : accéder à vos services en déplacement
Les architectures de style ConvNeXt reprennent la topologie résiduelle de ResNet en remplaçant certaines convolutions par des opérations plus légères (depthwise convolutions, couches normalisées différemment). Le résultat : un modèle qui s’entraîne sur un GPU grand public là où un ResNet-152 classique exigerait une carte professionnelle.
Le choix de la variante dépend de la tâche. Pour de la classification d’images standard, un ResNet-D-50 offre un bon compromis. Pour de la détection d’objets où la richesse des features compte, ResNeSt conserve davantage d’information spatiale malgré son empreinte réduite.
Réduire la consommation mémoire pendant l’apprentissage ResNet
Même avec une architecture allégée, l’entraînement d’un ResNet peut dépasser la VRAM disponible. Trois techniques agissent directement sur la mémoire GPU sans toucher à l’architecture du modèle.
Mixed precision training
L’entraînement en précision mixte (FP16/FP32) divise la consommation mémoire des activations et des gradients. PyTorch et TensorFlow intègrent cette fonctionnalité nativement via torch.cuda.amp ou tf.keras.mixed_precision. Sur un ResNet-50, le gain mémoire est suffisant pour doubler le batch size sur la même carte.
Gradient checkpointing
Le gradient checkpointing (ou rematerialization) échange du temps de calcul contre de la mémoire. Au lieu de stocker toutes les activations intermédiaires pour la rétropropagation, seules certaines couches-clés sont conservées. Les activations manquantes sont recalculées à la volée. Sur un modèle profond comme ResNet-101, le gradient checkpointing peut réduire la VRAM requise de moitié, au prix d’un ralentissement modéré de chaque epoch.
Gradient accumulation
Quand le batch size minimal reste trop grand pour la VRAM, l’accumulation de gradients simule un batch plus large en accumulant les gradients sur plusieurs mini-batches avant de mettre à jour les poids. Le modèle apprend comme s’il voyait un batch complet, mais chaque passe avant ne traite qu’une fraction des données.
- Mixed precision : réduit la taille des tenseurs stockés en VRAM, compatible avec la plupart des GPU récents supportant le FP16
- Gradient checkpointing : libère la mémoire des activations intermédiaires, particulièrement efficace sur les ResNet profonds (plus de 50 couches)
- Gradient accumulation : contourne la limite de batch size sans modifier le modèle ni les hyperparamètres cibles
Offloading CPU/RAM pour entraîner ResNet sur GPU grand public
La tendance la plus marquante en 2025 pour le deep learning sur matériel limité combine la quantification du modèle avec un offloading partiel vers la RAM système. Le principe : certaines couches du ResNet ou les états de l’optimiseur sont stockés en RAM CPU pendant que le GPU ne conserve que les couches en cours de calcul.
La hiérarchie de performance reste claire. La VRAM GPU offre le débit le plus élevé. La RAM unifiée (comme celle des puces Apple M-series) se situe en position intermédiaire. La RAM classique DDR4/DDR5, accessible via le bus PCIe, reste nettement plus lente.
En pratique, déporter l’optimiseur (Adam, SGD avec momentum) sur CPU libère une part significative de VRAM. Les états de l’optimiseur représentent souvent deux à trois fois la taille des poids du modèle. En les maintenant en RAM système, le GPU ne gère que la propagation avant, les activations et les gradients.
Cette approche mixed-device se configure dans PyTorch via des bibliothèques comme DeepSpeed ZeRO-Offload ou Hugging Face Accelerate. Le surcoût en temps par epoch dépend de la bande passante PCIe, mais sur un GPU avec moins de 8 Go de VRAM, la différence entre « le modèle ne tient pas en mémoire » et « l’entraînement tourne » justifie largement ce compromis.
Ajuster le pipeline de données pour ne pas gaspiller la VRAM
Un aspect souvent négligé : la façon dont les données sont chargées et prétraitées peut consommer une partie de la VRAM disponible. Sur un GPU limité, chaque mégaoctet compte.
- Redimensionner les images en amont du DataLoader plutôt que sur le GPU. Un ResNet attend généralement des entrées de 224×224 pixels ; charger des images en haute résolution pour les redimensionner ensuite en VRAM gaspille de la mémoire tampon
- Utiliser des formats de stockage compressés (WebP, JPEG optimisé) et un DataLoader avec prefetch limité pour éviter d’accumuler trop de batches pré-chargés en mémoire
- Désactiver le calcul des gradients pendant la phase de validation avec torch.no_grad(), ce qui libère immédiatement toute la mémoire allouée aux graphes de calcul
Ces ajustements ne changent pas la précision du modèle. Ils libèrent des marges de VRAM que les techniques précédentes (mixed precision, checkpointing) peuvent exploiter pour augmenter le batch size ou la profondeur du réseau.
Le choix entre réduire l’architecture et optimiser le pipeline mémoire n’est pas binaire. Sur un GPU avec très peu de VRAM, combiner un ResNet-D plus compact, un entraînement en mixed precision avec gradient checkpointing, et un offloading de l’optimiseur vers la RAM CPU donne un pipeline d’apprentissage fonctionnel. La précision finale sera proche d’un entraînement standard sur matériel plus puissant, à condition d’accepter des epochs plus longs et de surveiller la stabilité de la convergence.
