Les modèles de diffusion alimentent tous les grands générateurs d’images par IA utilisés aujourd’hui, de Stable Diffusion à Flux. Cet article détaille leur fonctionnement réel, de l’ajout de bruit gaussien au débruitage inverse, en passant par la compression dans l’espace latent et le conditionnement par texte, sans jargon mathématique ni remplissage.
Entre mathématiques et magie, un modèle de diffusion prend un écran rempli de bruit aléatoire pur et le façonne peu à peu en un visage photoréaliste, une peinture à l’huile de style Renaissance ou un paysage urbain à l’heure dorée. Si vous avez déjà saisi une phrase dans un générateur d’images par IA et vu apparaître quelque chose, vous avez assisté au travail d’un modèle de diffusion. Mais que se passe-t-il réellement à l’intérieur de ce processus ? La réponse est étonnamment logique une fois que l’on voit les deux phases sur lesquelles il repose.
Un modèle de diffusion est entraîné à supprimer le bruit. C’est tout le concept central. Pendant l’entraînement, le modèle est exposé à des millions d’images auxquelles on ajoute des quantités croissantes de bruit aléatoire. Il acquiert peu à peu la capacité de reconstituer l’image originale telle qu’elle était avant l’ajout du bruit. Une fois entraîné, on exécute le processus à l’envers : on part d’un bruit pur, et le modèle remonte à travers les étapes qu’il a intériorisées, en retirant le bruit à chaque stade jusqu’à ce qu’une image cohérente apparaisse.
Il peut sembler étrange de parler de « créativité ». Le modèle ne peint pas quelque chose à partir de zéro, comme le ferait un artiste humain. Il trace plutôt un chemin à travers une carte intériorisée de ce à quoi ressemblent de vraies images à différents niveaux de dégradation, en allant du chaos vers la netteté. La destination de ce chemin, façonnée par votre prompt textuel, détermine ce que vous voyez à la fin.
C’est pourquoi les résultats paraissent si variés et naturels. Le modèle ne récupère pas d’images stockées et n’assemble pas de fragments. Il construit quelque chose de nouveau en suivant les schémas statistiques de ce à quoi une vraie image devrait ressembler à chaque étape du débruitage.
Le choix de partir du bruit est délibéré. Le bruit est mathématiquement bien défini : il s’agit plus précisément de bruit gaussien, où les valeurs des pixels suivent une distribution en cloche. Cette précision mathématique permet au modèle de s’entraîner de manière rigoureuse. Il a été exposé aux versions bruitées de millions d’images à chaque niveau de dégradation, de sorte qu’il peut prédire ce qui doit être retiré à n’importe quelle étape donnée.
Note : Le bruit gaussien ressemble exactement à la neige d’un téléviseur. Chaque pixel est une valeur aléatoire tirée d’une distribution normale. Aux niveaux de bruit maximum, l’image d’origine n’apporte aucune information à ce que vous voyez.
La phase d’entraînement commence par la destruction systématique des images. C’est ce qu’on appelle la diffusion directe, qui consiste à ajouter une petite quantité de bruit gaussien, mathématiquement précise, à une image à chaque pas de temps. Après des centaines de pas de temps, l’image originale est totalement méconnaissable. Il ne reste qu’une neige pure, indiscernable d’un bruit généré au hasard sans aucune image.
Imaginez que vous posez sur une photographie des feuilles de papier calque de plus en plus opaques. Après une feuille, la photo reste presque entièrement visible. Après dix feuilles, elle est floue et délavée. Après mille feuilles, vous ne distinguez plus rien. La diffusion directe fait exactement cela avec un bruit au niveau du pixel, par incréments maîtrisés et prévisibles sur le plan mathématique.
L’idée centrale est que chaque version bruitée est associée à son étiquette de pas de temps. Le modèle reçoit l’information « voici à quoi ressemble l’image au pas 200 sur 1000 », puis « voici à quoi elle ressemble au pas 800 sur 1000 ». Chaque étape, pour chaque image de l’ensemble d’entraînement, devient un exemple d’entraînement étiqueté. On obtient ainsi un jeu de données vaste et richement structuré, à partir d’images qui existent déjà.
| Pas de temps | Niveau de bruit | Visibilité de l’image |
|---|---|---|
| 0 | Aucun | Original parfait |
| 100 | Faible | Légèrement granuleuse |
| 400 | Moyen | Floue, contours visibles |
| 700 | Élevé | Formes vagues uniquement |
| 1000 | Maximum | Bruit gaussien pur |
La vitesse à laquelle le bruit est ajouté suit ce que l’on appelle le calendrier du bruit (noise schedule). Différents calendriers, comme les calendriers linéaire, cosinus ou sigmoïde, influencent la qualité des images que le modèle peut produire à terme. La plupart des modèles récents utilisent un calendrier cosinus, qui ajoute le bruit plus lentement aux extrémités et plus rapidement au milieu, ce qui donne de meilleurs résultats finaux.
Une fois que le modèle a intériorisé chaque niveau de bruit pour des millions d’images, on inverse le processus. On lui donne du bruit pur et on lui demande de prédire quel bruit doit être retiré pour se rapprocher d’une vraie image. Il en retire un peu. On lui redemande. Il en retire encore un peu. Après 20 à 1000 étapes de débruitage, selon l’échantillonneur choisi, une image d’aspect réaliste a pris forme.
Le réseau de neurones au cœur d’un modèle de diffusion ne génère pas l’image directement. Il prédit le bruit lui-même, c’est-à-dire le bruit qui doit être soustrait à chaque étape. Le cheval de bataille est généralement une architecture U-Net : un réseau de neurones en forme de U, avec un chemin encodeur qui compresse l’image bruitée en représentations abstraites et un chemin décodeur qui reconstruit la prédiction propre. L’image émerge de ce qui reste une fois le bruit prédit soustrait.
L’article original sur le DDPM (Denoising Diffusion Probabilistic Model) nécessitait 1000 étapes de débruitage, ce qui rendait la génération terriblement lente. Les échantillonneurs modernes comme DDIM (Denoising Diffusion Implicit Models), DPM++ et Euler peuvent produire des images de haute qualité en seulement 20 à 50 étapes, en effectuant des pas plus grands et plus intelligents à travers le processus de débruitage. C’est pourquoi les outils d’IA actuels paraissent presque instantanés comparés aux premières implémentations.
Note : L’échantillonneur est un algorithme distinct qui se superpose au modèle entraîné. Changer d’échantillonneur ne modifie pas ce que le modèle a intériorisé. Cela change seulement la manière dont les prédictions du modèle sont utilisées pour passer du bruit à l’image. Différents échantillonneurs répondent à différents besoins : DDIM est rapide et cohérent, DPM++ offre une qualité supérieure avec davantage d’étapes, Euler trouve un bon équilibre entre vitesse et fidélité.
Exécuter la diffusion directement sur les valeurs brutes des pixels, en haute résolution, serait extrêmement lent et coûteux en calcul. Une image de 512x512 comporte plus de 786 000 valeurs de pixels à traiter à chaque étape de débruitage. Les modèles de diffusion actuels contournent ce problème grâce à une astuce d’efficacité essentielle : ils effectuent le débruitage dans une représentation compressée appelée espace latent, plutôt que dans l’espace des pixels.
Avant que la diffusion ne commence, un réseau de neurones distinct appelé encodeur compresse l’image dans une grille de valeurs bien plus petite. Une image de 512x512 pixels devient généralement une représentation latente de 64x64, soit un facteur de compression de 64. Tout le débruitage se fait à cette taille réduite, ce qui est nettement plus rapide. Une fois le débruitage terminé, un second réseau, appelé décodeur, reconstitue la représentation latente en une image pleine résolution.
L’encodeur et le décodeur forment ensemble un auto-encodeur variationnel (VAE). L’espace latent qu’il crée n’est pas une compression arbitraire ; c’est une représentation structurée et riche en information, qui préserve les caractéristiques visuelles les plus importantes de l’image tout en éliminant ce qui est redondant. Pensez à un négatif de film : toute l’information d’une photographie pleine résolution compressée sur une fine et petite bande de matière.
Cette architecture explique pourquoi cette famille de modèles s’appelle officiellement modèles de diffusion latents (LDM), même si la plupart des gens disent simplement « modèles de diffusion ». Stable Diffusion XL et Stable Diffusion 3 sont tous deux des modèles de diffusion latents. C’est aussi le cas de Flux Pro. Travailler dans l’espace latent plutôt que dans l’espace des pixels a rendu la génération d’images par IA en haute résolution praticable sur du matériel grand public, plutôt que d’exiger des fermes de serveurs.
Un modèle de diffusion sans conditionnement par texte générerait à chaque fois des images au contenu aléatoire, statistiquement plausible. Les prompts textuels fonctionnent en conditionnant le processus de débruitage, en orientant le modèle vers les régions précises de l’espace des images où le contenu correspond à votre description.
Le texte que vous saisissez est d’abord converti en une représentation numérique dense par un encodeur de texte. Des modèles comme CLIP ou T5 lisent votre prompt et produisent une séquence de vecteurs à haute dimension appelés embeddings, chacun capturant le sens sémantique des mots et des expressions dans le contexte de la phrase entière. Ces vecteurs d’embedding sont transmis au U-Net à chaque étape de débruitage, de sorte que la prédiction du bruit est constamment influencée par ce que vous avez demandé.
L’intensité de l’influence du texte est contrôlée par un réglage appelé guidance scale (aussi appelé échelle CFG, pour Classifier-Free Guidance). Avec des valeurs faibles, autour de 2 à 4, le modèle suit le texte de manière souple et produit des résultats plus variés, parfois surprenants. Avec des valeurs élevées, autour de 12 à 20, il suit le texte très strictement, mais peut produire des images trop saturées ou déformées. La plupart des générateurs d’IA utilisent par défaut une guidance scale comprise entre 7 et 12, pour trouver un équilibre entre fidélité au prompt et qualité visuelle.
Note : Le guidage sans classifieur fonctionne en exécutant le débruitage deux fois à chaque étape : une fois avec votre condition textuelle et une fois sans. Le modèle amplifie ensuite la différence entre les deux prédictions. Une guidance scale plus élevée signifie un facteur d’amplification plus grand, qui tire le résultat plus fortement vers votre prompt.
Entraîner un modèle de diffusion depuis zéro exige des jeux de données énormes et une puissance de calcul considérable. Des modèles comme Stable Diffusion XL ont été entraînés sur des centaines de millions de paires image-légende extraites d’internet, nécessitant des grappes de centaines de GPU fonctionnant pendant des semaines, voire des mois. Ce que le modèle construit à partir de ce processus n’est pas une base de données d’images, mais une riche représentation interne de la structure visuelle.
Pendant l’entraînement, pour chaque image de l’ensemble de données, le processus se déroule ainsi :
Ce cycle se répète pour des milliards de paires image-pas de temps. Le résultat est un modèle qui a intériorisé la structure visuelle d’une portion immense de la culture visuelle humaine et qui peut passer du bruit vers n’importe quelle image comprise dans la distribution sur laquelle il a été entraîné.
Le processus de débruitage inverse n’est pas déterministe. Même avec un prompt identique, exécuter le modèle deux fois avec des seeds aléatoires différents produit des images totalement différentes. En effet, le bruit de départ est aléatoire, et de petites différences dans ce bruit initial mènent à des trajets très différents à travers le débruitage. C’est une caractéristique, pas un défaut : c’est ce qui vous offre une variété visuelle d’une génération à l’autre pour un même prompt.
Les modèles de diffusion n’ont pas émergé dans le vide. Deux approches plus anciennes dominaient la génération d’images par IA avant eux, et comparer les trois permet de comprendre pourquoi la diffusion est devenue la norme.
Les réseaux antagonistes génératifs (GAN) utilisent deux réseaux en concurrence : un générateur qui crée des images et un discriminateur qui tente de détecter les faux. Ils peuvent produire rapidement des images nettes et très fidèles, mais sont notoirement difficiles à entraîner et sujets au « mode collapse », un phénomène où le générateur cesse de produire des résultats variés et se fixe sur une gamme étroite d’images qui trompent de manière fiable le discriminateur.
Les modèles de diffusion sont plus lents à l’inférence, mais produisent des résultats plus variés et plus contrôlables et sont beaucoup plus stables à l’entraînement. La capacité à conditionner sur un texte quelconque avec une grande fidélité est aussi bien plus naturelle avec la diffusion qu’avec les GAN, qui nécessitent des astuces d’architecture et des contournements pour obtenir un contrôle significatif par le prompt.
Les auto-encodeurs variationnels travaillent eux aussi avec des représentations latentes et peuvent générer des images en échantillonnant dans l’espace latent. Toutefois, ils tendent à produire des résultats flous, car ils optimisent la similarité moyenne des pixels, et la « moyenne » de nombreuses images plausibles est souvent un mélange délavé de toutes. Les modèles de diffusion contournent entièrement ce problème en optimisant la prédiction du bruit plutôt que la reconstruction des pixels, ce qui produit naturellement des résultats plus nets et plus détaillés.
| Type de modèle | Vitesse | Qualité | Contrôle par texte | Stabilité à l’entraînement |
|---|---|---|---|---|
| GAN | Rapide | Net mais restreint | Limité | Difficile |
| VAE | Rapide | Souvent flou | Limité | Stable |
| Diffusion | Modérée | Haute fidélité, variée | Excellent | Très stable |
Les modèles que vous utilisez sur les plateformes d’images par IA reposent tous sur ces principes de diffusion. Voici comment les grands modèles correspondent à ce que vous venez de lire.
L’architecture Stable Diffusion XL a introduit un pipeline en deux étapes : un modèle de base gère la composition et la structure générales, et un modèle de raffinement affine les détails fins lors d’une seconde passe. Stable Diffusion 3 a remplacé le U-Net classique par une architecture DiT (Diffusion Transformer), qui améliore nettement la précision du rendu du texte et le contrôle de la composition.
Ces modèles servent de base à des centaines de variantes ajustées par fine-tuning, spécialisées dans les portraits, la visualisation architecturale, la photographie de produits et l’illustration. Le fine-tuning ne modifie pas le cœur du processus de diffusion ; il déplace la distribution interne du modèle vers un style visuel ou un domaine de sujets précis.
Flux Pro et Flux Schnell représentent l’état de l’art actuel des transformeurs de diffusion. Ils produisent un photoréalisme exceptionnel, un rendu précis du texte dans les images générées et un respect solide des détails du prompt. Flux Redux Dev va plus loin en permettant de générer des variations à partir d’une image de référence existante, de sorte que vous pouvez itérer à partir d’un point de départ plutôt que d’un bruit pur.
Tous ces modèles suivent toujours exactement le même processus de base : bruit direct pendant l’entraînement, débruitage inverse au moment de la génération, compression dans l’espace latent pour la vitesse et conditionnement par texte pour façonner le résultat. Les améliorations d’architecture changent à quel point le modèle parcourt ce processus, et non ce que le processus est.
Vous n’avez besoin ni d’entraîner un modèle ni d’écrire une seule ligne de code pour mettre tout cela en pratique. Chaque modèle décrit ci-dessus est disponible directement dans le navigateur sur Picasso IA, sans aucune configuration.
Commencez par saisir un prompt détaillé et précis dans Flux Pro, puis observez le processus de débruitage traduire vos mots en une scène photoréaliste. Augmentez ou diminuez la guidance scale pour voir à quel point le texte façonne le résultat. Passez ensuite sur Stable Diffusion XL avec le même prompt et comparez les différences esthétiques entre deux modèles qui partagent la même architecture de base mais la parcourent différemment.
Générez le même prompt deux fois avec des seeds différents. Remarquez à quel point les résultats diffèrent, alors que le processus sous-jacent est identique. Cette variation n’est pas un défaut. C’est la nature probabiliste de la diffusion qui fait exactement ce pour quoi elle a été conçue : passer du chaos à la netteté, guidée par ce que vous avez demandé, par un chemin que deux générations ne partageront jamais.
Chaque image que vous générez est une traversée du bruit. Vous savez désormais exactement ce qui se passe en chemin.
Choisissez votre langue
