Vous vous demandez ce qui se passe quand vous tapez un prompt et qu'une image saisissante apparaît quelques secondes plus tard ? Cet article décortique la technologie réelle derrière les générateurs d'images IA, des modèles de diffusion aux données d'entraînement, des embeddings CLIP aux étapes d'échantillonnage, avec des explications claires et sans jargon.
Un phénomène étrange se produit quand vous tapez « un renard roux assis dans des feuilles d’automne » dans un générateur d’images IA et qu’une image de qualité photographique apparaît 10 secondes plus tard, comme si elle avait été prise avec un Canon R5. Aucun appareil photo réel n’a été utilisé. Aucun photographe n’a composé la scène. Une machine a construit cette image à partir de nombres.
Ce processus n’a rien de magique. C’est une chaîne étonnamment élégante de mathématiques, de probabilités et de reconnaissance de motifs, qui a demandé des décennies de recherche pour devenir utilisable. Voici exactement comment il fonctionne, couche par couche.
Avant toute génération d’image, le modèle doit faire ce pour quoi il a été entraîné et qu’il fait très bien : interpréter le sens de vos mots, non pas comme du langage, mais comme une position dans un espace mathématique.
Quand vous tapez « un renard roux dans des feuilles d’automne », votre texte est transmis à un composant appelé encodeur de texte. Le plus courant s’appelle CLIP (Contrastive Language-Image Pretraining), développé par OpenAI. CLIP a été entraîné sur des centaines de millions de paires image-texte issues d’internet, et a appris à associer le sens des phrases au contenu visuel des photos.
Le résultat est un embedding de texte : une liste de centaines ou de milliers de nombres qui encodent le sens sémantique de votre prompt. Imaginez des coordonnées GPS, sauf qu’au lieu de latitude et longitude, vous localisez un concept dans un espace à 768 ou 1024 dimensions.
💡 C’est pourquoi la formulation du prompt compte. « Un renard » et « un renard rusé aux yeux ambrés » ne se situent pas au même endroit dans cet espace, et cette différence modifie ce que le générateur construit.
Le modèle ne travaille pas avec les images comme vous les voyez. Il travaille dans ce qu’on appelle l’espace latent : une représentation mathématique compressée des images, où les visuels proches se regroupent.
Dans l’espace latent, « une forêt à l’aube » et « une forêt au crépuscule » sont des voisins proches. « Une plage » et « une montagne » sont éloignées. L’embedding de texte que vous avez généré devient une cible : un emplacement dans cet espace que le modèle va chercher à atteindre.
Cette compression explique la rapidité des générateurs d’images modernes. Travailler dans l’espace des pixels complets exigerait de manipuler des millions de valeurs à la fois. Travailler dans l’espace latent revient à manipuler des milliers de valeurs compressées, puis à décoder le résultat à pleine résolution à la fin. Cette étape de décodage est assurée par un composant appelé VAE (Variational Autoencoder).
Voici la partie contre-intuitive. Le processus de génération ne part pas de votre prompt pour construire une image à partir de rien. Il part d’un bruit aléatoire, l’équivalent visuel de la neige sur un vieux téléviseur, et remonte le temps à partir de là.
Pendant l’entraînement, le modèle a vu des millions d’images réelles. Pour chacune, il a observé les chercheurs ajouter progressivement du bruit à l’image, étape par étape, jusqu’à ce qu’elle devienne une neige totalement méconnaissable. Le modèle a ensuite appris à faire l’inverse : à partir d’une image bruitée et de la description textuelle d’origine, peut-il prédire à quoi ressemblait la version moins bruitée ?
Après un entraînement sur des milliards de ces exemples, le modèle devient extraordinairement efficace pour cette inversion. Il ne mémorise pas d’images précises. Il assimile les régularités statistiques de la façon dont les objets, les textures, la lumière et les surfaces se combinent entre eux.
Quand vous cliquez sur « générer », voici la séquence :
À chaque passage, l’image gagne en netteté et en cohérence. La structure apparaît en premier (formes grossières, composition), puis le détail (textures, visages, contours fins) arrive lors des étapes suivantes.
💡 Plus d’étapes donne en général une meilleure qualité, mais avec des rendements décroissants. Passer de 20 à 40 étapes fait souvent une différence visible. Passer de 40 à 80 en fait rarement, mais cela prend deux fois plus de temps.
Avant que les modèles de diffusion ne deviennent dominants vers 2022, l’approche la plus répandue reposait sur les GAN (Generative Adversarial Networks). Les GAN opposent deux réseaux : un générateur qui tente de créer des images convaincantes, et un discriminateur qui essaie de repérer les faux. La boucle de rétroaction entre les deux améliore progressivement la qualité des résultats.
Les GAN sont rapides et impressionnants, mais notoirement instables à l’entraînement, sujets au « mode collapse » (le générateur se bloque sur des résultats très semblables) et difficiles à faire évoluer vers une haute résolution et des sujets variés.
Les modèles de diffusion sont plus lents par image, mais plus stables à l’entraînement, produisent des résultats bien plus variés et répondent nettement mieux au conditionnement par texte. Le compromis en vaut la peine : c’est pour cette raison que tous les grands générateurs d’images actuels utilisent la diffusion comme mécanisme central.
Le facteur le plus important dans ce qu’un modèle peut générer est ses données d’entraînement. Des modèles comme PicassoIA Image et GPT Image 2 sont entraînés sur des jeux de données contenant des centaines de millions à des milliards de paires image-texte, extraites du web, issues de banques d’images sous licence et de collections sélectionnées.
Pour chaque image, les données d’entraînement incluent une légende décrivant son contenu. « Une femme promenant un golden retriever dans un parc par une journée ensoleillée. » « Gros plan d’une tasse de café avec un latte art. » « Vue aérienne de Manhattan de nuit. »
Le modèle ne mémorise jamais ces images. Il en extrait plutôt des relations statistiques : quels motifs visuels apparaissent souvent ensemble, comment la lumière se comporte sur différentes surfaces, à quoi ressemblent typiquement les visages humains sous différents angles, en quoi la texture d’une fourrure diffère de celle d’un tissu.
| Taille du jeu d’entraînement | Nombre approximatif d’images | Exemples de modèles |
|---|---|---|
| Petit jeu sélectionné | 100 K à 1 M | Premiers LoRA de Stable Diffusion |
| Moyen, issu du web | 100 M à 500 M | SDXL, versions antérieures de Flux |
| Grand jeu propriétaire | 1 Md+ | GPT Image 2, Seedream 4.5 |
CLIP mérite une explication à part, car c’est le composant qui relie le langage aux motifs visuels. CLIP a été entraîné avec un objectif précis : étant donné un lot d’images et un lot de légendes, associer chaque image à sa légende correcte. En faisant cela sur des centaines de millions d’exemples, on obtient un modèle qui saisit en profondeur le lien entre le contenu visuel et le langage utilisé pour le décrire.
C’est pourquoi vous pouvez écrire « peinture impressionniste d’un port au coucher du soleil » et que le modèle prend en compte non seulement « port » et « coucher du soleil », mais aussi le contexte stylistique et émotionnel d’« impressionniste ». Il a vu des milliers de tableaux de Monet accompagnés de légendes mentionnant l’impressionnisme.
💡 CLIP explique aussi pourquoi les prompts négatifs fonctionnent. Demander au modèle « pas d’arrière-plans flous » déplace l’embedding cible à l’écart des zones de l’espace latent associées au flou.
Le modèle ne conserve pas un catalogue d’images. Il stocke des poids : des milliards de nombres à virgule flottante qui encodent les motifs statistiques appris pendant l’entraînement. Ces poids se trouvent dans l’architecture U-Net, un réseau de neurones en forme de U, avec un chemin d’encodage qui compresse l’information, un chemin de décodage qui la restitue, et des connexions de saut qui relient les deux côtés.
Le nombre de paramètres (poids) des modèles modernes raconte une histoire :
Plus de paramètres signifie en général une plus grande capacité à représenter des relations visuelles complexes, une meilleure cohérence et un suivi des consignes plus fiable.
Le U-Net au cœur d’un modèle de diffusion effectue le débruitage proprement dit. Il prend un latent bruité, l’examine, et prédit le bruit qui y a été ajouté, afin que le système puisse le soustraire.
Dans le U-Net se trouvent des couches d’attention : des opérations mathématiques qui permettent à chaque partie de l’image de regarder toutes les autres parties ainsi que l’embedding de texte, simultanément. C’est ainsi que le modèle assure la cohérence, en veillant à ce que la queue du renard soit reliée à son corps, que la source de lumière reste cohérente sur l’ensemble de l’image, et que les feuilles d’automne entourent vraiment le renard au lieu de flotter au hasard.
Les architectures plus récentes comme le Diffusion Transformer (DiT), utilisé dans des modèles comme Flux 2 Klein 9B et Seedream 4.5, remplacent le U-Net traditionnel par des blocs transformers sur l’ensemble du réseau, ce qui améliore nettement la cohérence à longue distance et le respect du prompt.
Le réseau de débruitage ne fonctionne pas de manière isolée. À chaque étape, il est conditionné par deux éléments :
Ce conditionnement est appliqué par attention croisée : les couches d’attention du réseau de prédiction du bruit examinent l’embedding de texte en parallèle des caractéristiques de l’image, à chaque couche. Résultat : chaque étape de débruitage est guidée par ce que vous avez demandé.
C’est aussi ainsi que fonctionnent les prompts négatifs. La plupart des implémentations effectuent deux passages parallèles dans le réseau : l’un conditionné par votre prompt positif, l’autre par le prompt négatif. La prédiction finale se rapproche du positif et s’éloigne du négatif.
Le CFG (Classifier-Free Guidance) scale est le curseur que vous avez sans doute déjà vu dans les interfaces de génération. Il contrôle à quel point le modèle respecte votre prompt, par opposition à une génération libre.
Le calcul : à chaque étape, le modèle obtient la prédiction finale en additionnant la prédiction inconditionnelle et le CFG scale multiplié par l’écart entre les prédictions conditionnelle et inconditionnelle. Un CFG de 1 signifie aucune amplification du guidage. Un CFG de 7 signifie que l’influence du prompt est amplifiée sept fois par rapport à la référence.
Le débruiteur tourne en boucle, chaque passage étant appelé une étape d’échantillonnage. Les différents samplers (aussi appelés schedulers) déterminent la manière dont le bruit est retiré à chaque étape. Parmi les plus courants :
| Sampler | Vitesse | Idéal pour |
|---|---|---|
| Euler | Rapide | Ébauches rapides, résultats constants |
| DPM++ 2M | Rapide | Résultat de haute qualité, moins d’étapes nécessaires |
| DDIM | Moyenne | Résultats reproductibles, flux de travail d’animation |
| Heun | Plus lent | Précision supérieure à chaque étape |
Les samplers modernes comme DPM++ peuvent produire d’excellents résultats en 20 étapes. Certains modèles, comme Wan 2.7 Image Pro, sont entraînés pour fonctionner en 4 à 8 étapes, ce qui permet un gain de vitesse spectaculaire sans sacrifier le photoréalisme.
Chaque génération part d’un tenseur de bruit aléatoire précis. Le seed est le nombre utilisé pour générer ce tenseur. Deux générations avec des prompts, des réglages et des seeds identiques produiront des images identiques.
C’est ainsi que vous pouvez figer une composition qui vous plaît et la faire évoluer. Modifier le prompt tout en gardant le même seed donne souvent des variations qui conservent la même mise en page et le même éclairage, la scène se remplissant d’un contenu différent. C’est l’un des outils les plus puissants, et les moins utilisés, dans la boîte à outils de celui qui rédige des prompts.
La plupart des modèles de diffusion ont été entraînés à une résolution précise (généralement 512x512 ou 1024x1024). Générer à d’autres résolutions ou formats exige soit un fine-tuning sur des données multirésolutions, soit des approches par tuilage et upscaling (augmentation de la résolution).
Des modèles comme Hunyuan Image 2.1 et Seedream 4.5 prennent nativement en charge les résolutions 2K et 4K, car ils ont été entraînés sur des données haute résolution dès le départ. Générer en 4K demande nettement plus de mémoire GPU (VRAM), car la représentation latente croît avec la résolution de sortie.
Tous les générateurs d’images n’utilisent pas les mêmes poids ni la même architecture. Voici en quoi les principaux diffèrent et quand recourir à chacun :
Flux Redux Dev et Flux 2 Klein 9B reposent sur l’architecture Flux de Black Forest Labs, qui a remplacé le U-Net traditionnel par un Diffusion Transformer complet. Le résultat : un rendu du texte dans les images nettement meilleur, une anatomie plus précise et un meilleur respect du prompt que les modèles de diffusion précédents. Flux excelle en photoréalisme et dans les scènes complexes à plusieurs sujets.
GPT Image 2 intègre le modèle de langage d’OpenAI directement dans la génération d’images, ce qui lui donne une capacité inhabituelle à suivre les consignes. Vous pouvez décrire des scénarios complexes avec plusieurs relations spatiales (« placez la tasse de café à gauche de l’ordinateur portable et affichez le tableur à l’écran ») et il les respecte généralement. C’est actuellement le leader en matière de précision des prompts.
Seedream 4.5, de ByteDance, et Hunyuan Image 2.1, de Tencent, représentent la nouvelle génération de diffusion transformers haute résolution. Tous deux produisent nativement des images de 2K à 4K, avec une excellente texture de la peau, des détails fins et un éclairage photoréaliste. Seedream se distingue particulièrement sur la photographie de portrait et l’imagerie de mode.
La génération texte vers image standard est probabiliste : vous décrivez ce que vous voulez, mais vous ne contrôlez pas précisément la composition. ControlNet change cela en ajoutant un conditionnement structurel au-dessus du prompt texte.
ControlNet prend une image de référence et en extrait des informations structurelles précises :
Vous fournissez la carte structurelle en plus de votre prompt texte, et le modèle génère une image qui respecte les deux. C’est ainsi que les créateurs professionnels maintiennent des poses de personnages cohérentes sur une série, ou réutilisent une composition d’arrière-plan avec un éclairage et un sujet totalement différents.
La combinaison de ControlNet avec des modèles comme PicassoIA Image Editor Pro vous offre à la fois une précision structurelle et un rendu photoréaliste haute fidélité, une combinaison qui exigeait autrefois un photographe professionnel et un studio réservé.
Toute cette technologie est accessible sans la moindre ligne de code. Sur PicassoIA, vous pouvez expérimenter chaque modèle évoqué dans cet article, y compris GPT Image 2 pour un travail précis sur les prompts, Flux Redux Dev pour des rendus photoréalistes, et Seedream 4.5 pour la photographie de portrait en 4K. Le tout depuis un onglet de navigateur, sans aucune configuration.
La meilleure façon d’assimiler le fonctionnement de ces modèles est de les mettre à l’épreuve vous-même. Essayez le même prompt sur Flux et sur GPT Image 2 et comparez la façon dont chacun gère une description spatiale complexe. Testez des CFG de 3 contre 12 avec le même seed. Essayez 10 étapes d’échantillonnage contre 40 et voyez à partir de quel moment vous cessez de remarquer une différence.
Le résultat que vous obtenez n’est pas un coup de chance. C’est le fruit de milliards de motifs statistiques appris, guidés par vos mots, qui convergent à travers des dizaines d’étapes de débruitage pour aboutir à quelque chose qui ressemble à une photo prise avec un appareil. Maintenant que vous connaissez le mécanisme, vous pouvez commencer à l’utiliser en connaissance de cause.
Choisissez votre langue
