Benchmarks de Llama 4 : performances de Scout, taille de Maverick et scores en codage

Une analyse sans détour de Llama 4 Scout et Maverick de Meta : nombre de paramètres, fenêtres de contexte, scores LiveCodeBench, MMLU Pro et GPQA, et des conseils honnêtes pour choisir le modèle adapté au codage, aux longs documents ou aux conversations du quotidien.

Benchmarks de Llama 4 : performances de Scout, taille de Maverick et scores en codage
Cristian Da Conceicao

Meta a publié Llama 4 avec deux modèles presque identiques sur une fiche technique, mais qui se comportent très différemment en pratique. Scout et Maverick activent tous deux 17 milliards de paramètres par token, pourtant l’un est un modèle de 109B conçu pour un contexte gigantesque et l’autre un modèle de 400B conçu pour la qualité brute. Si vous hésitez entre les deux, ou si vous voulez savoir si les chiffres annoncés tiennent la route, voici l’analyse avec les données présentées côte à côte.

Tout ce qui suit repose sur les scores que Meta a publiés dans sa model card pour les versions ajustées aux instructions, et je signale les cas où les classements tiers ne concordent pas. Les benchmarks sont un point de départ, pas un verdict : j’explique donc aussi ce que chaque chiffre dit et ne dit pas du travail réel.

La version courte

Voici toute l’histoire dans un seul tableau avant d’entrer dans le détail.

CaractéristiqueLlama 4 ScoutLlama 4 Maverick
Paramètres totaux109B400B
Paramètres actifs par token17B17B
Experts16128
Fenêtre de contexteJusqu’à 10M tokensJusqu’à 1M tokens
LiveCodeBench (0-shot)32,843,4
MMLU Pro (0-shot)74,380,5
GPQA Diamond57,269,8

La tendance est simple. Maverick remporte chaque benchmark de qualité, souvent de 6 à 12 points. Scout l’emporte en matière de longueur du contexte et de facilité d’intégration au matériel. Aucun des deux n’est la bonne réponse pour tout le monde.

Un ingénieur logiciel tapant du code à un bureau, avec deux écrans flous à l’arrière-plan

Les chiffres de performance de Scout

Llama 4 Scout Instruct est le petit frère, et « petit » est relatif. Il compte 109 milliards de paramètres au total, répartis sur 16 experts, avec seulement 17 milliards actifs pour chaque token. Il s’agit d’une architecture à mélange d’experts : le modèle envoie chaque token vers un petit groupe de spécialistes au lieu d’activer tout le réseau.

Paramètres actifs et paramètres totaux

Le nombre de paramètres actifs détermine la vitesse et le calcul par token. Le nombre total détermine la mémoire. Vous stockez les 109B, mais vous ne calculez qu’avec 17B à la fois. C’est pourquoi Scout peut paraître rapide pour sa taille tout en nécessitant une configuration GPU sérieuse pour être hébergé. Meta a indiqué que Scout peut tenir sur un seul GPU H100 lorsqu’il est quantifié en Int4, ce qui est l’argument principal pour qui l’héberge lui-même.

L’affirmation des 10 millions de tokens

La fonctionnalité de Scout la plus commentée est une fenêtre de contexte allant jusqu’à 10 millions de tokens. Sur le papier, c’est assez pour avaler des dépôts de code entiers, des années de comptes rendus de réunions ou une étagère de dossiers juridiques en un seul prompt.

Gros plan de vieux livres de bibliothèque avec un long rouleau de papier déroulé par-dessus

💡 Retour à la réalité : des utilisateurs ont signalé que la qualité effective commençait à se dégrader vers 32 000 tokens dans certaines configurations hébergées. Beaucoup de fournisseurs limitent aussi la fenêtre bien en dessous de 10M pour maîtriser le coût en mémoire. Une fenêtre annoncée très large est un plafond, pas une promesse : testez donc toujours avec vos propres longs documents.

Là où Scout tient bon

Scout obtient 74,3 sur MMLU Pro et 57,2 sur GPQA Diamond. Ce sont des résultats honorables pour un modèle de cette taille, et ils conviennent pour le résumé, l’extraction, les brouillons de support client et les questions-réponses générales. Là où il accuse du retard, c’est sur le raisonnement difficile et le code, ce qui nous amène au plus gros modèle.

Vue aérienne de lamas marchant en file indienne sur un sentier sinueux de montagne

La taille de Maverick expliquée

Llama 4 Maverick Instruct est le poids lourd de la paire. Il compte 400 milliards de paramètres au total et les mêmes 17 milliards actifs, mais répartis sur 128 experts au lieu de 16. Davantage d’experts signifie davantage de spécialisation, et cela se voit dans les scores.

400B sur le papier, 17B à l’exécution

C’est le point qui déroute. Un modèle de 400B semble dix fois plus lent qu’un modèle de 40B. Ce n’est pas le cas, car le calcul par token dépend des paramètres actifs. Maverick génère ses tokens avec à peu près le même coût de calcul que Scout. Ce qui change, c’est la facture mémoire : il faut de la place pour charger les 400B de poids, même si la plupart restent inactifs pour chaque token.

Vue en contre-plongée d’une longue allée de centre de données bordée de rangées de baies serveurs noires

Pourquoi 128 experts comptent

Avec 128 experts, le routeur dispose d’un choix bien plus large quant au spécialiste qui traite un token. En pratique, cela donne à Maverick une meilleure couverture des sujets de niche, une gestion du code plus solide et un raisonnement en plusieurs étapes plus fiable. Le modèle alterne aussi couches denses et couches d’experts, ce que Meta attribue au maintien d’une qualité élevée sans explosion des coûts.

La réalité du matériel

Meta décrit Maverick comme pouvant tenir sur un seul hôte H100 DGX, ce qui signifie un serveur à huit GPU et non une seule carte. L’auto-hébergement est donc hors de portée pour la plupart des passionnés. Pour les autres, l’accès hébergé est la voie raisonnable, et c’est précisément là qu’une plateforme comme PicassoIA est utile, puisque vous pouvez l’utiliser depuis un navigateur sans posséder le moindre GPU.

Gros plan d’une carte graphique installée dans un boîtier d’ordinateur ouvert posé sur un établi

Question d’hébergementScoutMaverick
Empreinte mémoireModéréeTrès importante
Un seul GPU possible ?Oui, avec quantification Int4Non, il faut un hôte multi-GPU
Vitesse par tokenRapideRapide, calcul actif similaire
Idéal pourLong contexte, budgets serrésCharges où la qualité prime

Les scores de codage face à face

Le codage intéresse la plupart des lecteurs, alors soyons directs : Maverick est nettement le meilleur codeur des deux.

Résultats sur LiveCodeBench

La model card de Meta affiche 32,8 pour Scout et 43,4 pour Maverick sur LiveCodeBench, mesuré sur des problèmes publiés entre octobre 2024 et février 2025 avec un prompt en zero-shot. C’est un écart de plus de 10 points, ce qui est important pour un benchmark de ce type. Certains sites de comparaison tiers placent Maverick plus près de 39,7, ce qui reflète probablement un cadre d’évaluation différent plutôt qu’un autre modèle.

Ce que le chiffre signifie pour le travail réel

LiveCodeBench teste des problèmes de type compétition : des énigmes autonomes avec une bonne réponse claire. Le développement au quotidien est plus désordonné. Vous lisez du code que vous ne connaissez pas, vous modifiez plusieurs fichiers, vous gérez des besoins à moitié rédigés. Un modèle à 43 sur LiveCodeBench trébuchera encore sur de gros refactorings, et un modèle à 32 écrira tout de même un code de base tout à fait correct, des tests et de petits utilitaires.

💡 Règle pratique : utilisez Scout pour expliquer du code, rédiger des docstrings, générer des tests unitaires et résumer un dépôt. Utilisez Maverick lorsqu’il faut une logique correcte du premier coup.

Les scores de raisonnement confirment

Le même écart apparaît sur GPQA Diamond, un ensemble de questions scientifiques de niveau master : 57,2 pour Scout contre 69,8 pour Maverick. Sur MMLU Pro, une version plus difficile du test de connaissances classique, les chiffres sont 74,3 et 80,5. Même les modèles de base pré-entraînés suivent la tendance, avec MMLU Pro (5-shot) à 58,2 pour Scout et 62,9 pour Maverick.

BenchmarkScoutMaverickÉcart
LiveCodeBench32,843,4+10,6
MMLU Pro74,380,5+6,2
GPQA Diamond57,269,8+12,6
MMLU Pro (base, 5-shot)58,262,9+4,7

Une femme examinant des graphiques en barres imprimés, étalés sur une grande table en chêne

Lire les benchmarks sans se faire piéger

Les chiffres d’une model card sont bien rangés. Le monde réel, lui, ne l’est pas. Quelques points à garder en tête avant de citer l’un de ces chiffres dans une décision.

La polémique LMArena

Au lancement de Llama 4, Meta a mis en avant un classement remarquable sur le leaderboard de chat LMArena. Il est apparu par la suite que la version testée était une variante expérimentale réglée pour le chat, et non la version disponible au public. La réaction de la communauté a été vive et a jeté une ombre sur le lancement. Les model cards elles-mêmes ne sont pas contestées, mais cet épisode rappelle utilement qu’il faut faire confiance aux benchmarks que l’on peut reproduire.

Les paramètres d’évaluation changent tout

Le même modèle peut afficher plusieurs points d’écart selon :

  • Le nombre de shots : prompt en zero-shot ou en five-shot
  • Le gabarit de prompt : la formulation et la mise en forme exactes
  • La fenêtre temporelle : LiveCodeBench intègre de nouveaux problèmes au fil du temps
  • Les paramètres d’échantillonnage : température, nombre de tentatives, budget de raisonnement

C’est pourquoi vous verrez le score de Scout sur MMLU Pro cité à 74,3 à un endroit, et un chiffre bien plus bas ailleurs. Comparez les chiffres uniquement lorsqu’ils proviennent du même cadre.

La longueur du contexte n’est pas la qualité du contexte

Une fenêtre de 10M est une réussite d’ingénierie, mais la précision de la récupération d’informations sur toute cette fenêtre varie selon la tâche. Les tests d’aiguille dans une botte de foin sont le cas facile. Le raisonnement sur des faits dispersés est le cas difficile. Considérez le long contexte comme une capacité à vérifier, et non comme une hypothèse.

Quel modèle Llama 4 vous convient

Deux développeurs programmant en binôme à un bureau debout, dans un loft lumineux

Choisissez Scout si

  • Vous travaillez avec des entrées très longues, comme des bases de code complètes, de longues transcriptions ou des collections de documents
  • Vous voulez un modèle plus léger à héberger et moins coûteux à exécuter à grande échelle
  • Vos tâches sont le résumé, la rédaction de brouillons, la classification ou les questions-réponses
  • La vitesse compte davantage que de grappiller les derniers points de précision

Choisissez Maverick si

  • Vous avez besoin d’une génération de code et d’une logique plus solides
  • Vous traitez du raisonnement plus difficile, des questions techniques ou des tâches en plusieurs étapes
  • Vous travaillez avec des images et du texte ensemble et voulez le niveau de qualité supérieur
  • La qualité de sortie compte davantage que le coût en mémoire

Envisagez des alternatives plus récentes

Llama 4 est arrivé en avril 2025, et le domaine a évolué. Si la place en tête des benchmarks est votre priorité, regardez aussi les options plus récentes sur PicassoIA. GPT 5.6 Sol est conçu pour les tâches de codage exigeantes, Claude Sonnet 5 est un assistant de codage solide, Gemini 3.1 Pro gère les prompts longs et multimodaux, et Deepseek v3.1 est une autre option de mélange d’experts à poids ouverts qui mérite d’être testée. Llama 4 reste attractif grâce à ses poids ouverts et à sa licence souple, mais ce n’est plus le seul nom dans la discussion.

Comment utiliser Llama 4 sur PicassoIA

Les deux modèles sont disponibles sur PicassoIA, vous pouvez donc faire votre propre comparaison sans rien installer. C’est le moyen le plus rapide de vérifier si l’écart des benchmarks compte pour vos tâches.

Une jeune designer travaillant sur un ordinateur portable à une table de café ensoleillée

Étape par étape

  1. Ouvrez la page du modèle. Rendez-vous sur Llama 4 Scout Instruct ou Llama 4 Maverick Instruct.
  2. Rédigez un prompt précis. Indiquez la tâche, le format souhaité et les contraintes éventuelles. Pour le code, collez la fonction concernée et décrivez le comportement attendu.
  3. Réglez vos paramètres. Abaissez la température (environ 0,2 à 0,4) pour le code et les faits, et augmentez-la (0,7 à 0,9) pour la rédaction créative.
  4. Limitez la longueur de la sortie. Définissez un nombre maximal de tokens raisonnable pour que les réponses restent ciblées et rapides.
  5. Lancez et comparez. Envoyez le même prompt aux deux modèles et lisez les sorties côte à côte.

Conseils de paramétrage utiles

  • Soyez explicite sur le format. Demandez « uniquement le code, sans explication » ou « un tableau à trois colonnes », et les deux modèles suivent bien.
  • Découpez les grandes tâches en étapes. Même avec un grand contexte, un prompt découpé en étapes donne des résultats plus fiables qu’une seule demande géante.
  • Utilisez une ligne d’introduction de type système. Une courte consigne de rôle comme « Vous êtes un relecteur senior et attentif » améliore le ton et la précision.
  • Testez avec vos propres données. Collez un vrai document ou un vrai bug. Votre propre échantillon vaut mieux que n’importe quel benchmark public.

💡 Test de comparaison rapide : prenez un bug délicat de votre propre projet, collez-le dans les deux modèles et demandez une correction avec une explication. La différence de qualité de raisonnement apparaît généralement dès la première réponse.

Un flux de travail simple

Commencez par Scout pour les brouillons, les résumés et l’exploration, car il est plus léger. Passez à Maverick lorsque la tâche exige de la précision, comme un algorithme complexe ou un rapport technique avec des affirmations exactes. Cette approche à deux niveaux maintient une qualité élevée sans surutiliser le plus gros modèle.

Verdict final sur les chiffres

Scout et Maverick ont la même taille active, mais ce sont des outils différents. Scout est le cheval de trait du long contexte, avec un plafond de 10M tokens, des besoins d’hébergement plus légers et des scores généraux solides. Maverick est le choix de la qualité, avec une taille totale de 400B, 128 experts et une avance nette sur LiveCodeBench (43,4 contre 32,8), MMLU Pro (80,5 contre 74,3) et GPQA Diamond (69,8 contre 57,2).

Un randonneur seul debout sur un sommet rocheux, contemplant une mer de nuages au crépuscule

Lancez votre propre benchmark dès aujourd’hui

Le meilleur benchmark est celui que vous construisez à partir de votre propre travail. Ouvrez Llama 4 Scout Instruct et Llama 4 Maverick Instruct dans deux onglets sur PicassoIA, soumettez-leur le même prompt réel et voyez quelle réponse vous livreriez vraiment. Essayez ensuite quelques-uns des modèles plus récents de la collection complète de modèles, associez votre texte à des images et des vidéos issues des générateurs de la plateforme, et construisez un flux de travail adapté à votre façon de créer. Commencez par un seul prompt et comparez les résultats vous-même.

Partager cet article

Choisissez votre langue

FreeCréez des images et vidéos IAGratuit, sans carte bancaireGénérations gratuites pour commencerSeedance 2.5 Lite inclusCommencez gratuitement