Classement IA aux échecs : les benchmarks publics de LLM comparés

Un benchmark d'échecs pour LLM fait jouer des modèles de langage aux échecs, entre eux, contre des moteurs ou contre un joueur qui joue au hasard, et transforme les résultats en classement. Au 26 octobre 2026, nous avons pu vérifier quatre classements IA d'échecs publics, avec leurs méthodes et leurs chiffres. Les modèles Gemini mènent trois d'entre eux, les meilleurs modèles d'OpenAI et d'Anthropic se situent entre 1500 et 1650 environ sur les classements de Dubesor et de Saplin, et aucun modèle ne s'approche d'un vrai moteur d'échecs.

Les classements ne sont pas interchangeables d'un tableau à l'autre. Chacun a ses adversaires, ses règles pour les coups illégaux et son propre point zéro. C'est pourquoi cette page place la méthode à côté de chaque chiffre.

Les quatre classements d'IA aux échecs en un coup d'œil

Vérifiés le 26 octobre 2026. « Dernières données » est la date affichée par la source elle-même.

Classement	Qui le gère	Comment l'Elo est calculé	Adversaires	Coups illégaux	Dernières données
AI Chess Leaderboard	Dubesor, développeur indépendant	Elo mis à jour après chaque partie ; valeur de départ tirée de la précision mesurée par Stockfish 17.1	D'autres modèles d'IA ; maia5-1500 et un joueur aléatoire comme références	Suivis dans une colonne « Legal % »	26 oct. 2026 (357 modèles, 5 163 matchs)
LLM Chess Leaderboard	Maxim Saplin ; article avec des coauteurs (arXiv 2512.01992)	Elo par maximum de vraisemblance, avec un intervalle à 95 %	Un joueur aléatoire et le moteur Komodo Dragon à des niveaux classés sur Chess.com ; le modèle a toujours les Noirs	Défaite après 3 erreurs sur un même coup, ou 10 tours de dialogue	Fichier de données du 20 oct. 2026 (GitHub)
LLM Chess Benchmark	Projet open source (GitHub)	Glicko-2, calibré sur un classement Lichess Classical estimé	Références à classement fixe (réseaux Maia, moteur Eubos, joueur aléatoire fixé à 400) et d'autres modèles	Un nouvel essai, puis la partie est perdue par forfait	Pas de date sur la page ; vérifié le 26 oct. 2026
Article Game Arena	Google DeepMind et Kaggle, 62 auteurs	Elo de Bradley–Terry ; le modèle le plus faible est fixé à 0	Modèles de pointe de 5 laboratoires, 40 parties par paire	Défaite après quatre tentatives ratées	Soumis le 25 sept. 2026 ; modèles choisis en février 2026

Kaggle propose aussi un classement d'échecs en direct pour Game Arena. Ses chiffres se chargent dans le navigateur et nous n'avons pas pu les lire de façon fiable, donc nous les avons laissés de côté.

Les meilleurs Elo de chaque classement

Chaque ligne indique sa source. Les « ± » et les fourchettes sont l'incertitude propre à chaque classement. Nous n'avons recopié que des chiffres visibles sur la source le 26 octobre 2026.

Classement	Modèle	Elo	Parties	Source
Dubesor	Gemini 3.1 Pro Preview	1860 ±85	81	dubesor.de, 26 oct.
Dubesor	GPT-6 Astra	1637 ±86	45	dubesor.de, 26 oct.
Dubesor	Claude Opus 5.5	1571 ±98	35	dubesor.de, 26 oct.
Dubesor	maia5-1500 (réseau au jeu humain, pas un LLM)	1554 ±90	46	dubesor.de, 26 oct.
Dubesor	DeepSeek V4 Flash (0731)	1438 ±99	44	dubesor.de, 26 oct.
Dubesor	Grok 4.20 Reasoning	1362 ±89	47	dubesor.de, 26 oct.
Dubesor	Joueur aléatoire (référence)	419	200	dubesor.de, 26 oct.
Saplin	GPT-6 Astra (high)	1614 ±110	67	Saplin, données du 20 oct.
Saplin	GPT-6.1 Sol (xhigh)	1612 ±162	30	Saplin, données du 20 oct.
Saplin	Gemini 4 Argon (high)	1609 ±131	40	Saplin, données du 20 oct.
Saplin	Claude Opus 5.5 (high)	1575 ±113	64	Saplin, données du 20 oct.
LLM Chess Benchmark	Gemini 3.1 Pro Preview (high)	2144 (1963–2325)	18	chessbenchllm, 26 oct.
LLM Chess Benchmark	GPT-6 Astra (high)	1975 (1870–2081)	50	chessbenchllm, 26 oct.
LLM Chess Benchmark	maia-1900 (référence, pas un LLM)	1816	256	chessbenchllm, 26 oct.
LLM Chess Benchmark	Claude Opus 5.5 (high)	1197 (517–1876)	2	chessbenchllm, 26 oct.
Article Game Arena	Gemini 3 Pro Preview	1325	40 par paire	arXiv 2609.31473
Article Game Arena	o3	1009	40 par paire	arXiv 2609.31473
Article Game Arena	Grok 4	773	40 par paire	arXiv 2609.31473
Article Game Arena	Claude Opus 4.5	236	40 par paire	arXiv 2609.31473

Regardez le nombre de parties avant l'Elo. Claude Opus 5.5 n'a que deux parties sur le LLM Chess Benchmark, donc sa fourchette à 95 % y va de 517 à 1876 : elle ne dit presque rien pour l'instant. L'article Game Arena a testé une génération de modèles plus ancienne, ce qui explique des chiffres si différents.

Comment fonctionne chaque benchmark d'échecs pour LLM

L'AI Chess Leaderboard de Dubesor est le plus grand groupe. Chaque modèle reçoit un Elo de départ selon la précision de ses dix premières parties, jugée par Stockfish 17.1, puis des mises à jour Elo classiques après chaque partie IA contre IA. Il publie aussi la précision Stockfish et un taux de gaffes pour chaque modèle, ainsi qu'un classement séparé en problèmes, mesuré contre les classements officiels des problèmes Lichess. Dans ce tableau de problèmes, Gemini 4 Argon (high) mène à 2193 ±85, GPT-6 Astra obtient 1921 ±71 et Claude Opus 5.5 1631 ±72. La page de Dubesor prévient que l'Elo y est relatif à son propre groupe.

Le LLM Chess Leaderboard de Saplin fait jouer les modèles au moyen d'un court dialogue : ils peuvent demander l'échiquier, demander les coups légaux ou jouer un coup. Sortir du format trois fois sur un même coup, ou parler pendant dix tours sans jouer, fait perdre la partie. C'est donc en partie un test de respect des consignes. L'article associé (décembre 2025) a constaté que beaucoup de modèles de pointe peinaient à terminer leurs parties ou à gagner régulièrement, même contre un adversaire aléatoire, et que les modèles de raisonnement battaient nettement les autres.

Le LLM Chess Benchmark est celui qui cherche le plus à parler le langage des classements humains. Les modèles affrontent des références à classement Lichess Classical fixe, et les résultats sont reportés sur cette échelle avec Glicko-2, un système de classement qui mesure aussi l'incertitude de chaque note. Il n'y a pas de plancher, donc les modèles faibles peuvent descendre sous zéro. Sa page de méthodologie ajoute une réserve que nous partageons : l'auteur pense que les modèles feraient moins bien contre des humains, plus doués pour exploiter des faiblesses systématiques.

L'article Game Arena est le plus contrôlé. Chaque paire de modèles joue 40 parties, 20 avec chaque couleur, via les API publiques, avec les réglages par défaut et sans outils. Les classements sont relatifs, donc le modèle le plus faible est fixé à 0. Les auteurs ont utilisé Stockfish pour suivre qui gagnait au fil de chaque partie et ont constaté que les modèles commencent à égalité puis s'écartent au milieu de partie.

Ce que mesurent ces classements : jouer, pas expliquer

Les quatre classements notent la même chose : le modèle sait-il gagner une partie et jouer des coups légaux ? Aucun ne vérifie s'il explique correctement une position, ce que la plupart des gens demandent pourtant à un chatbot après une partie.

Ce sont deux compétences différentes. Un autre benchmark de recherche, ChessQA (octobre 2025), a testé la compréhension plutôt que le jeu, dans cinq domaines allant des règles de base à la tactique, à l'évaluation des positions et aux concepts d'échecs. Ses auteurs relèvent des faiblesses persistantes dans tous les domaines pour les modèles testés. Un modèle au classement de jeu correct peut donc donner une explication assurée et fausse.

C'est la leçon honnête de tous les classements IA d'échecs. Même sur celui qui se cale sur Lichess Classical, où le meilleur modèle est estimé à 2144, les modèles font encore des gaffes, et rien dans le modèle ne vérifie ce qu'il affirme. Pour Claude en particulier, voyez Quel est l'Elo de Claude aux échecs ? et Claude vs ChatGPT aux échecs. Pour ce qui se passe quand un modèle affronte un vrai moteur, voyez ChatGPT vs Stockfish.

Pourquoi Chess Coach s'appuie sur Stockfish pour les faits

Ces classements expliquent pourquoi Chess Coach ne laisse pas le modèle de langage décider de ce qui est vrai dans une position. Chess Coach est un connecteur pour Claude et ChatGPT. Il analyse vos parties terminées sur Chess.com et Lichess avec Stockfish sur notre propre serveur, et chaque évaluation, meilleur coup et variante vient du moteur. Le rôle de votre assistant est ce que les modèles de langage font bien : traduire ces faits en mots simples adaptés à votre niveau, sur un échiquier interactif où les moments clés sont marqués. Ainsi, le niveau d'échecs de l'assistant ne limite pas la qualité de votre analyse. La formule gratuite comprend une analyse approfondie par jour. Connectez Chess Coach, lisez la documentation, ou découvrez comment des outils d'échecs se branchent sur Claude dans notre guide sur les skills d'échecs pour Claude.