LLM-Schach-Benchmark: die öffentlichen Ranglisten im Vergleich

Ein LLM-Schach-Benchmark lässt Sprachmodelle Schach spielen, gegeneinander, gegen Engines oder gegen einen Zufallsspieler, und macht aus den Ergebnissen eine Wertung. Stand 26. Oktober 2026 konnten wir vier öffentliche Benchmarks samt Methode und Zahlen prüfen. Gemini-Modelle führen drei davon an, die besten Modelle von OpenAI und Anthropic liegen bei Dubesor und Saplin in den 1500ern bis 1600ern, und kein LLM kommt im Schach auch nur in die Nähe einer echten Schach-Engine.

Die Wertungen lassen sich nicht zwischen den Ranglisten austauschen. Jede hat ihre eigenen Gegner, ihre eigenen Regeln für illegale Züge und ihren eigenen Nullpunkt. Deshalb steht auf dieser Seite neben jeder Zahl die Methode.

Die vier LLM-Schach-Ranglisten auf einen Blick

Geprüft am 26. Oktober 2026. „Letzte Daten“ ist das Datum, das die Quelle selbst angibt.

Rangliste	Betreiber	Wie die Wertung entsteht	Gegner	Illegale Züge	Letzte Daten
AI Chess Leaderboard	Dubesor, unabhängiger Entwickler	Elo nach jeder Partie aktualisiert; Startwert aus der Genauigkeit laut Stockfish 17.1	Andere KI-Modelle; maia5-1500 und ein Zufallsspieler als Referenz	Als Spalte „Legal %“ erfasst	26.10.2026 (357 Modelle, 5.163 Matches)
LLM Chess Leaderboard	Maxim Saplin; Paper mit Koautoren (arXiv 2512.01992)	Maximum-Likelihood-Elo mit 95-%-Intervall	Ein Zufallsspieler und die Engine Komodo Dragon auf Stufen mit Chess.com-Wertung; das Modell spielt immer Schwarz	Niederlage nach 3 Fehlversuchen in einem Zug oder 10 Dialogrunden	Datendatei vom 20.10.2026 (GitHub)
LLM Chess Benchmark	Open-Source-Projekt (GitHub)	Glicko-2, kalibriert auf eine geschätzte Lichess-Classical-Wertung	Anker mit fester Wertung (Maia-Netze, die Engine Eubos, ein Zufallsspieler auf 400) und andere Modelle	Ein zweiter Versuch, danach ist die Partie verloren	Kein Datum auf der Seite; geprüft am 26.10.2026
Game-Arena-Paper	Google DeepMind und Kaggle, 62 Autoren	Bradley-Terry-Elo; das schwächste Modell wird auf 0 gesetzt	Spitzenmodelle von 5 Laboren, 40 Partien pro Paar	Niederlage nach vier Fehlversuchen	Eingereicht am 25.09.2026; Modellauswahl Stand Feb. 2026

Kaggle betreibt für Game Arena außerdem eine Live-Schachrangliste. Ihre Zahlen werden im Browser nachgeladen, und wir konnten sie nicht zuverlässig auslesen, deshalb fehlen sie hier.

Die Spitzenwertungen jeder Rangliste

Jede Zeile nennt ihre Quelle. „±“ und Spannen sind die Unsicherheit der jeweiligen Rangliste. Wir haben nur Zahlen übernommen, die wir am 26. Oktober 2026 in der Quelle sehen konnten.

Rangliste	Modell	Wertung	Partien	Quelle
Dubesor	Gemini 3.1 Pro Preview	1860 ±85	81	dubesor.de, 26.10.
Dubesor	GPT-6 Astra	1637 ±86	45	dubesor.de, 26.10.
Dubesor	Claude Opus 5.5	1571 ±98	35	dubesor.de, 26.10.
Dubesor	maia5-1500 (menschenähnliches Netz, kein LLM)	1554 ±90	46	dubesor.de, 26.10.
Dubesor	DeepSeek V4 Flash (0731)	1438 ±99	44	dubesor.de, 26.10.
Dubesor	Grok 4.20 Reasoning	1362 ±89	47	dubesor.de, 26.10.
Dubesor	Zufallsspieler (Basislinie)	419	200	dubesor.de, 26.10.
Saplin	GPT-6 Astra (high)	1614 ±110	67	Saplin, Daten vom 20.10.
Saplin	GPT-6.1 Sol (xhigh)	1612 ±162	30	Saplin, Daten vom 20.10.
Saplin	Gemini 4 Argon (high)	1609 ±131	40	Saplin, Daten vom 20.10.
Saplin	Claude Opus 5.5 (high)	1575 ±113	64	Saplin, Daten vom 20.10.
LLM Chess Benchmark	Gemini 3.1 Pro Preview (high)	2144 (1963–2325)	18	chessbenchllm, 26.10.
LLM Chess Benchmark	GPT-6 Astra (high)	1975 (1870–2081)	50	chessbenchllm, 26.10.
LLM Chess Benchmark	maia-1900 (Anker, kein LLM)	1816	256	chessbenchllm, 26.10.
LLM Chess Benchmark	Claude Opus 5.5 (high)	1197 (517–1876)	2	chessbenchllm, 26.10.
Game-Arena-Paper	Gemini 3 Pro Preview	1325	40 pro Paar	arXiv 2609.31473
Game-Arena-Paper	o3	1009	40 pro Paar	arXiv 2609.31473
Game-Arena-Paper	Grok 4	773	40 pro Paar	arXiv 2609.31473
Game-Arena-Paper	Claude Opus 4.5	236	40 pro Paar	arXiv 2609.31473

Schau auf die Zahl der Partien, bevor du die Wertungen liest. Claude Opus 5.5 hat im LLM Chess Benchmark zwei Partien, deshalb reicht sein 95-%-Bereich dort von 517 bis 1876: Das sagt noch so gut wie nichts. Das Game-Arena-Paper testete eine ältere Modellgeneration, darum sehen seine Zahlen so anders aus.

Wie jeder LLM-Schach-Benchmark funktioniert

Dubesors AI Chess Leaderboard hat den größten Pool. Jedes Modell bekommt eine Startwertung aus der Genauigkeit seiner ersten zehn Partien, beurteilt von Stockfish 17.1, danach normale Elo-Updates nach jeder Partie KI gegen KI. Für jedes Modell veröffentlicht die Seite außerdem die Stockfish-Genauigkeit und eine Patzerquote sowie eine eigene Puzzle-Wertung gegen die offiziellen Puzzle-Wertungen von Lichess. In dieser Puzzle-Tabelle führt Gemini 4 Argon (high) mit 2193 ±85, GPT-6 Astra kommt auf 1921 ±71 und Claude Opus 5.5 auf 1631 ±72. Dubesor weist darauf hin, dass die Elo hier relativ zum eigenen Pool ist.

Saplins LLM Chess Leaderboard lässt die Modelle über einen kurzen Dialog spielen: Sie können das Brett abfragen, die legalen Züge abfragen oder einen Zug abgeben. Wer in einem Zug dreimal das Format bricht oder zehn Runden redet, ohne zu ziehen, verliert. Damit ist es teilweise auch ein Test im Befolgen von Anweisungen. Das Paper dazu (Dezember 2025) stellte fest, dass viele führende Modelle Mühe hatten, Partien zu Ende zu spielen oder konstant zu gewinnen, selbst gegen einen Zufallsgegner, und dass Reasoning-Modelle die anderen klar schlugen.

Der LLM Chess Benchmark bemüht sich am meisten, die Sprache menschlicher Wertungen zu sprechen. Die Modelle treffen auf Anker mit fester Lichess-Classical-Wertung, und die Ergebnisse werden mit Glicko-2 auf diese Skala übertragen, einem Wertungssystem, das zusätzlich festhält, wie unsicher jede Wertung ist. Eine Untergrenze gibt es nicht, schwache Modelle können also unter null fallen. Die Methodikseite enthält einen Vorbehalt, dem wir zustimmen: Der Autor erwartet, dass die Modelle gegen Menschen schlechter abschneiden würden, weil Menschen systematische Schwächen besser ausnutzen.

Das Game-Arena-Paper ist am stärksten kontrolliert. Jedes Modellpaar spielt 40 Partien, 20 mit jeder Farbe, über öffentliche APIs mit Standardeinstellungen und ohne Werkzeuge. Die Wertungen sind relativ, das schwächste Modell steht auf 0. Die Autoren verfolgten mit Stockfish, wer in jeder Partie vorn lag, und stellten fest, dass die Modelle ausgeglichen beginnen und im Mittelspiel auseinanderdriften.

Was diese Benchmarks messen: spielen, nicht erklären

Alle vier Ranglisten bewerten dasselbe: Kann das Modell eine Partie gewinnen und dabei legal ziehen? Keine prüft, ob das Modell eine Stellung richtig erklärt, und genau darum bitten die meisten Leute einen Chatbot nach einer Partie.

Das sind verschiedene Fähigkeiten. Ein eigener Forschungsbenchmark, ChessQA (Oktober 2025), testete Verständnis statt Spielstärke, in fünf Bereichen von den Grundregeln über Taktik bis zur Stellungsbewertung und zu Schachkonzepten. Die Autoren berichten von anhaltenden Schwächen in jedem Bereich bei den getesteten Modellen. Ein Modell mit ordentlicher Spielwertung kann also trotzdem eine selbstsichere, falsche Erklärung liefern.

Diese Lücke ist die ehrliche Lehre aus jeder LLM-Schachrangliste. Selbst auf der Rangliste, die auf Lichess Classical umrechnet und das beste Modell auf 2144 schätzt, patzen die Modelle weiterhin, und nichts im Modell prüft seine eigenen Aussagen. Speziell zu Claude: Welche Schach-Elo hat Claude? und Claude gegen ChatGPT im Schach. Was passiert, wenn ein Modell auf eine echte Engine trifft, zeigt ChatGPT gegen Stockfish.

Warum Chess Coach für die Fakten Stockfish nutzt

Diese Ranglisten sind der Grund, warum Chess Coach das Sprachmodell nicht entscheiden lässt, was in einer Stellung wahr ist. Chess Coach ist ein Connector für Claude und ChatGPT. Er analysiert deine beendeten Chess.com- und Lichess-Partien mit Stockfish auf unserem eigenen Server, und jede Bewertung, jeder beste Zug und jede Variante stammt von der Engine. Dein Assistent übernimmt den Teil, den Sprachmodelle gut können: diese Fakten passend zu deinem Niveau in einfache Worte zu fassen, auf einem interaktiven Brett mit markierten Schlüsselmomenten. So begrenzt die eigene Spielstärke des Assistenten nicht die Qualität deiner Analyse. Der kostenlose Plan enthält eine ausführliche Analyse pro Tag. Verbinde Chess Coach, lies die Dokumentation oder sieh dir in unserem Ratgeber zu Claude Code Skills für Schach an, wie Schachwerkzeuge in Claude eingebunden werden.