클로드의 체스 Elo는? LLM 체스 리더보드로 본 실력

클로드(Claude)에게 공식 체스 Elo는 없어요. Claude는 Chess.com, Lichess, FIDE의 공식 레이팅을 갖고 있지 않고, Anthropic이 발표한 체스 레이팅도 찾을 수 없었어요. 대신 AI 모델끼리, 또는 AI 모델과 체스 엔진을 대국시키는 독립적인 LLM 체스 리더보드가 있어요. 2026년 10월 22일 기준, 이런 리더보드에서 가장 강한 Claude인 Claude Opus 5.5는 그중 두 곳에서 약 1570점이에요. 이 숫자는 각 리더보드 안에서만 의미가 있어요.

Elo는 체스에서 쓰는 실력 점수예요. 원리는 간단해서, 나보다 강한 상대를 이기면 숫자가 올라가요.

리더보드 4곳의 클로드 체스 Elo

리더보드	평가 방식	Claude 최고 기록	비교 대상
Dubesor의 AI Chess Leaderboard, 2026년 10월 21일 업데이트	AI 모델끼리 둔 대국으로 낸 Elo, 자체 풀 기준	Claude Opus 5.5: 1571 ±97 (35판)	1위: Gemini 3.1 Pro Preview, 1860 ±85. 사람처럼 두는 maia5-1500 봇: 1554 ±90. 무작위로 합법적인 수를 두는 봇: 419
Maxim Saplin의 LLM Chess Leaderboard, 2026년 10월 20일 데이터	무작위 플레이어, 그리고 Chess.com에서 레벨별 레이팅이 매겨진 Komodo Dragon 엔진과의 대국	Claude Opus 5.5(높은 추론): 1575 ±113 (64판)	1위: GPT-6 Astra (high), 1614 ±110
LLM Chess Benchmark, 2026년 10월 22일 확인	고정된 엔진·봇 기준점에 대한 Glicko-2 레이팅, Lichess 클래식 레이팅 추정치로 표시	Claude Opus 5.5: 단 2판 기준 1197 (95% 범위 517–1876). Claude Opus 4.5 (high): 17판 기준 1012	최고 AI 모델: Gemini 3.1 Pro Preview (high), 2144
Google DeepMind와 Kaggle의 Game Arena 논문, 2026년 9월	모델 사이의 레이팅만 계산, 가장 약한 모델을 0으로 설정	Claude Opus 4.5: 236 (95% 범위 163–323)	1위: Gemini 3 Pro Preview, 1325. DeepSeek V3.2: 0

같은 회사의 모델인데 숫자는 네 가지로 전혀 달라요. 어느 것도 틀린 건 아니에요. 서로 다른 상대와 다른 규칙으로 다른 것을 재고 있을 뿐이에요. Kaggle은 새 대국이 진행될 때마다 바뀌는 실시간 체스 리더보드도 운영하는데, 여기에는 그 숫자를 옮겨 적지 않았어요.

Opus, Sonnet, Haiku: Claude 모델별 비교

Saplin의 리더보드는 대부분의 Claude 버전을 같은 방식으로 테스트해서 흐름을 보기 좋아요. 2026년 10월 20일 기준 레이팅이에요.

Claude 모델(설정)	Elo	대국 수
Claude Opus 5.5 (높은 추론)	1575 ±113	64
Claude Opus 5 (적응형 사고, high)	1285 ±127	53
Claude Sonnet 5.5 (높은 추론)	1195 ±120	74
Claude Haiku 5.5 (높은 추론)	1143 ±108	60
Claude Sonnet 5 (높은 추론)	806 ±79	134
Claude Opus 4.5 (사고 예산 16,000토큰)	446 ±141	49
Claude Opus 4.5 (기본 설정)	71 ±96	66

두 가지 패턴이 눈에 띄어요. 첫째, 새 세대일수록 훨씬 강해요. 이 척도에서 Opus 5.5는 Opus 4.5보다 1,000점 넘게 높아요. 둘째, 같은 모델이라도 설정에 따라 결과가 크게 바뀌어요. Opus 4.5는 사고 예산을 받으면 400점 가까이 올라가요. Saplin의 리더보드에는 Claude Fable이 없어요. Dubesor의 리더보드에서 Claude Fable 5는 1465 ±88로, Claude Opus 5.5보다 아래예요.

LLM 체스 Elo를 재기가 어려운 이유

Elo 자체는 단순하지만, 언어 모델에 적용하려면 다섯 가지가 걸림돌이 돼요.

1. Elo는 하나의 풀 안에서만 통해요. 레이팅은 실제로 만난 상대를 상대로 얼마나 점수를 냈는지를 말해 줘요. Dubesor의 페이지는 Elo가 항상 측정한 풀에 상대적이라고 분명히 밝혀요. Saplin도 자신의 숫자를 다른 풀과 비교할 수 없다고 적어 두었어요. Game Arena 논문은 한발 더 나아가 가장 약한 모델을 0으로 정해서, Claude Opus 4.5가 거기서 236으로 나와요.
2. 대국 수가 적으면 오차 범위가 넓어요. Claude Opus 5.5는 LLM Chess Benchmark에서 겨우 두 판을 뒀기 때문에, 레이팅이 517부터 1876 사이 어디든 될 수 있어요. 거기서 나온 1197이라는 숫자는 알려 주는 게 거의 없어요.
3. 설정이 바뀌면 다른 플레이어가 돼요. 같은 벤치마크에서 Claude Opus 4.5는 높은 수준의 사고를 켜면 1012, 끄면 175예요. 프롬프트도 중요해요. Dynomight는 2024년 11월 매 수마다 지금까지의 대국 전체를 다시 쓰게 하는 것 같은 간단한 요령으로 GPT-4o가 훨씬 잘 두게 된다는 걸 보여 줬어요. Claude는 그 테스트에 포함되지 않았어요.
4. 불법수는 패배로 처리돼요. Game Arena에서는 모델이 합법적인 수를 두기까지 네 번의 기회가 있고, 그래도 실패하면 그 판을 져요. Saplin의 테스트 환경에서는 한 수를 고르는 동안 불법수나 형식이 잘못된 답변 같은 실수를 세 번 하면 패배로 기록해요. 그러니 각 레이팅의 일부는 체스가 아니라 지시를 얼마나 잘 따르는지를 재는 셈이에요.
5. 모델은 몇 달마다 바뀌어요. 2025년 8월 Claude Opus 4는 Kaggle의 AI 체스 이벤트 대회에서 Gemini 2.5 Pro에게 4–0으로 졌다고 Chess.com이 보도했어요. 1년 뒤 Claude Opus 5.5는 Saplin의 리더보드에서 1위와 오차 범위 안에 있어요. 레이팅은 특정 시점, 특정 설정, 특정 버전 하나를 설명할 뿐이에요.

LLM 체스 Elo 1570은 얼마나 강할까?

언어 모델로서는 훌륭하지만 엔진과는 비교도 안 돼요. Dubesor의 리더보드에서 Claude Opus 5.5는 레이팅 1500대 Lichess 사용자들의 대국 1,000만 판 이상으로 학습한 신경망 maia5-1500과 같은 수준이에요. Dubesor는 자신의 테스트를 바탕으로 신뢰도가 낮은 대략적인 비교도 덧붙였어요. 그의 리더보드에서 약 1850(최상위 AI 모델)은 Chess.com의 2000 레이팅 봇과 비슷했고, 1위인 Gemini 3.1 Pro Preview는 2100, 2200, 2400 레이팅 봇에게 졌어요.

체스 엔진은 이 리더보드에서 경쟁자로 나오지 않아요. 엔진은 심판 역할을 해요. Dubesor는 AI 플레이어가 둔 수를 Stockfish 17.1로 판정해요. 엔진과 챗봇의 정면 대결은 스톡피쉬 vs 챗지피티에서 다뤄요.

클로드의 Elo가 생각보다 덜 중요한 이유

체스 실력을 키우고 싶다면 Claude가 강한 플레이어일 필요는 없어요. 필요한 건 내가 둔 수에 대한 정확한 사실, 그리고 그걸 참을성 있게 설명해 줄 누군가예요. Chess Coach는 이 일을 나눠서 해요. 저희 서버에서 Stockfish가 끝난 Chess.com이나 Lichess 대국을 분석하고, Claude가 엔진이 찾은 내용을 인터랙티브 체스판 위에서 쉬운 말로 풀어 줘요. 화면에 보이는 모든 평가치는 엔진에서 나오기 때문에, Claude 자체의 레이팅이 리뷰의 질을 제한하지 않아요. 분석 방식 보기, Chess Coach 연결하기, 또는 Claude가 혼자서 잘하는 것이 궁금하다면 클로드 체스: Claude는 체스를 둘 수 있을까?를 읽어 보세요.