AI 체스 대결: 클로드와 챗GPT 중 누가 더 잘 둘까?

클로드(Claude)와 챗GPT의 AI 체스 대결은 박빙이고, 둘 다 체스를 가장 잘 두는 챗봇은 아니에요. 2026년 10월 25일 기준 OpenAI가 테스트한 가장 강한 모델인 GPT-6 Astra가 공개 LLM 체스 리더보드 두 곳에서 Claude Opus 5.5보다 살짝 위에 있지만 오차 범위가 겹치고, 둘 다 Google의 Gemini에 뒤져요. 그리고 셋 중 누구도 Stockfish 같은 진짜 체스 엔진 근처에도 못 가요.

숫자를 보기 전에 한 가지 짚어 둘게요. "ChatGPT"는 앱이지 하나의 모델이 아니에요. 리더보드는 정해진 "사고" 시간을 주고 OpenAI 모델을 직접 테스트하는데, ChatGPT에서 실제로 쓰게 되는 모델은 플랜과 설정에 따라 달라요. Claude도 마찬가지예요. Opus, Sonnet, Haiku는 체스 실력이 크게 달라요.

공개 테스트 세 곳에서 회사별 최고 모델의 점수예요. Elo는 체스에서 쓰는 실력 점수로, 숫자가 높을수록 강한 플레이어예요. 각 숫자는 자기 리더보드 안에서만 의미가 있어요.

AI 계열	AI Chess Leaderboard (Dubesor, 2026년 10월 25일)	LLM Chess Leaderboard (Saplin, 2026년 10월 20일 데이터)	Game Arena 논문 (Kaggle, 2026년 9월)
Gemini (Google)	Gemini 3.1 Pro Preview: 1860 ±85	Gemini 4 Argon (high): 1609 ±131	Gemini 3 Pro Preview: 1325
ChatGPT 모델 (OpenAI)	GPT-6 Astra: 1637 ±86	GPT-6 Astra (high): 1614 ±110	o3: 1009
Claude (Anthropic)	Claude Opus 5.5: 1571 ±97	Claude Opus 5.5 (high): 1575 ±113	Claude Opus 4.5: 236
DeepSeek	DeepSeek V4 Flash (0731): 1438 ±99	DeepSeek R1 (0528): 300 ±134	DeepSeek V3.2: 0 (척도의 기준점)
Grok (xAI)	Grok 4: 1415 ±118 (은퇴)	Grok 4.7 (high): 890 ±217	Grok 4: 773

감을 잡기 위해 덧붙이면, Dubesor의 리더보드에서 레이팅 1500대 Lichess 사용자들의 대국으로 학습한 사람 같은 신경망 maia5-1500은 1554 ±90이고, 합법적인 수를 무작위로 두는 봇은 419예요. Game Arena 논문은 예전 모델을 테스트했고 가장 약한 모델을 0으로 놓기 때문에, 숫자가 훨씬 낮고 다른 두 열과 비교할 수 없어요.

클로드 vs 챗GPT AI 체스 대결: 맞대결 숫자

최신 모델끼리는 차이가 작아요. Saplin의 리더보드에서 GPT-6 Astra는 1614 ±110, Claude Opus 5.5는 1575 ±113으로 서로의 오차 범위 안에 충분히 들어가요. Dubesor의 리더보드에서는 약 65점 차이인데, 이것도 범위가 겹쳐요. 그곳에서 Claude Opus 5.5는 블런더도 조금 적어요. 둔 수의 2.8%가 승리 확률을 크게 잃은 수였고, GPT-6 Astra는 3.3%였어요. Dubesor는 승리 확률을 15% 이상 떨어뜨리는 수를 블런더로 쳐요.

1년 전에는 그림이 달랐어요. 2025년부터 2026년 초까지 테스트한 모델을 평가한 Game Arena 논문에서 OpenAI의 o3는 1009, Claude Opus 4.5는 236에 불과해요. 그러니 "체스는 ChatGPT가 Claude보다 잘 둔다"는 말은 최근까지 타당한 요약이었어요. 최신 세대에서는 거의 동점이에요.

브랜드보다 설정이 더 중요해요. 공개 벤치마크인 LLM Chess Benchmark (2026년 10월 25일 확인)에서 Claude Opus 4.5는 높은 사고 설정에서 1012, 사고를 끄면 175이고, GPT-5.2는 높은 사고 설정에서 1039, 사고 없이 645예요. 어느 브랜드든 사고를 하지 않는 빠른 채팅 모델은, 같은 회사의 최고 모델에게 생각할 시간을 줬을 때보다 훨씬 약하게 둬요. 이 벤치마크에는 아직 Claude Opus 5.5의 대국이 두 판뿐이라 표에서는 뺐어요.

클로드 vs 제미나이, 그리고 Gemini가 앞서는 이유

넘어야 할 상대는 Gemini예요. Dubesor의 리더보드와 Game Arena 논문에서 1위이고, LLM Chess Benchmark에서도 Gemini 3.1 Pro Preview(high)가 2144로 선두예요. 2025년 8월 Kaggle의 첫 AI 체스 이벤트 대회에서는 Gemini 2.5 Pro가 8강에서 Claude Opus 4를 4–0으로 이겼다고 Chess.com이 보도했어요.

Gemini가 앞서는 이유 중 하나는 그냥 규칙을 잘 지킨다는 거예요. Game Arena에서는 네 번 안에 합법적인 수를 내지 못한 모델이 그 판을 졌어요. 논문에 따르면 Gemini 모델은 대부분의 상대와 둘 때 한 판에 0.2회 미만으로 다시 시도했지만, Claude Haiku 4.5와 DeepSeek V3.2는 다섯 번 넘게 필요한 경우가 많았어요. 자세한 내용은 제미나이는 체스를 둘 수 있을까?에 있어요.

챗GPT vs DeepSeek, 챗GPT vs Grok

2025년 이벤트 대회에서 OpenAI 모델은 둘 다 이겼어요. OpenAI의 작은 모델인 o4-mini가 8강에서 DeepSeek R1을 4–0으로 이겼어요. 결승에서는 o3가 Grok 4를 4–0으로 이겼는데, Chess.com의 결승 보도에 따르면 그전 라운드까지는 Grok이 우승 후보처럼 보였어요.

지금의 리더보드도 같은 이야기를 해요. Dubesor의 리더보드에서 DeepSeek의 최고 모델은 1438 ±99, Grok의 현재 최고 추론 모델인 Grok 4.20은 1362 ±89로, 둘 다 GPT-6 Astra보다 아래예요. Grok의 전체 기록은 Grok chess에서 볼 수 있어요.

"더 나은" 챗봇도 여전히 체스를 잘 두지 못하는 이유

어떤 어시스턴트를 고르든 같은 한계가 있어요. 언어 모델은 가장 그럴듯해 보이는 수를 쓸 뿐, 엔진처럼 상대의 응수를 탐색하지 않아요. 판을 머릿속에 담아 둬야 해서 긴 대국에서는 기물 위치를 놓칠 수 있어요. 가장 좋은 리더보드에서도 최상위 모델이 지금까지 둔 수 목록만 볼 때는 여전히 불법수를 시도해요. 그 원리는 챗GPT가 불법수를 두는 이유에서, Claude의 숫자는 클로드의 체스 Elo는?에서 자세히 설명해요.

최상위는 얼마나 강할까요? Dubesor는 자기 테스트를 바탕으로 신뢰도가 낮은 대략적인 비교를 제시해요. 그의 리더보드에서 약 1850은 레이팅 2000 안팎인 Chess.com의 레벨 16 봇과 비슷했다고 해요. 그러니 2026년 10월의 최고 챗봇은 느린 대국에서 꽤 괜찮은 클럽 플레이어처럼 두고, 엔진이라면 절대 하지 않을 실수를 해요.

그냥 재미로 두고 싶다면 둘 다 괜찮아요. 매 차례 전체 기보를 붙여 넣고, 불법수를 잡아낼 실제 체스판을 열어 두고, 사고를 켠 가장 강한 모델을 고르세요. 클로드와 체스 두기 가이드와 챗GPT는 체스를 둘 수 있을까?에서 방법을 차근차근 안내해요.

Chess Coach의 역할

Chess Coach는 어느 어시스턴트도 더 강한 플레이어로 만들어 주지 않고, 여러분과 대국하지도 않아요. Chess Coach는 Claude와 ChatGPT용 커넥터로, 끝난 Chess.com과 Lichess 대국을 저희 서버에서 Stockfish로 리뷰해요. 그러면 어시스턴트가 인터랙티브 체스판 위에서 핵심 순간을 쉬운 말로 설명하고, 여러분이 둔 수는 빨간 화살표, 더 나은 수는 초록 화살표로 표시돼요. 모든 평가는 엔진에서 나오기 때문에 어느 챗봇이 더 잘 두는지는 상관없어요. Gemini나 Grok에서는 작동하지 않고, 진행 중인 대국은 절대 돕지 않아요. 무료 플랜에는 하루 1회 심층 리뷰가 포함돼요. Claude나 ChatGPT에 연결하기 또는 문서를 확인해 보세요.