개요
LMSYS Chatbot Arena Leaderboard는 합성 벤치마크 대신 실제 사용자의 선호도를 바탕으로 대규모 언어 모델(LLM)의 순위를 매기는 참여형 평가 플랫폼입니다. 사용자는 익명의 두 모델과 나란히 대화한 뒤 더 나은 답변에 투표합니다. 이렇게 모인 1,000,000건 이상의 비교 결과에 Bradley–Terry 모델과 Elo 방식의 평점을 적용해 오픈 소스 및 독점 LLM의 순위를 산출합니다.
리더보드에서는 코딩, 추론, 글쓰기, 일반 대화 등 다양한 작업에서 모델의 성능을 살펴볼 수 있습니다. 연구자, 개발자, 제품팀은 평점을 참고해 모델을 선택하고, 새로 출시된 모델을 비교하며, LLM 분야의 변화를 추적할 수 있습니다. 새로운 대결 결과와 모델이 계속 반영되므로 순위도 갱신됩니다.
LMSYS Chatbot Arena Leaderboard는 웹에서 무료로 이용할 수 있습니다. 다음 제품에 사용할 모델을 고르거나 자체 LLM의 성능을 비교하거나 주요 챗봇을 살펴볼 때, 대규모 사용자 평가에 기반한 참고 자료로 활용할 수 있습니다.
LMArena Text Leaderboard
Top 10 LLMs by current Elo / Bradley–Terry scores from LMArena human-preference battles. Click a model name to see its ToolHub family page; ↗ links to the official source.
| # | Model | Elo Score |
|---|---|---|
| 1 | Anthropic | 1509 |
| 2 | Anthropic | 1504 |
| 3 | Anthropic | 1502 |
| 4 | Anthropic | 1499 |
| 5 | Anthropic | 1494 |
| 6 | Meta | 1487 |
| 7 | 1486 | |
| 8 | 1486 | |
| 9 | Anthropic | 1484 |
| 10 | OpenAI | 1481 |
- Elo gap from #1 to #10 is just 28 points.Differences under ~10 points are often within noise — treat the entire top 10 as one tier and pick by task fit and cost, not by who’s “smartest” on this single chart.
- Pick by task, not by overall rank:coding, refactoring, and long-document analysis → Claude; general utility + voice + image → ChatGPT; Workspace integration + multimodal → Gemini; self-hosted or zero-cost → Meta AI / Llama.
- Are “thinking” variants worth it? Thinking models excel at hard reasoning but cost more latency and tokens. Use the regular variant by default; switch to thinking only for tough coding, math, or multi-step problems.
- This is the Text leaderboard only. Coding battles, web dev, vision understanding, and long context each have their own sub-arena — see WebDev / Vision / Coding tabs on the official LMArena site.
요금
요금과 한도는 변경될 수 있습니다. 통화, 결제 주기, 최소 사용자 수 및 이용 한도를 공식 웹사이트에서 확인하세요.
활용 사례
- 제품 및 앱용 모델 선택: 리더보드에서 주요 LLM을 비교해 챗봇, 코파일럿, 콘텐츠 도구에 적합한 모델을 고릅니다.
- 연구 개발용 벤치마킹: Arena 순위를 사용자 선호도 기준선으로 삼아 새 모델, 파인튜닝 모델, 시스템 프롬프트를 검증합니다.
- 시장 및 경쟁 분석: 오픈 소스 및 상용 LLM의 변화를 추적해 전략, 파트너십, 모델 이전 계획에 참고합니다.
기능
사용자 참여형 모델 비교
Elo 방식의 LLM 성능 평점
Bradley–Terry 통계 기반 순위
익명 모델의 나란히 보기 대결
오픈 모델과 비공개 모델 통합 비교
지속적으로 갱신되는 리더보드 데이터
무료 웹 평가 기능
작업 유형별 세부 분석
리뷰
아직 리뷰가 없습니다. 첫 번째로 사용 경험을 공유해 보세요!
자주 묻는 질문
What is LMSYS Chatbot Arena Leaderboard?
LMSYS Chatbot Arena Leaderboard is a free, crowdsourced platform that ranks large language models based on over one million human pairwise comparisons, using the Bradley–Terry model and Elo-style ratings to provide robust, real-world performance rankings.
How are the model scores and rankings calculated?
Scores are derived from human pairwise comparisons where users choose which of two anonymous models responds better. These outcomes are fed into the Bradley–Terry statistical model and converted to Elo-style ratings, producing a consistent ranking across many models and tasks.
Is LMSYS Chatbot Arena Leaderboard free to use?
Yes. The leaderboard is completely free to access in your browser. You can view rankings, inspect model details, and participate in chat battles without any subscription fees.
Can I use the leaderboard to choose a model for my product?
Yes. Many developers and teams use the leaderboard as a human-centric reference when selecting LLMs. You should still consider your specific domain, latency, cost, and safety needs, but Arena ratings provide a strong starting point.
Can I submit or benchmark my own model?
LMSYS periodically adds new models to the Arena. If you maintain an LLM and want it evaluated, you can follow the official documentation and submission channels on the LMSYS website or GitHub to request inclusion.