概要
LMSYS Chatbot Arena Leaderboardは、合成ベンチマークではなく、実際の人間の選好に基づいて大規模言語モデル（LLM）を順位付けするクラウドソーシング型の評価プラットフォームです。ユーザーは匿名の2つのモデルと並べて会話し、より良い回答に投票します。100万件を超える人間の投票をもとに、Bradley-TerryモデルとElo形式の評価値を用いて、オープンソースと独自開発のLLMを統計的に順位付けします。
リーダーボードでは、コーディング、推論、文章作成、一般的な会話など、幅広いタスクでのモデルの評価を確認できます。研究者、開発者、製品チームは、用途に合うモデルの選定、新しいモデルの比較、LLMの進歩の把握に活用できます。新しい対戦結果やモデルが継続的に追加されるため、評価値も更新されます。
LMSYS Chatbot Arena LeaderboardはWebから無料で利用できます。製品向けのモデル選定、自社LLMの比較評価、主要なチャットボットの調査に、人間による大規模な評価を参考にできます。
LMArena Text Leaderboard
Top 10 LLMs by current Elo / Bradley–Terry scores from LMArena human-preference battles. Click a model name to see its ToolHub family page; ↗ links to the official source.
| # | Model | Elo Score |
|---|---|---|
| 1 | Anthropic | 1509 |
| 2 | Anthropic | 1504 |
| 3 | Anthropic | 1502 |
| 4 | Anthropic | 1499 |
| 5 | Anthropic | 1494 |
| 6 | Meta | 1487 |
| 7 | 1486 | |
| 8 | 1486 | |
| 9 | Anthropic | 1484 |
| 10 | OpenAI | 1481 |
- Elo gap from #1 to #10 is just 28 points.Differences under ~10 points are often within noise — treat the entire top 10 as one tier and pick by task fit and cost, not by who’s “smartest” on this single chart.
- Pick by task, not by overall rank:coding, refactoring, and long-document analysis → Claude; general utility + voice + image → ChatGPT; Workspace integration + multimodal → Gemini; self-hosted or zero-cost → Meta AI / Llama.
- Are “thinking” variants worth it? Thinking models excel at hard reasoning but cost more latency and tokens. Use the regular variant by default; switch to thinking only for tough coding, math, or multi-step problems.
- This is the Text leaderboard only. Coding battles, web dev, vision understanding, and long context each have their own sub-arena — see WebDev / Vision / Coding tabs on the official LMArena site.
料金
料金や制限は変更される場合があります。通貨、請求期間、最低ユーザー数、利用上限は公式サイトをご確認ください。
活用事例
- 製品やアプリ向けのモデル選定：主要なLLMを比較し、チャットボット、コパイロット、コンテンツ制作ツールに適したモデルを選ぶ。
- 研究開発でのベンチマーク：Arenaの順位を人間の選好に基づく基準として、新しいモデル、ファインチューニング済みモデル、システムプロンプトを検証する。
- 市場・競合分析：オープンソースと商用のLLMの変化を追い、戦略、提携、移行計画の検討に役立てる。
機能
人間によるクラウドソーシング型のモデル比較
Elo形式のLLM性能評価
Bradley-Terryモデルによる統計的な順位付け
匿名モデルによる並列チャット対戦
オープンモデルとクローズドモデルの一覧表示
継続的に更新されるリーダーボード
Webからの無料アクセス
タスクの種類別の詳細な評価
レビュー
まだレビューはありません。最初の体験談を投稿してみませんか！
よくある質問
What is LMSYS Chatbot Arena Leaderboard?
LMSYS Chatbot Arena Leaderboard is a free, crowdsourced platform that ranks large language models based on over one million human pairwise comparisons, using the Bradley–Terry model and Elo-style ratings to provide robust, real-world performance rankings.
How are the model scores and rankings calculated?
Scores are derived from human pairwise comparisons where users choose which of two anonymous models responds better. These outcomes are fed into the Bradley–Terry statistical model and converted to Elo-style ratings, producing a consistent ranking across many models and tasks.
Is LMSYS Chatbot Arena Leaderboard free to use?
Yes. The leaderboard is completely free to access in your browser. You can view rankings, inspect model details, and participate in chat battles without any subscription fees.
Can I use the leaderboard to choose a model for my product?
Yes. Many developers and teams use the leaderboard as a human-centric reference when selecting LLMs. You should still consider your specific domain, latency, cost, and safety needs, but Arena ratings provide a strong starting point.
Can I submit or benchmark my own model?
LMSYS periodically adds new models to the Arena. If you maintain an LLM and want it evaluated, you can follow the official documentation and submission channels on the LMSYS website or GitHub to request inclusion.