← パースペクティブに戻る
/FDE顧問 Rayson

LLM 評価指標を徹底解説:代表的な15のベンチマークでわかる AI モデルの実力

数多く公開される AI モデルのベンチマークスコアは、何を評価しているのでしょうか。本記事では、代表的な15の LLM ベンチマークをわかりやすく解説。総合的な知識、数学・論理、プログラミングからマルチモーダル、AI Agent の実践能力まで、企業が自社に最適なモデルを選ぶためのポイントを紹介します。

AIEgentWrX
LLM 評価指標を徹底解説:代表的な15のベンチマークでわかる AI モデルの実力

ベンチマークとは?

AI モデルのアップデートが発表されるたびに、細かな数値が並ぶスコア表が公開されます。MMLU、GSM8K、HumanEval……こうした略語に戸惑うかもしれませんが、それぞれ異なる能力を測るテストを表しています。

たとえば、企業が EgentWrX のような AI Agent プラットフォームでモデルを選ぶとき、次々と登場する選択肢の中から、自社の業務に最適なものをどう客観的に判断すればよいのでしょうか。その判断材料となるのがベンチマークです。AI が仕事に応募するときに提出する、能力を証明する資格のようなものと考えるとわかりやすいでしょう。

ここからは、よく引用される15の評価指標を5つの分野に分けて解説します。身近なたとえを通じて、それぞれの略語が何を意味するのかを見ていきましょう。

総合知能:AI の知識はどれほど幅広いか

この分野のテストは、総合学力試験のようなものです。AI の知識の幅と文章の理解力を評価し、幅広い分野に通じたゼネラリストといえるかを確かめます。

MMLU(大規模マルチタスク言語理解)

歴史、法律、医学、物理学など、50以上の学問分野を網羅する、大学の合同期末試験をイメージしてください。AI がどれほど豊富な知識を持ち、専門分野でハルシネーションを起こさずに回答できるかを測ります。

テストの場面: 「マクロ経済学におけるインフレ曲線の原理」を正確に説明したり、「民法上の契約の成立要件」を判断したりできるかを確かめます。

C-Eval

MMLU の中国語版にあたる、中国語圏の文脈に特化した総合試験です。AI が中国語圏の歴史・文化や各学問分野をどの程度理解しているかを測ります。地域に対応したカスタマーサポートや人事の AI Agent を構築したい企業にとって、特に重要な指標です。

テストの場面:台湾の労働基準法に関する理解や、中華圏特有の職場文化・文脈を把握しているかを確かめます。

HellaSwag

HellaSwag は、AI に人間のような常識的な直感があるかを測るテストです。日常生活の場面を提示し、筋の通った推測ができるかを確かめます。

テストの場面:「彼はコーヒーカップをテーブルの端に置いた。その後、手を振ったところ……」という文章に対し、優秀な AI なら、突拍子もない答えではなく「カップが床に落ちて割れた」と続きを補えるはずです。

GPQA Diamond

各分野の第一線の専門家が作成した、博士課程レベルの問題です。難易度は極めて高く、Google で検索しても答えがそのまま見つかるわけではありません。最も高性能な AI の知的能力の限界を探るために用いられます。

テストの場面:複雑な量子力学の数式を導出させ、現在のフラッグシップモデルの限界を測ります。

Humanity's Last Exam

最難関の究極のテストとうたわれ、世界中のさまざまな分野の専門家が問題を作成しています。AI が人間の知的能力の最高水準に到達し、さらにはそれを超えているかを検証することを目的としています。

数学・論理推論:学んだことを応用できるか

LLM は本質的には言語モデルであり、数学的な計算がイメージほど得意なわけではありません。一方、企業の業務ではデータ分析が頻繁に求められるため、モデルには知識の暗記だけでなく、論理的に答えを導く力も必要です。

GSM8K

小学校から中学校レベルの算数・数学の文章題を用いたテストです。AI が問題文を理解し、段階を追って正しい数値の答えを導けるかを重視します。

テストの場面:「Jane は4月にヘアクリップを48個売りました。5月に売った数は4月の半分です。4月と5月に売ったヘアクリップは、合計で何個でしょうか?」

ARC-AGI-2

ARC-AGI-2 は、図形の規則性を見抜く能力を測ります。色付きのマスで構成された図形の変化をいくつか例示し、次の図形がどのようになるかをモデルに推測させます。抽象的な論理思考とパターン認識の力が厳しく問われます。

プログラミング:AI エンジニアとしての実力はどれほどか

ソフトウェア開発やシステムのデバッグにおける AI の実力を測る分野です。Computer Use の急速な発展に伴い、主要なモデル開発企業はコードを書く能力を一段と重視するようになっています。

HumanEval

プログラミングの小テストのようなものです。簡単な要件を提示し、AI が正常に動作する基本的なコードを書けるかを確かめます。

テストの場面:「日付の形式を統一する Python 関数を書いてください」と指示し、出力されたコードが読みやすく、そのまま実行できるかを確認します。

SWE-Bench

SWE-Bench は、実際のソフトウェアエンジニアの日常業務を再現します。著名なオープンソースプロジェクトで発生した実際のバグを AI に提示し、コードベース全体を自ら調べて問題箇所を特定し、修正するよう求めます。

テストの場面:データベースのクエリが頻繁にタイムアウトするバグを AI に提示します。AI は膨大なコードベースから根本原因を見つけ、修正案を示す必要があります。

SciCode

科学者レベルのプログラミング能力を測るテストです。複雑な物理・化学計算を解くための高度なコードを AI に書かせます。

マルチモーダル:AI は画像をどこまで理解できるか

企業の業務では、AI はテキストだけでなく、画像やグラフ、さらには映像も理解する必要があります。視覚情報を読み解く能力は、実務での活用において重要です。

MMMU

画像とテキストを組み合わせた、大学レベルの専門試験です。AI は複雑なグラフ、化学構造式、工学系の設計図などを読み取り、画像に基づいて専門的な問いに答える必要があります。

テストの場面:「年間売上高の棒グラフ」を含む PDF のプレゼン資料や、「工場設備の配管設計図」をアップロードします。AI は画像を理解するだけでなく、「第3四半期に支出の異常が見られるのはどの部門ですか?」といった質問にも答えられなければなりません。

AI Agent の実践能力:実際のタスクを完了できるか

AI の実務上の価値を見極めるうえで、特に重要な指標です。「バーチャル社員」のように自律的にツールを操作し、複雑で長期にわたるタスクを完了できるかを測ります。

OSWorld

AI に人間と同じようにコンピューター全体を操作させるテストです。マウスやキーボードの操作、ブラウザーでの情報収集、Excel での表の整理などを行わせます。Lobster などの Computer Use ツールが大きな注目を集めるなか、この指標への関心も高まっています。

テストの場面:ブラウザーを開いて競合企業のウェブサイトを調べ、情報を Excel の表にまとめ、最後に自動で保存するまでの作業を、AI が円滑に進められるかを確かめます。

Terminal-Bench

エンジニア向けの「コマンドラインでのサバイバルテスト」ともいえる指標です。AI がターミナル上で適切なシステムコマンドを実行し、コンピューターの管理や技術的なトラブルの解決ができるかを測ります。

テストの場面:「このサーバーが急に遅くなった。原因となっているプログラムを特定して強制終了し、今日のエラーログをまとめて圧縮してください。」

Vending-Bench Arena

AI に丸1年にわたって自動販売機を運営させる、仮想のビジネスシミュレーターです。仕入れ戦略や価格設定を自ら決めるだけでなく、ほかの AI との競争や、悪意のある仕入れ先への対応も求められます。長期的なビジネス環境で、AI が合理的な意思決定を続けられるかを検証します。

テストの場面:AI に初期資金を与え、仮想の鉄道駅に設置された自動販売機を1台割り当てます。目標は365日間でできるだけ多くの利益を上げることで、破産すれば脱落です。

τ²-Bench(Tau-Bench)

AI が「カスタマーサポート担当者」として働く能力を評価するテストです。AI は実際の顧客を模した相手と会話しながら、航空券予約システムや EC の返金システムなどのバックエンドシステムを操作し、会社の規定を守って顧客の問題を解決する必要があります。

テストの場面:顧客が苦情を伝え、返品・交換を求めています。AI は適切な言葉遣いで応答するだけでなく、MCP を通じて企業の ERP や CRM と連携し、注文状況を確認したうえで返金手続きを自動で完了させる必要があります。

評価指標を活用して最適なモデルを選ぶには

これらの指標を理解すれば、AI モデルを評価する際に、その能力をより正確に読み取れるようになります。

EgentWrX では、企業が用途に応じて柔軟にモデルを選べます。AI Agent ごとにデフォルトのモデルと思考レベルを設定でき、会話中に一時的に切り替えることも可能です。また、AI Agent 配下のタスクやサブエージェントにも個別にモデルを指定でき、未設定の場合は AI Agent のデフォルト設定が引き継がれます。そのため、用途ごとに上記の評価指標を参考にしながら、最適なモデルを割り当てられます。たとえば、大量の帳票を処理する財務の AI Agent には GSM8K で優れた成績を収めるモデルを、技術文書を読み解く技術部門の AI Agent には MMLU と MMMU でトップクラスのモデルを選ぶ、といった使い分けができます。

用途に適した「頭脳」となるモデルを選び、EgentWrX の MCP 連携や社内ネットワーク上のデータベースとの接続、会社・部門・プロジェクト単位で階層管理できるナレッジベースを組み合わせることで、企業の業務を的確に担う AI チームを構成できます。

よくある質問

LLM ベンチマークとは何ですか?

LLM ベンチマークは、AI モデルの特定の能力を測る標準化されたテストです。AI が仕事に応募するときの、能力を証明する資格のようなものと考えられます。代表的な指標は、総合知能、数学・論理推論、プログラミング、マルチモーダル、AI Agent の実践能力の5つの分野に分かれます。

スコアが最も高いモデルが、自分のタスクに最適なのでしょうか?

必ずしもそうではありません。各ベンチマークが測るのは、能力の特定の側面です。たとえば、GSM8K は数学的な推論、MMMU は画像と文章の理解、C-Eval は中国語圏の地域的な知識を評価します。まずタスクに必要な能力を明確にし、それに対応する指標を確認するほうが、総合スコアだけで判断するよりも的確です。

AI Agent が実際に仕事を完了できるかを評価するには、どの指標を見ればよいですか?

AI Agent の実践能力を測る4つの指標が参考になります。OSWorld はコンピューター全体の操作、Terminal-Bench はコマンドライン操作、Vending-Bench Arena は長期的なビジネス上の意思決定、τ²-Bench は会社の規定を守りながらバックエンドシステムと連携して顧客対応を行う能力を測ります。

中国語でのカスタマーサポートや人事業務を担う AI Agent には、どの指標が参考になりますか?

まずは C-Eval を参考にするとよいでしょう。MMLU の中国語版にあたり、中国語圏の歴史・文化や各学問分野への理解度を測ります。たとえば、台湾の労働基準法に関する理解や、中華圏の職場における文脈の把握などが挙げられます。

EgentWrX では、AI Agent ごとに異なるモデルを使えますか?

はい。AI Agent ごとにデフォルトのモデルと思考レベルを設定でき、会話中に一時的に切り替えることもできます。タスクやサブエージェントにも個別にモデルを指定でき、未設定の場合は AI Agent のデフォルト設定が引き継がれます。

30 分で、AI に先に任せられる業務を一緒に洗い出します

社員一人ひとりに AI の分身を持たせませんか。

コンサルタントより速やかにご連絡いたします。

ISO/IEC 27001:2022 情報セキュリティ認証