数据集选择与配置¶

OpenCompass 的一份数据集配置同时定义数据读取、模型输入和评分规则。同一数据集可以有多个配置变体，不同评测方案得到的结果可能存在差异。

选择配置¶

python tools/list_configs.py mmlu gsm8k  # 查找与 mmlu、gsm8k 相关的配置

数据集配置文件通常位于 opencompass/configs/datasets/<数据集>/。文件名通常包含 gen、ppl、rawprompt、few-shot 数量和哈希等标识，用于区分不同评测方案。

选择配置时请确认以下信息：

数据来源、版本、split 和样本范围；
输入字段、答案字段和可能存在的多模态输入；
Prompt 类型、few-shot 数量和推理方式；
Evaluator 和后处理规则，以及是否依赖 Judge 模型或外部评测服务。

数据集配置结构¶

一份数据集配置由数据加载参数以及 reader_cfg、infer_cfg、eval_cfg 三部分组成：

datasets = [
    dict(
        type=MyDataset,
        abbr='my-dataset',
        path='data/or/hub-id',
        reader_cfg=reader_cfg,
        infer_cfg=infer_cfg,
        eval_cfg=eval_cfg,
    )
]

type：注册到 OpenCompass 的数据集类，负责将原始数据加载为 Hugging Face Dataset 或 DatasetDict。
abbr：该配置在任务目录和汇总结果中的简称。同一原始数据的不同评测配置应使用可区分的简称。
path：数据集路径或仓库标识。不同数据集类还可能接收 name、split、task 等指定子集的参数。
reader_cfg：指定参与评测的字段、数据划分和样本范围。
infer_cfg：指定提示词构造、few-shot 样本检索和推理方式。
eval_cfg：指定推理结果的后处理方式和评分规则。

`reader_cfg`：读取字段与数据划分¶

reader_cfg 的基本格式如下：

reader_cfg = dict(
    input_columns=['question'],
    output_column='answer',
    train_split='train',
    test_split='test',
    train_range=None,
    test_range='[:100]',
)

各字段的含义如下：

input_columns：构造模型输入时使用的字段列表，例如题目、选项或上下文。
output_column：参考答案所在字段；无需参考答案的任务可以设为 None。
train_split、test_split：分别指定 Retriever 选取 few-shot 示例的数据划分，以及实际执行推理和评分的数据划分，默认值为 train 和 test。如果数据只有一个划分，则无需指定此参数。
train_range、test_range：限制对应划分的样本范围。None 表示使用全部样本；整数表示从打乱后的数据中选取固定数量；0 到 1 之间的浮点数表示抽取相应比例；切片字符串（如 '[:100]'、'[100:200]'）表示按原始顺序选择指定区间。全量评测时可以省略这两个字段。

配置完成后，应确认 input_columns、output_column 以及提示词中的占位符都能在加载后的数据中找到。需要快速试跑固定的前若干条数据时，应使用 test_range='[:N]'。

`infer_cfg`：提示词、检索与推理方式¶

生成式评测最常见的格式如下：

from opencompass.openicl.icl_inferencer import GenInferencer
from opencompass.openicl.icl_raw_prompt_template import RawPromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever

infer_cfg = dict(
    prompt_template=dict(
        type=RawPromptTemplate,
        messages=[
            dict(role='user', content='{question}\n请给出答案。'),
        ],
    ),
    retriever=dict(type=ZeroRetriever),
    inferencer=dict(type=GenInferencer),
)

infer_cfg 包含以下常用字段：

prompt_template：通过提示词模板将数据集样本转换为模型输入。
retriever：决定从训练划分中选择哪些 few-shot 示例。ZeroRetriever 不从数据集中检索示例；FixKRetriever、RandomRetriever 等则按相应策略选择示例。
inferencer：决定推理方式。GenInferencer 让模型直接生成答案，并可设置 max_out_len、stopping_criteria 等推理参数；若在此处显式设置 max_out_len，其优先级高于模型配置中的默认值。

提示词占位符、对话消息和 few-shot 插入方式详见提示词模板；修改模板后，可通过提示词预览与调试检查最终输入。

PPL 评测的常用结构如下：

from opencompass.openicl.icl_inferencer import PPLInferencer
from opencompass.openicl.icl_prompt_template import PromptTemplate
from opencompass.openicl.icl_retriever import ZeroRetriever

infer_cfg = dict(
    prompt_template=dict(
        type=PromptTemplate,
        template={
            'yes': '{question} yes',
            'no': '{question} no',
        },
    ),
    retriever=dict(type=ZeroRetriever),
    inferencer=dict(type=PPLInferencer),
)

候选模板的键应覆盖 output_column 中的标签值，也可以通过 PPLInferencer 的 labels 参数显式指定候选标签。PPL 评测要求模型后端支持对输入计算对数似然，并非所有 API 模型都具备该能力。

`eval_cfg`：后处理与评分¶

当模型输出不能直接与参考答案比较时，可以分别进行后处理。例如：

from opencompass.datasets import (Gsm8kEvaluator,
                                  gsm8k_dataset_postprocess,
                                  gsm8k_postprocess)

eval_cfg = dict(
    evaluator=dict(type=Gsm8kEvaluator),
    pred_postprocessor=dict(type=gsm8k_postprocess),
    dataset_postprocessor=dict(type=gsm8k_dataset_postprocess),
)

各字段的作用如下：

evaluator：评分器配置。type 指定具体 Evaluator，其余字段作为初始化参数传入。常见评分方式包括准确率、精确匹配、数学答案校验、代码执行和模型裁判。
pred_postprocessor：在评分前处理模型预测，例如提取选项字母、数字或特定标签中的答案。
dataset_postprocessor：在评分前处理 output_column 中的参考答案，使其格式与处理后的预测一致。
pred_role：从本地对话模型的输出中提取指定角色内容，仅在模型配置了相应 meta_template 时按需使用。

evaluator type 是基本评分流程的必要项，其他字段均为可选项。

数据的缓存和离线规则详见数据来源、缓存与离线运行。数据集的完整自定义方法参阅新增数据集。

数据集统计¶

下表根据仓库根目录的 dataset-index.yml 自动生成，列出 OpenCompass 已登记的数据集、类别、资源地址及推荐配置，支持模糊搜索。

数据集名称	数据集类型	原文或资源地址	推荐配置	推荐配置(基于LLM评估)
IFEval	Instruction Following	链接	链接
Inverse IFEval	Instruction Following	链接	链接(TBD)
NPHardEval	Reasoning	链接	链接(TBD)
PMMEval	Language	链接	链接(TBD)
PI-LLM	Memory	链接	链接(TBD)
TheoremQA	Reasoning	链接	链接(TBD)
AGIEval	Examination	链接	链接(TBD)
BABILong	Long Context	链接	链接(TBD)
AA-LCR	Long Context	链接	链接(TBD)	链接(TBD)
BigCodeBench	Code	链接	链接
CaLM	Reasoning	链接	链接(TBD)
InfiniteBench (∞Bench)	Long Context	链接	链接(TBD)
KOR-Bench	Reasoning	链接	链接	链接
LawBench	Knowledge / Law	链接	链接(TBD) / 链接(TBD)
L-Eval	Long Context	链接	链接(TBD)
LiveCodeBench	Code	链接	链接
LiveCodeBench Pro	Code	链接	链接(TBD)
LiveMathBench	Math	链接	链接(TBD)
LiveReasonBench	Reasoning		链接(TBD)
LongBench	Long Context	链接	链接(TBD) / 链接(TBD)
LV-Eval	Long Context	链接	链接(TBD)
Mastermath2024v1	Math		链接(TBD)
matbench	Science / Material	链接	链接(TBD)
MedBench	Knowledge / Medicine	链接	链接(TBD)
MedCalc_Bench	Knowledge / Medicine	链接	链接(TBD)
MedQA	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
MedXpertQA	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
ClinicBench	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
ScienceQA	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
PubMedQA	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
MuSR	Reasoning	链接	链接	链接
NeedleBench V1 (Deprecated)	Long Context	链接	链接(TBD)
NeedleBench V2	Long Context	链接	链接(TBD)
RULER	Long Context	链接	链接(TBD)
AlignBench	Subjective / Alignment	链接	链接(TBD)
AlpacaEval	Subjective / Instruction Following	链接	链接(TBD)
Arena-Hard	Subjective / Chatbot	链接	链接(TBD)
ELBench	Subjective / Education	链接	链接(TBD)
FLAMES	Subjective / Alignment	链接	链接(TBD)
FOFO	Subjective / Format Following	链接	链接(TBD)
FollowBench	Subjective / Instruction Following	链接	链接(TBD)
HelloBench	Subjective / Long Context	链接	链接(TBD)
JudgerBench	Subjective / Long Context	链接	链接(TBD)
MT-Bench-101	Subjective / Multi-Round	链接	链接(TBD)
WildBench	Subjective / Real Task	链接	链接(TBD)
T-Eval	Tool Utilization	链接	链接(TBD) / 链接(TBD)
BuySideFinBench	Knowledge / Finance	链接	链接(TBD)
FinanceIQ	Knowledge / Finance	链接	链接(TBD)
GAOKAOBench	Examination	链接	链接(TBD)
LCBench	Code	链接	链接(TBD)
ArabicMMLU	Language	链接	链接(TBD)
OpenFinData	Knowledge / Finance	链接	链接(TBD)
QuALITY	Long Context	链接	链接(TBD)
Adversarial GLUE	Safety	链接	链接(TBD) / 链接(TBD) / 链接(TBD) / 链接(TBD) / 链接(TBD) / 链接(TBD)
CLUE / AFQMC	Language	链接	链接(TBD)
AIME2024	Examination	链接	链接	链接
Adversarial NLI	Reasoning	链接	链接(TBD)
Anthropics Evals	Safety	链接	链接(TBD) / 链接(TBD) / 链接(TBD)
APPS	Code	链接	链接(TBD) / 链接(TBD)
ARC	Reasoning	链接	链接(TBD) / 链接(TBD)
ARC Prize	ARC-AGI	链接	链接(TBD)
ArxivRollBench	Reasoning / Robustness	链接	链接(TBD)
SuperGLUE / AX	Reasoning	链接	链接(TBD) / 链接(TBD)
BIG-Bench Hard	Reasoning	链接	链接	链接
BIG-Bench Extra Hard	Reasoning	链接	链接(TBD)
SuperGLUE / BoolQ	Knowledge	链接	链接(TBD)
CLUE / C3 (C³)	Understanding	链接	链接(TBD)
CARDBiomedBench	Knowledge / Medicine	链接	链接(TBD)	链接(TBD)
SuperGLUE / CB	Reasoning	链接	链接(TBD)
C-EVAL	Examination	链接	链接(TBD)
CHARM	Reasoning	链接	链接(TBD)
ChemBench	Knowledge / Chemistry	链接	链接(TBD)
FewCLUE / CHID	Language	链接	链接(TBD)
Chinese SimpleQA	Knowledge	链接	链接(TBD)
CIBench	Code	链接	链接(TBD) / 链接(TBD) / 链接(TBD)
CivilComments	Safety	链接	链接(TBD)
Cloze Test-max/min	Code	链接	链接(TBD)
FewCLUE / CLUEWSC	Language / WSC	链接	链接(TBD)
CMB	Knowledge / Medicine	链接	链接(TBD)
CMMLU	Understanding	链接	链接	链接
CLUE / CMNLI	Reasoning	链接	链接(TBD)
cmo_fib	Examination		链接(TBD)
CLUE / CMRC	Understanding	链接	链接(TBD)
CommonSenseQA	Knowledge	链接	链接(TBD)
CommonSenseQA-CN	Knowledge		链接(TBD)
SuperGLUE / COPA	Reasoning	链接	链接(TBD)
CrowsPairs	Safety	链接	链接(TBD)
CrowsPairs-CN	Safety		链接(TBD)
CVALUES	Safety	链接	链接(TBD)
CLUE / DRCD	Understanding	链接	链接(TBD)
DROP (DROP Simple Eval)	Understanding	链接	链接	链接
DS-1000	Code	链接	链接(TBD)
FewCLUE / EPRSTMT	Understanding	链接	链接(TBD)
Flores	Language	链接	链接(TBD)
Game24	Math	链接	链接(TBD)
Government Report Dataset	Long Context	链接	链接(TBD)
GPQA	Knowledge	链接	链接	链接
GSM8K	Math	链接	链接(TBD)
GSM-Hard	Math	链接	链接(TBD)
HLE(Humanity’s Last Exam)	Reasoning	链接	链接(TBD)
HellaSwag	Reasoning	链接	链接	链接
HumanEval	Code	链接	链接
HumanEval-CN	Code		链接(TBD)
Multi-HumanEval	Code	链接	链接(TBD)
HumanEval+	Code	链接	链接(TBD)
HumanEval-X	Code	链接	链接(TBD)
HumanEval Pro	Code	链接	链接(TBD)
Hungarian_Math	Math	链接	链接(TBD)
IWSLT2017	Language	链接	链接(TBD)
JigsawMultilingual	Safety	链接	链接(TBD)
LAMBADA	Understanding	链接	链接(TBD)
LCSTS	Understanding	链接	链接(TBD)
LiveStemBench			链接(TBD)
LLM Compression	Bits Per Character (BPC)	链接	链接(TBD)
MATH	Math	链接	链接	链接
MATH500	Math	链接	链接	链接
MATH 401	Math	链接	链接(TBD)
MathBench	Math	链接	链接(TBD)
MBPP	Code	链接	链接(TBD)
MBPP-CN	Code		链接(TBD)
MBPP-PLUS	Code		链接(TBD)
MBPP Pro	Code	链接	链接(TBD)
MGSM	Language / Math	链接	链接(TBD)
MMLU	Understanding	链接	链接	链接
PromptCBLUE	Understanding	链接	链接(TBD)	链接(TBD)
SciEval	Understanding	链接	链接(TBD)	链接(TBD)
MMLU-CF	Understanding	链接	链接(TBD)
MMLU-Pro	Understanding	链接	链接	链接
MMMLU	Language / Understanding	链接	链接(TBD) / 链接(TBD)
SuperGLUE / MultiRC	Understanding	链接	链接(TBD)
MultiPL-E	Code	链接	链接(TBD)
NarrativeQA	Understanding	链接	链接(TBD)
NaturalQuestions	Knowledge	链接	链接(TBD)
NaturalQuestions-CN	Knowledge		链接(TBD)
OpenBookQA	Knowledge	链接	链接(TBD)
OlymMATH	Math	链接	链接(TBD)	链接(TBD)
OpenBookQA	Knowledge / Physics	链接	链接(TBD)
ProteinLMBench	Knowledge / Biology (Protein)	链接	链接(TBD)	链接(TBD)
py150	Code	链接	链接(TBD)
Qasper	Long Context	链接	链接(TBD)
Qasper-Cut	Long Context		链接(TBD)
RACE	Examination	链接	链接(TBD)
R-Bench	Reasoning	链接	链接(TBD)	链接(TBD)
RealToxicPrompts	Safety	链接	链接(TBD)
SuperGLUE / ReCoRD	Understanding	链接	链接(TBD)
SuperGLUE / RTE	Reasoning	链接	链接(TBD)
CLUE / OCNLI	Reasoning	链接	链接(TBD)
FewCLUE / OCNLI-FC	Reasoning	链接	链接(TBD)
RoleBench	Role Play	链接	链接(TBD)
S3Eval	Long Context	链接	链接(TBD)
SciBench	Reasoning	链接	链接(TBD)
SciCode	Code	链接	链接(TBD)
SeedBench	Knowledge	链接	链接(TBD)
SimpleQA	Knowledge	链接	链接(TBD)
SocialIQA	Reasoning	链接	链接(TBD)
SQuAD2.0	Understanding	链接	链接(TBD)
StoryCloze	Reasoning	链接	链接(TBD)
StrategyQA	Reasoning	链接	链接(TBD)
SummEdits	Language	链接	链接(TBD)
SummScreen	Understanding	链接	链接(TBD)
SVAMP	Math	链接	链接(TBD)
TabMWP	Math / Table	链接	链接(TBD)
TACO	Code	链接	链接(TBD)
FewCLUE / TNEWS	Understanding	链接	链接(TBD)
FewCLUE / BUSTM	Reasoning	链接	链接(TBD)
FewCLUE / CSL	Understanding	链接	链接(TBD)
FewCLUE / OCNLI-FC	Reasoning	链接	链接(TBD)
TriviaQA	Knowledge	链接	链接(TBD)
TriviaQA-RC	Knowledge / Understanding		链接(TBD)
TruthfulQA	Safety	链接	链接(TBD)
TyDi-QA	Language	链接	链接(TBD)
SuperGLUE / WiC	Language	链接	链接(TBD)
SuperGLUE / WSC	Language / WSC	链接	链接(TBD)
WinoGrande	Language / WSC	链接	链接(TBD)
XCOPA	Language	链接	链接(TBD)
Xiezhi	Knowledge	链接	链接(TBD)
XLSum	Understanding	链接	链接(TBD)
Xsum	Understanding	链接	链接(TBD)
GLUE / CoLA	Understanding	链接	链接(TBD)
GLUE / MPRC	Understanding	链接	链接(TBD)
GLUE / QQP	Understanding	链接	链接(TBD)
Omni-MATH	Math	链接	链接(TBD)
WikiBench	Knowledge		链接(TBD)
SuperGPQA	Knowledge	链接	链接(TBD)
ClimaQA	Science	链接	链接(TBD)	链接(TBD) / 链接(TBD)
PHYSICS	Science	链接	链接(TBD)	链接(TBD)
SmolInstruct	Science /Chemistry	链接	链接(TBD)
SciKnowEval	Science	链接	链接(TBD)	链接(TBD)
InternSandbox	Reasoning/Code/Agent		链接(TBD)
nejmaibench	Science /Medicine	链接	链接(TBD)	链接(TBD)
Medbullets	Science /Medicine	链接	链接(TBD)	链接(TBD)
medmcqa	Science /Medicine	链接	链接(TBD)	链接(TBD)
GrandPhysics	Science		链接(TBD)	链接(TBD)
PHYBench	Science /Physics	链接	链接(TBD)
BeyondAIME	Math	链接	链接(TBD)
EESE	Science	链接	链接(TBD)	链接(TBD)
CL-bench	Long Context	链接	链接(TBD)	链接(TBD) / 链接(TBD)
CMPhysBench	Science /Physics	链接	链接(TBD)
Earth-Silver	Science	链接	链接(TBD)	链接(TBD)
HealthBench	Knowledge / Medicine	链接	链接(TBD)
IFBench	Instruction Following	链接	链接(TBD)
Mol-Instructions (Chem)	Knowledge / Chemistry	链接	链接(TBD)
OlympiadBench	Math	链接	链接(TBD)	链接(TBD)
ProcessBench	Math	链接	链接(TBD)
SciReasoner	Science	链接	链接(TBD)
SciReasoner1.5	Science	链接	链接(TBD)
AdvancedIF	Instruction Following	链接	链接(TBD)	链接(TBD)
AIME2025	Math	链接	链接(TBD)	链接(TBD)
AIME2026	Math	链接	链接(TBD)
ATLAS	Science	链接	链接(TBD)
CodeCompass	Code	链接	链接(TBD)
JudgeBench	Subjective / Alignment	链接	链接(TBD)
JudgerBenchV2	Subjective / Alignment	链接	链接(TBD)
RewardBench	Subjective / Alignment	链接	链接(TBD)
RMB	Subjective / Alignment	链接	链接(TBD)
MolecularIQ	Science /Chemistry	链接	链接(TBD)
MP-20	Science / Material	链接	链接(TBD)
MRCR	Long Context	链接	链接(TBD)
OJBench	Code	链接	链接(TBD)
OpenSWI	Science	链接	链接(TBD)
PerspectiveGap	Reasoning/Code/Agent	链接	链接(TBD) / 链接(TBD)
PromptBench	Safety	链接	链接(TBD)
S2-TOMG-Bench	Science /Chemistry	链接	链接(TBD)
SRBench	Science	链接	链接(TBD)
WikiText	Language	链接	链接(TBD)
Winograd Schema Challenge	Language / WSC	链接	链接(TBD)
WritingBench	Subjective / Writing	链接	链接(TBD)	链接(TBD)
Biology Instructions	Knowledge / Biology	链接	链接(TBD)
DINGO	Instruction Following	链接	链接(TBD)
HMMT2026	Math	链接	链接(TBD)
ZebraLogic	Reasoning	链接	链接(TBD)