搜索 — OpenCompass 0.5.4 文档

GitHub
主页
榜单
大语言模型
 多模态模型

Table of Contents

开始使用

安装与环境准备
快速开始

基础教程

OpenCompass 工作流与核心概念
使用配置文件完成一次完整评测
基于MMEngine的配置文件语法
模型配置总览
数据集选择与配置
数据集下载与缓存
理解输出与结果汇总

提示词与输入构造

提示词模板
模型侧对话模板协议
提示词预览与调试

运行、并行与任务管理

任务划分、执行器与任务类型
跨任务并发推理与评测监听
命令行参数参考

评测方法

答案抽取、后处理与评测器选择
LLM 作为评判器
数学能力评测
级联评测
代码评测
主观评测指引
循环评测、重复采样与稳定性
多模态评测总览

扩展 OpenCompass

扩展机制总览
支持新数据集
快速评测数据集
支持新模型
新增后处理器、评测器与汇总器

实用工具与故障恢复

实用工具总览
配置发现与比较
预测结果检查与错误样本分析
重复输出与响应长度分析
接口与消息格式测试
通知与任务监控

其他文档

为 OpenCompass 做贡献
常见问题
循环评测
数据污染评估
使用 LMDeploy 加速评测
长文本评测指引
大海捞针(Needle In A Haystack)实验评估
提示词攻击

Docs >
搜索
Read in English

Shortcuts

© Copyright 2023, OpenCompass.

Built with Sphinx using a theme provided by Read the Docs.

@沪ICP备2021009351号-23 OpenCompass Open Platform Service Agreement

GitHub