安装与环境准备¶
OpenCompass 要求 Python 3.8 或更高版本。不同模型后端对 PyTorch、CUDA 和推理框架有各自的版本约束；准备 GPU 环境时，应先按模型与后端要求安装匹配的 PyTorch，再安装 OpenCompass。
创建独立环境¶
推荐使用 Python 3.12：
conda create -n opencompass python=3.12 -y
conda activate opencompass
OpenCompass 的常规安装和完整安装均支持 Python 3.12。但 APPS（apps、apps_mini）、TACO 和 LiveCodeBench Code Generation 等代码执行评测依赖 pyext==0.7。该库不兼容 Python 3.11 及之后的版本，因此如需运行这些评测，请创建 Python 3.10 环境。
LMDeploy 与 vLLM 可能要求不同版本的 PyTorch、CUDA 或其他依赖。需要使用多个推理后端时，建议为每个后端分别创建虚拟环境。
选择安装方式¶
只需评测常见语言模型和数据集时，可安装基础版本：
pip install -U opencompass
如需特定能力，可按用途安装相应的可选依赖：
pip install "opencompass[api]" # OpenAI、Anthropic 等接口模型
pip install "opencompass[full]" # 更多数据集与评测依赖
pip install "opencompass[vlm]" # 多模态评测
pip install "opencompass[lmdeploy]" # LMDeploy 后端
pip install "opencompass[vllm]" # vLLM 后端
如需使用最新代码或参与开发，可从源码安装：
git clone https://github.com/open-compass/opencompass.git
cd opencompass
pip install -e .
源码安装后同样会注册 opencompass 命令；也可以在仓库根目录使用等价的 python run.py 入口。
验证安装¶
以下命令适用于 PyPI 安装和源码安装：which python 用于确认当前 Python 环境，随后检查 OpenCompass 的版本和实际导入路径，最后验证命令行入口及其依赖是否可用。
which python
python -c "import opencompass; print(opencompass.__version__); print(opencompass.__file__)"
opencompass --help
数据缓存¶
数据集通常会在首次使用时下载。如果已经下载了对应数据，可以通过以下环境变量指定缓存目录：
export HF_DATASETS_CACHE=/path/to/huggingface-cache/datasets
export COMPASS_DATA_CACHE=/path/to/opencompass-data-cache
export LMUData=/path/to/mm-data-cache
其中，HF_DATASETS_CACHE 用于管理 Hugging Face 数据集缓存，COMPASS_DATA_CACHE 用于指定 OpenCompass 的数据缓存目录，LMUData 用于指定从 VLMEvalKit导入的多模态数据集的缓存目录。不同数据集的下载和读取方式可能不同，详细规则及离线环境准备方法请参阅数据来源、缓存与离线运行。
检查模型及推理后端¶
完成上述安装和配置后，即可使用 API 模型进行评测。运行前，请确认服务地址、模型名称、API 密钥、限流参数及超时设置均已正确配置。
如需通过 LMDeploy 或 vLLM 部署本地模型并进行一站式评测，还需确认推理后端版本与模型之间的兼容性。建议先验证后端能够正常加载并推理目标模型，再通过 OpenCompass 启动完整评测流程。