安装

1. 准备 OpenCompass 运行环境：

面向开源模型的GPU环境面向API模型测试的CPU环境

conda create --name opencompass python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y
conda activate opencompass

如果你希望自定义 PyTorch 版本或相关的 CUDA 版本，请参考 官方文档 准备 PyTorch 环境。需要注意的是，OpenCompass 要求 pytorch>=1.13。

2. 安装 OpenCompass：

   git clone https://github.com/open-compass/opencompass.git
   cd opencompass
   pip install -e .
   

3. 安装 humaneval（可选）：

   如果你需要在 humaneval 数据集上评估模型代码能力，请执行此步骤，否则忽略这一步。

   点击查看详细

   git clone https://github.com/openai/human-eval.git
   cd human-eval
   pip install -r requirements.txt
   pip install -e .
   cd ..
   

   请仔细阅读 human_eval/execution.py 第48-57行的注释，了解执行模型生成的代码可能存在的风险，如果接受这些风险，请取消第58行的注释，启用代码执行评测。

4. 安装 Llama（可选）：

   如果你需要使用官方实现评测 Llama / Llama-2 / Llama-2-chat 模型，请执行此步骤，否则忽略这一步。

   点击查看详细

   git clone https://github.com/facebookresearch/llama.git
   cd llama
   pip install -r requirements.txt
   pip install -e .
   cd ..
   

   你可以在 configs/models 下找到所有 Llama / Llama-2 / Llama-2-chat 模型的配置文件示例。(示例)

5. 安装 alpaca-eval（可选）：

   如果你需要使用官方alpaca-eval实现评测 alpaca-eval 数据集，请执行此步骤，否则忽略这一步。

   点击查看详细

   pip install alpaca-eval
   

数据集准备

OpenCompass 支持的数据集主要包括两个部分：

1. Huggingface 数据集： Huggingface Dataset 提供了大量的数据集，这部分数据集运行时会自动下载。

2. 自建以及第三方数据集：OpenCompass 还提供了一些第三方数据集及自建中文数据集。运行以下命令手动下载解压。

在 OpenCompass 项目根目录下运行下面命令，将数据集准备至 ${OpenCompass}/data 目录下：

wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

如果需要使用 OpenCompass 提供的更加完整的数据集 (~500M)，可以使用下述命令进行下载和解压：

wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-complete-20240207.zip
unzip OpenCompassData-complete-20240207.zip
cd ./data
find . -name "*.zip" -exec unzip "{}" \;

两个 .zip 中所含数据集列表如此处所示。

OpenCompass 已经支持了大多数常用于性能比较的数据集，具体支持的数据集列表请直接在 configs/datasets 下进行查找。

接下来，你可以阅读快速上手了解 OpenCompass 的基本用法。