LM Evaluation Harness 实操指南：安装、跑分、自定义任务到 Agent 回归评测

python -m venv .venv
source .venv/bin/activate
pip install -U pip
pip install "lm_eval[hf]"
lm-eval --help
lm-eval ls tasks | head

官方 README 说明基础框架和不同模型后端通过 extras 安装；CLI 文档说明新版入口包含 run、ls、validate 三类子命令。

lm-eval run \
  --model hf \
  --model_args pretrained=EleutherAI/pythia-160m,dtype=float32 \
  --tasks hellaswag,arc_easy \
  --num_fewshot 0 \
  --batch_size 8 \
  --device cuda:0 \
  --output_path ./runs/pythia-160m-zeroshot \
  --log_samples

lm-eval run \
  --model hf \
  --model_args pretrained=EleutherAI/pythia-160m,dtype=float32 \
  --tasks hellaswag \
  --num_fewshot 5 \
  --batch_size auto \
  --device cuda:0 \
  --output_path ./runs/pythia-160m-5shot

few-shot 的意义是把少量示例拼进提示词，观察模型是否能从示例中学习任务格式。生产评测应固定 num_fewshot、模型版本和随机种子。

pip install "lm_eval[vllm]"

lm-eval run \
  --model vllm \
  --model_args pretrained=Qwen/Qwen2.5-7B-Instruct,tensor_parallel_size=2,dtype=auto,gpu_memory_utilization=0.85 \
  --tasks mmlu,arc_challenge \
  --num_fewshot 5 \
  --batch_size auto \
  --output_path ./runs/qwen25-7b-vllm

accelerate launch -m lm_eval run \
  --model hf \
  --model_args pretrained=Qwen/Qwen2.5-7B-Instruct,dtype=bfloat16,parallelize=True \
  --tasks mmlu \
  --num_fewshot 5 \
  --batch_size 4 \
  --output_path ./runs/qwen25-7b-accelerate

大模型评测通常受显存和吞吐限制。vLLM 适合高吞吐推理，accelerate 适合把 HF 模型分发到多卡。

task: internal_zh_rag_refusal
include: default.yaml
dataset_path: json
dataset_kwargs:
  data_files:
    validation: ./data/internal_zh_rag_refusal.jsonl
validation_split: validation
output_type: generate_until
doc_to_text: |
  你是企业知识库助手。请只依据给定资料回答；资料不足时回答“无法从资料确认”。
  资料：{{context}}
  问题：{{question}}
  答案：
doc_to_target: "{{answer}}"
generation_kwargs:
  until:
    - "\n"
  max_gen_toks: 128
metric_list:
  - metric: exact_match
    aggregation: mean
    higher_is_better: true
metadata:
  version: 1.0
  description: 中文知识库拒答与来源一致性回归集

官方 New Task Guide 和 Task Configuration 文档推荐用 YAML 定义任务、数据集、prompt、输出类型和指标。

mkdir -p custom_tasks/internal_zh_rag_refusal
cp internal_zh_rag_refusal.yaml custom_tasks/internal_zh_rag_refusal/default.yaml

lm-eval validate \
  --tasks internal_zh_rag_refusal \
  --include_path ./custom_tasks

lm-eval run \
  --model hf \
  --model_args pretrained=Qwen/Qwen2.5-7B-Instruct,dtype=bfloat16 \
  --tasks internal_zh_rag_refusal \
  --include_path ./custom_tasks \
  --num_fewshot 0 \
  --batch_size 4 \
  --output_path ./runs/internal-rag-regression \
  --log_samples

validate 会提前检查 task、配置语法、数据访问、metric 和模板渲染，比直接跑大批量任务更省时间。

import json
from pathlib import Path

result_file = next(Path("runs/internal-rag-regression").rglob("results*.json"))
report = json.loads(result_file.read_text(encoding="utf-8"))
results = report["results"]

gates = {"internal_zh_rag_refusal": {"exact_match": 0.82}}
failed = []
for task, metrics in gates.items():
    actual = results[task]
    for metric, minimum in metrics.items():
        value = actual.get(metric)
        if value is None or value < minimum:
            failed.append(f"{task}.{metric}={value}, expected >= {minimum}")

if failed:
    raise SystemExit("Evaluation gate failed:\n" + "\n".join(failed))
print("Evaluation gate passed")

阈值示例不是通用标准。客服知识库、代码 Agent、金融风控和内部办公助手应分别设置不同门禁。

name: llm-eval-regression
on:
  workflow_dispatch:
  schedule:
    - cron: "0 18 * * 1"
jobs:
  eval:
    runs-on: self-hosted
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: "3.11"
      - run: pip install "lm_eval[hf]"
      - run: |
          lm-eval validate --tasks internal_zh_rag_refusal --include_path ./custom_tasks
          lm-eval run --model hf --model_args pretrained=\${{ vars.EVAL_MODEL }} --tasks internal_zh_rag_refusal --include_path ./custom_tasks --output_path ./runs/latest --log_samples
          python scripts/check_eval_gate.py
      - uses: actions/upload-artifact@v4
        with:
          name: lm-eval-report
          path: runs/latest

建议使用自托管 runner 或隔离评测机，避免把内部样本、模型权重和日志暴露到不受控环境。