|
|
|
@ -10,3 +10,26 @@ A simple program to evaluate large language model.
|
|
|
|
- accelerate 0.26.1
|
|
|
|
- accelerate 0.26.1
|
|
|
|
- tqdm 4.66.1
|
|
|
|
- tqdm 4.66.1
|
|
|
|
- openai 1.10.0
|
|
|
|
- openai 1.10.0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 需求其余文件
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- 请下载[GLM模型](https://hf-mirror.com/THUDM/chatglm-6b)并放置于到`./THUDM/chatglm-6b`文件夹下
|
|
|
|
|
|
|
|
- 请下载[GLM2模型](https://hf-mirror.com/THUDM/chatglm2-6b)并放置于到`./THUDM/chatglm2-6b`文件夹下
|
|
|
|
|
|
|
|
- 微调后的lora模型可放置于`./lora`文件夹下，可应用于ChatGLM2
|
|
|
|
|
|
|
|
- 微调后的ptuning模型可放置于`./ptuning`文件夹下，可应用于ChatGLM
|
|
|
|
|
|
|
|
- 训练数据按照C-Eval格式，放置于`./data`文件夹下，文件命名和`eval.py`中的`subject_name`相关
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Run
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```bash
|
|
|
|
|
|
|
|
python eval.py --model_name chatglm --cuda_device 0 --finetune ptuning1
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Arguments
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- `--model_name`: 模型名称，可选`chatglm`、`chatglm2`
|
|
|
|
|
|
|
|
- `--cuda_device`: GPU编号
|
|
|
|
|
|
|
|
- `--finetune`: 微调模型名称，为放置于`lora/ptuning`文件夹下的文件夹名
|
|
|
|
|
|
|
|
- `--few_shot`: 使用少量数据进行微调（可选）
|
|
|
|
|
|
|
|
- `--ntrain`: 少量数据的数量（可选）
|
|
|
|
|
|
|
|
- `--cot`: 使用思维链（可选）
|
|
|
|
|
