|
|
|
|
|
import re
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def extract_score(response_text):
|
|
|
|
|
|
response_text = str(response_text)
|
|
|
|
|
|
# 提取评分
|
|
|
|
|
|
pattern = [
|
|
|
|
|
|
r"^评分为([1-5])分",
|
|
|
|
|
|
r"评分：([1-5])分",
|
|
|
|
|
|
r"评分为([1-5])",
|
|
|
|
|
|
r"因此获得([1-5])分",
|
|
|
|
|
|
r"([1-5])分",
|
|
|
|
|
|
]
|
|
|
|
|
|
score_list = []
|
|
|
|
|
|
for p in pattern:
|
|
|
|
|
|
if len(score_list) == 0:
|
|
|
|
|
|
score_list = re.findall(p, response_text)
|
|
|
|
|
|
else:
|
|
|
|
|
|
break
|
|
|
|
|
|
if len(score_list) == 0:
|
|
|
|
|
|
return '3'
|
|
|
|
|
|
return score_list[0]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
class LanguageModelScorer:
|
|
|
|
|
|
def __init__(self):
|
|
|
|
|
|
self.eval_mode = "accuracy"
|
|
|
|
|
|
|
|
|
|
|
|
def mode(self, mode):
|
|
|
|
|
|
# 判断模式是否合法
|
|
|
|
|
|
if mode not in ["accuracy", "fluency", "diff"]:
|
|
|
|
|
|
raise ValueError("Invalid mode. Must be one of 'accuracy', 'fluency' or 'diff'.")
|
|
|
|
|
|
self.eval_mode = mode
|
|
|
|
|
|
return self
|
|
|
|
|
|
|
|
|
|
|
|
def score_with_llm(self, question, model_result, reference, origin_model_result=None):
|
|
|
|
|
|
pass
|
|
|
|
|
|
|
|
|
|
|
|
def generate_scoring_prompt(self, question, model_result, reference, origin_model_result=None):
|
|
|
|
|
|
# 生成评分提示
|
|
|
|
|
|
base_prompt = []
|
|
|
|
|
|
if self.eval_mode == "accuracy":
|
|
|
|
|
|
base_prompt = [{
|
|
|
|
|
|
"role": "system",
|
|
|
|
|
|
"content": "你是一个汽车领域专家，接下来将向你提供一个问题、一个参考答案和一个大模型生成的结果。"
|
|
|
|
|
|
"请对比参考答案和大模型生成结果，从信息准确性的角度评分以下生成的结果，以评估其质量。满分为4分。"
|
|
|
|
|
|
"信息的准确性应当被首要考虑，多余的未知真假的信息不应该带来加分。"
|
|
|
|
|
|
"评分标准为：模型回答正确——4分。模型回答模糊，但部分准确——3分。"
|
|
|
|
|
|
"模型无法给出解答，但明确表示无法解答——2分。模型给出错误或无法理解的回答/模型回答语句不完整——1分。"
|
|
|
|
|
|
"回复格式为：理由：xxx。因此，评分为x分。"
|
|
|
|
|
|
}]
|
|
|
|
|
|
elif self.eval_mode == "fluency":
|
|
|
|
|
|
base_prompt = [{
|
|
|
|
|
|
"role": "system",
|
|
|
|
|
|
"content": "你是一个汽车领域专家，接下来将向你提供一个问题、一个参考答案和一个大模型生成的结果。"
|
|
|
|
|
|
"请从语言流畅度的角度评分大模型生成的结果，以评估其质量。满分为3分。"
|
|
|
|
|
|
"评分标准为：模型回答流畅，符合日常语言习惯——3分。模型回答流畅，但存在突然中断等情况——2分。"
|
|
|
|
|
|
"模型回答无条理，可能重复输出某些单词——1分。"
|
|
|
|
|
|
"回复格式为：理由：xxx。因此，评分为x分。"
|
|
|
|
|
|
}]
|
|
|
|
|
|
elif self.eval_mode == "diff":
|
|
|
|
|
|
base_prompt = [{
|
|
|
|
|
|
"role": "system",
|
|
|
|
|
|
"content": "你是一个汽车领域专家，接下来将向你提供一个问题、一个参考答案、一个大模型1生成的结果和一个大模型2生成的结果。"
|
|
|
|
|
|
"请对比这些结果，判断大模型2的结果和大模型1哪个更好。满分为3分。"
|
|
|
|
|
|
"信息的准确性应当被首要考虑，多余的未知真假的信息不应该带来加分。"
|
|
|
|
|
|
"对比时请关注结果和参考答案的契合度。"
|
|
|
|
|
|
"评分标准为：认为大模型2的结果更好——3分。认为两者结果持平——2分。"
|
|
|
|
|
|
"认为大模型1的结果更好——1分。"
|
|
|
|
|
|
"回复格式为：理由：xxx。因此，评分为x分。"
|
|
|
|
|
|
}]
|
|
|
|
|
|
if self.eval_mode == "diff":
|
|
|
|
|
|
if origin_model_result is None:
|
|
|
|
|
|
raise ValueError("The original model result is required in 'diff' mode.")
|
|
|
|
|
|
prompt = base_prompt + [
|
|
|
|
|
|
{
|
|
|
|
|
|
"role": "user",
|
|
|
|
|
|
"content": f"问题：{question}\n\n大模型1生成的结果：{origin_model_result}\n\n"
|
|
|
|
|
|
f"大模型2生成的结果：{model_result}\n\n参考答案：{reference}"
|
|
|
|
|
|
}
|
|
|
|
|
|
]
|
|
|
|
|
|
else:
|
|
|
|
|
|
prompt = base_prompt + [
|
|
|
|
|
|
{
|
|
|
|
|
|
"role": "user",
|
|
|
|
|
|
"content": f"问题：{question}\n\n生成的结果：{model_result}\n\n参考答案：{reference}"
|
|
|
|
|
|
}
|
|
|
|
|
|
]
|
|
|
|
|
|
return prompt
|
