评测方法 | X·myLog

password

URL

type

status

date

slug

summary

对于封闭式问题，也就是有标准答案的问题，比较适合使用脚本自动完成模型评测，这是一种客观评测方法。例如：通过大模型进行电商评论分析，分析电商评论是正向还是负向的。

大模型使用的Promp

将如下语料输入给大模型后，得出大模型的答案，并与标准的结果进行对比。

小技巧：让模型预测的输出是个json格式，方便提取结果。

获取Kimi大模型输出的代码：

得到大模型输出，并和语料中的lable进行合并，结果片段如下：

在这个场景中，基于输出的结果中的sentiment和label两个字段，可以通过计算准确率、召回率等指标评估大模型的能力。

由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。

在客观评测的具体实践中，我们通常采用下列两种方式进行模型输出结果的评测：

判别式评测：该评测方式基于将问题与候选答案组合在一起，计算模型在所有组合上的困惑度（perplexity），并选择困惑度最小的答案作为模型的最终输出。例如，若模型在问题? 答案1 上的困惑度为 0.1，在问题? 答案2 上的困惑度为 0.2，最终我们会选择答案1 作为模型的输出。

生成式评测：该评测方式主要用于生成类任务，如语言翻译、程序生成、逻辑分析题等。具体实践时，使用问题作为模型的原始输入，并留白答案区域待模型进行后续补全。我们通常还需要对其输出进行后处理，以保证输出满足数据集的要求。

针对开放式问题，通过制定规则进行人工打分是最靠谱的，这是一种主观评测方法。根据业务制定打分规则，根据规则进行人工打分。打分时，尽量屏蔽掉预测结果的来源，防止人为引入偏见。

评分标准制定：

以角色扮演大模型评估标准制定为例，评估的维度更看重人设遵循能力和回答质量。

计分方法有两类，打分方式有GSB打分和绝对分值：

GSB（Good、Same、Bad）计分：用于评判针对同一评估集的两份预测结果之间的好坏。例如对比两个预测结果A和B，Good代表A比B好、Same代表两者质量相当，Bad代表A不如B。最后得到A和B的GSB打分比值。例如10:20:30，代表60条评估结果集中，有10条A比B好，20条A和B相当，30条A比B差。GSB适用于直接对比两个模型（或两组超参数）之间的好坏。