Created
Jul 29, 2024 01:41 PM
Favorite
Favorite
Priority
URL
https://mp.weixin.qq.com/s/oCth_AA7VFGK5xbIut1CSw
备注
推荐
🌟🌟🌟🌟
类型
模型测试
DeepEval是一个用于对语言模型（LLM）应用进行评估和单元测试的框架。它提供了各种指标，可以测试语言模型应用生成的回复在相关性、一致性、无偏见性和无毒性等方面的表现。DeepEval使得机器学习工程师可以通过持续集成/持续交付(CI/CD)流程快速评估语言模型应用的性能。
notion image
此前分享过一篇LLM评估指标的文章，这篇文章深入探讨如何使用指标进行LLM评估。本文探讨LLM测试是什么，不同的测试方法以及需要关注的边界情况，突出LLM测试的最佳实践，并通过DeepEval这个开源的LLM测试框架介绍如何进行LLM测试。
notion image

LLM测试即对大模型测试

LLM测试是根据其预期评估LLM输出是否满足所有特定评估标准（如准确性、连贯性、公平性和安全性等）的过程。
notion image
功能测试、性能测试和可靠性测试，这些测试共同组成回归测试。
评估LLMs是一个复杂的过程，因为与传统软件开发不同，LLMs的结果不可预测，缺陷也无法像逻辑可以归因于特定代码块那样进行调试。LLMs是一个黑盒，具有无限可能的输入和输出。
然而，这并不意味着传统软件测试中的概念不能应用于测试LLMs。单元测试构成了功能测试、性能测试和可靠性测试，它们共同构成了对LLM的回归测试。

单元测试

单元测试指的是测试应用程序中最小可测试部分，对于LLMs来说，这意味着根据一些明确定义的标准来评估LLM对给定输入的响应。
例如，对于一个单元测试，目的是评估由LLM生成的摘要的质量，评估标准可以是摘要是否包含足够的信息，以及是否包含来自原始文本的虚构。对评估标准的评分通常由所谓的LLM评估度量来完成。
你可以选择自研LLM测试框架，但在本文中，我们将使用DeepEval框架创建和评估单元测试用例。
然后，创建一个测试用例：
在这里，“input”指的是对LLM的输入，而“actual_output”则是LLM的输出。使用 DeepEval 的摘要度量对该测试用例进行评估：

功能测试

对LLMs进行功能测试是指在特定任务上评估LLMs的表现。与传统的软件功能测试不同（例如，通过测试整个登录流程来验证用户是否能够登录），LLMs的功能测试旨在评估模型在特定任务（例如文本摘要）范围内的各种输入下的表现能力。换句话说，功能测试是由特定用例的多个单元测试组成的。
要将单元测试组合在一起进行功能测试，首先创建一个测试文件：
我们在这里使用的示例任务是文本摘要。然后，定义单元测试用例集：
最后，批量遍历单元测试用例，使用 DeepEval 与 Pytest 集成，并执行测试文件：
需要注意的是，功能测试的健壮性完全取决于单元测试覆盖率。因此，在为某个功能测试构建单元测试时，应尽量覆盖尽可能多的边界情况。

回归测试

回归测试是指每次进行迭代时，都对LLM进行相同的测试用例评估，以确保不会引入破坏性变更。使用量化的LLM评估指标进行LLM评估的优点是，我们可以明确地设定阈值，定义什么是“破坏性变更”，并监控LLM在多次迭代中的性能变化。
多种功能测试可以构成回归测试的一部分。例如，我可以评估LLM在进行摘要和代码生成方面的能力，对于回归测试，我可以衡量每次迭代时它是否仍然能够执行这些任务。

性能测试

当我们说性能测试时，我们并不是指测试LLM是否能够执行给定的任务，而是指一些通用的性能指标，比如每秒生成的词数（推理速度）和每词的成本（推理成本）。性能测试的主要目的是优化成本和延迟。
需要注意的是，性能测试也是回归测试的一部分。

可靠性测试

这是唯一一种与传统软件开发中常见的测试方法不同的测试方式。可靠性测试是一种理念，即测试LLM在负可靠性人工智能（Responsible AI）指标如偏见、有毒性和公平性方面的表现，而不管当前的任务是什么。例如，LLM应该在被要求总结一篇有偏见的新闻文章时不这样做。
DeepEval提供了一些可以即插即用的负可靠性人工智能（Responsible AI）指标：

数据驱动测试

另一种思考LLM测试的方法，而不是像上面描述的那样从传统角度进行测试，而是基于指标标准来测试LLM系统。让我们来看看最常见的三个指标。

准确性测试

其中最直接的一种方法就是准确性性测试。准确性测试就像传统监督式机器学习中的典型测试集，即在给出整个训练数据集的情况下，我们保留一小部分数据，看看新训练的模型是否能够根据目标标签给出正确的答案。
然而，在LLMs的准确性测试方面可能需要更加微妙的处理，因为目标标签可能并非非黑即白，对或错。当然，对于像MMLU这样的基准测试，目标标签实际上是多项选择题的答案，可以通过精确匹配来轻松量化性能，但在其他情况下我们需要采用更好的方法。例如，请考虑下面的输入示例：“The quick brown fox jumps over the lazy dog.” “The quick brown fox jumps over the lazy dog.”
狗追着猫爬上了树。谁爬上了树？
正确答案当然是猫！但如果你的LLM只是输出“猫”这个词呢？你肯定希望你的LLM测试方法能够标记这个答案为正确。
要实现这一点，可以使用一种名为G-Eval的工具，它是当前最先进的LLM评估指标，可以灵活地定义LLM的准确性评估指标。
需要注意的是，strict_mode=True参数会使得度量输出一个二进制的0或1的分数，这对于准确性使用场景非常适用。

相似度测试

与准确性一样，相似度也不是传统NLP指标能够轻易评估的。
同样，可以使用G-Eval来计算语义相似度。这对于较长的文本尤其有用，因为在这种情况下，忽视语义的传统NLP指标往往效果不佳。

虚构性测试

最后，还需要对虚构性进行测试，并且有多种方法可以实现这一点。虚构性可以作为无参考或基于参考的度量标准，其中需要一个“真相”来确定LLM输出的实际准确性。
你可能也注意到我使用了“准确性”这个词。然而，虚构性应该有自己的测试方法，因为虚构性的输出并不一定就是事实错误的。这让你感到困惑了吗？想象一下，如果你的LLM输出的信息不在其训练数据中。虽然在现实世界中它可能是事实正确的，但它仍然被认为是虚构性。
你可以使用一种称为SelfCheckGPT的无参考技术来测试虚构性，也可以通过提供一些语境并使用LLM-Eval来验证它是否与提供的语境相符的参考基方法来进行测试。

测试LLMs的最佳实践

你可能已经注意到，通过采用这些测试技术，我们可以将功能测试、性能测试和可靠性测试分别放在不同的测试文件中。
LLM测试的方法：

LLM评估指标

这可能很明显，但是LLM的评价指标非常难以准确衡量，你经常会看到准确性与可靠性之间的权衡。
例如，传统的评分技术，如ROUGE，虽然可靠，但在评估LLM生成的文本时却极其不准确，因为它们无法考虑语义因素（n-gram是不够的，如果你的输出是JSON呢？）
对于DeepEval，我们发现使用LLMs进行评估的指标表现最佳，并已实施了一些评分指标的技术：
  • G-Eval：一种让LLMs根据评分标准生成评分的SOTA框架。
  • QAG（问题回答生成）：一种技术，首先使用LLM生成一些封闭式问题的答案，然后根据这些答案生成一个分数和理由。点击这里了解更多关于如何使用QAG构建DeepEval的摘要度量标准。
你的度量标准的健壮性非常重要，因为它们最终决定了你的测试是否通过。
这里有一些你可以考虑的指标：
  • 摘要
  • 虚构性
  • 一致性
  • 代码的准确性
  • 偏差（用于可靠性测试）
这只是非常简要的概述，我强烈建议你阅读我写的关于LLM评估指标的全部内容的文章。

CI/CD中的自动化测试

你需要做的一件事是，为LLM的每次变更（无论是你或你的团队成员所做的变更）提供自动化测试方式。在传统的软件开发中，尤其是在团队环境中，自动化测试对于CI/CD流程至关重要，可以防止未被注意到的破坏性变更。
通过使用 DeepEval 等框架，也可以在 CI/CD 中对 LLMs 进行测试。还记得我们之前创建的用于回归测试的所有文件的 llm_tests 文件夹吗？只需在 CI/CD 环境中执行该文件夹，即可开始在 CI/CD 中测试 LLMs：
如果你使用GitHub Actions对每个提交请求进行LLM测试，可以在GitHub工作流YAML文件中包含此代码。
下方扫码关注 软件质量保障，与质量君一起学习成长、共同进步，做一个职场最贵Tester！
Loading...