1. Ragas

2. TruLens

3. LlamaIndex

• OpenAI Evals（https://github.com/openai/evals）等工具都集成工评估 RAG 应用的能力。

4. Trulens-Eval

• Trulens-Eval（https://www.trulens.org/trulens\\_eval/install/）也是专门用于评估 RAG 指标的工具，它对 LangChain 和 Llama-Index 都有比较好的集成

5. DeepEval

6. Phoenix

7. LangSmith

• 如何使用LangSmith进行评估

Trulens

https://www.trulens.org/

• 核心功能与优势
• 快速集成与使用: TruLens 可以轻松集成到 LLM 应用开发流程中，只需通过 pip 安装并添加几行代码即可开始使用。它能够跟踪任何应用，并使用开发者选择的模型进行评估，极大地简化了验证 LLM 应用的过程.
• 高效迭代与反馈: 与传统的人工反馈相比，TruLens 提供的程序化反馈能够以更高的效率和规模帮助开发者识别问题所在，从而快速迭代。它通过反馈函数对输入、输出和中间结果进行质量评估，使实验评估更加高效.
• 全面的反馈函数: TruLens 支持多种反馈函数，包括上下文相关性、真实性、回答相关性、全面性、有害或有毒语言、用户情感、语言不匹配、公平性和偏见等，开发者还可以提供自定义的反馈函数。这些反馈函数能够全面评估应用性能，帮助开发者在不同维度上提升应用质量并降低风险.

• 应用场景与兼容性
• 广泛的应用场景: TruLens 适用于多种基于 LLM 的应用，如检索增强生成（RAG）、摘要、辅助工具（如 Co-pilots）和代理等。它能够帮助开发者在这些场景中快速构建和优化应用，提高应用的可靠性和有效性.
• 与 Python LLM 应用的兼容性: TruLens 可以与任何使用 Python 构建的基于 LLM 的应用兼容，这意味着开发者可以在各种基于 Python 的 LLM 应用项目中使用 TruLens，无需担心兼容性问题，从而扩大了其应用范围和使用场景.

• 社区与支持
• 社区参与与反馈: TruLens 鼓励用户积极参与社区，提供反馈以帮助其不断改进。用户可以通过 AI Quality Forum 的 Slack 社区加入 TruLens 社区，与其他开发者交流经验、分享最佳实践，并参与到 TruLens 的持续改进过程中.
• 由 TruEra 和 Snowflake 支持: TruLens 最初由 TruEra 创建，是一个社区驱动的开源项目，已被数千名开发者使用。自 TruEra 被 Snowflake 收购后，Snowflake 积极监督和支持 TruLens 的开源开发，致力于推动 TruLens 的持续成长和创新.