Created
Jul 23, 2024 06:32 AM
Favorite
Favorite
Priority
备注
推荐
🌟🌟🌟🌟
类型
模型测试
LLM Serving Performance Evaluation Harness：用于评估大型语言模型（LLM）推理系统的基准测试工具，提供性能评估和容量搜索功能，帮助优化LLM服务性能。
参考文献：
[1] http://github.com/project-metron/metron
[2] https://project-metron.readthedocs.io/en/latest/
NLP工程化
1.本公众号以对话系统为中心，专注于Python/C++/CUDA、ML/DL/RL和NLP/KG/DS/LLM领域的技术分享。
2.本公众号Roadmap可查看飞书文档：https://z0yrmerhgi8.feishu.cn/wiki/Zpewwe2T2iCQfwkSyMOcgwdInhf
NLP工程化(星球号)