Created
Aug 10, 2024 09:46 AM
Favorite
Favorite
Priority
备注
推荐
类型
LlamaIndex 是一个用于构建上下文增强LLM应用的框架。上下文增强是指将LLM应用于您的私有数据或领域特定数据的任何用例。一些流行的用例包括以下内容:
  • 问答聊天机器人(通常称为RAG系统,代表“检索增强生成”)
  • 文档理解与提取
  • 能够进行研究并采取行动的自主代理
LlamaIndex 提供了从原型到生产环境构建上述任何用例所需的工具。这些工具允许您同时摄取/处理数据,并实现将数据访问与LLM提示结合的复杂查询工作流程。
LlamaIndex 可以在 Python(本文档)和Typescript中使用。
提示
升级到 LlamaIndex v0.10.0?查看迁移指南

🚀 为什么需要上下文增强?

LLM提供了人类与数据之间的自然语言接口。广泛可用的模型是在大量公开可用数据上进行预训练的。然而,它们并没有在您的数据上进行训练,而这些数据可能是私有的或特定于您试图解决的问题。它可能隐藏在API后面,存储在SQL数据库中,或者被困在PDF和幻灯片中。
LlamaIndex 提供了工具来实现上下文增强。一个流行的例子是检索增强生成(RAG),它在推理时将上下文与LLM结合起来。另一个是微调

🦙 LlamaIndex 是上下文增强LLM应用的数据框架

LlamaIndex 不限制您如何使用LLM。您仍然可以将LLM用作自动完成、聊天机器人、半自主代理等。它只是让LLM对您更加相关。
LlamaIndex 提供以下工具,帮助您快速搭建生产就绪的LLM应用:
  • 数据连接器从其原生来源和格式摄取您的现有数据。这些可以是API、PDF、SQL等(还有更多)。
  • 数据索引将您的数据结构化为LLM易于消费的中间表示形式,而且性能良好。
  • 引擎为您的数据提供自然语言访问。例如:
    • 查询引擎是用于问答的强大接口(例如RAG管道)。
    • 聊天引擎是用于与数据进行多消息、“来回”交互的对话接口。
  • 代理是由工具增强的LLM动力知识工作者,从简单的辅助功能到API集成等等。
  • 可观察性/评估集成,使您能够在良性循环中严格实验、评估和监控您的应用。

👨‍👩‍👧‍👦 LlamaIndex 适用于谁?

LlamaIndex 为初学者、高级用户以及介于两者之间的所有人提供了工具。
我们的高级API允许初学者用户在5行代码中使用LlamaIndex来摄取和查询他们的数据。
对于更复杂的应用,我们的低级API允许高级用户定制和扩展任何模块——数据连接器、索引、检索器、查询引擎、重新排序模块——以适应他们的需求。

入门指南

要安装该库:
pip install llama-index
我们建议从如何阅读这些文档开始,根据您的经验水平指引您到正确的位置。

🗺️ 生态系统

要下载或贡献,请在以下位置找到LlamaIndex:

LlamaCloud

如果您是企业开发人员,请查看LlamaCloud。这是一个托管平台,用于数据解析和摄取,允许您为生产LLM应用获取高质量的数据。
查看以下资源:
  • LlamaCloud:我们的端到端数据平台。与初创公司和企业计划一起进行私人预览。如果感兴趣,请与我们联系

社区

Loading...