Created
Jul 24, 2024 08:08 AM
Favorite
Favorite
Priority
URL
https://mp.weixin.qq.com/s/cze6t8Fass2YKgjxSDPniw
备注
推荐
🌟🌟🌟
类型
模型部署
▼最近直播超级多，预约保你有收获
—1—
为什么要对 GraphRAG 本地部署？
微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。
如果对 GrapRAG 还不太熟悉的同学，可以看我之前写的两篇文章 《微软重磅开源 GraphRAG：新一代 RAG 技术来了！》 和《GraphRAG 项目升级！现已支持 Ollama 本地模型接入，打造交互式 UI 体验》
—2—
GraphRAG 一键安装
第一步、安装 GraphRAG
需要 Python 3.10-3.12 环境。
第二步、创建知识数据文件夹
安装完整后，需要创建一个文件夹，用来存储你的知识数据，目前 GraphRAG 只支持 txt 和 csv 格式。
第三步、准备一份数据放在 /ragtest/input 目录下
第四步、初始化工作区
首先，我们需要运行以下命令来初始化。
其次，我们第二步已经准备了 ragtest 目录，运行以下命令完成初始化。
运行完成后，在 ragtest 目录下生成以下两个文件：.env 和settings.yaml。ragtest 目录下的结构如下：
notion image
.env 文件包含了运行 GraphRAG 管道所需的环境变量。如果您检查该文件，您会看到一个定义的环境变量，GRAPHRAG_API_KEY=<API_KEY>。这是 OpenAI API 或 Azure OpenAI 端点的 API 密钥。您可以用自己的 API 密钥替换它。settings.yaml 文件包含了管道的设置。您可以修改此文件以更改管道的设置。
—3—
修改配置文件支持本地部署大模型
第一步、确保已安装 Ollama 如果你还没安装或者不会安装，可以参考我之前写的文章《Spring AI + Ollama 快速构建大模型应用程序（含源码）》。第二步、确保已安装以下本地模型
第三步、修改 settings.yaml 以支持以上两个本地模型，以下是修改后的文件
第四步、运行 GraphRAG 构建知识图谱索引
构建知识图谱的索引需要一定的时间，构建过程如下所示：
—4—
修改源码支持本地部署大模型
接下来修改源码，保证进行 local 和 global 查询时给出正确的结果。
第一步、修改成本地的 Embedding 模型
修改源代码的目录和文件：
.../Python/Python310/site-packages/graphrag/llm/openai/openai_embeddings_llm.py"
修改后的源码如下：
第二步、继续修改 Embedding 模型
修改源代码的目录和文件：
.../Python/Python310/site-packages/graphrag/query/llm/oai/embedding.py"
修改后的源码如下：
—5—
GraphRAG 效果测试
第一、local 查询第二、global 查询
—6—
加我微信
有很多企业级落地实战案例，不方便公开发公众号，我会直接分享在朋友圈，欢迎你扫码加我个人微信来看👇
⬇戳”阅读原文“，立即预约！
END
大模型226
RAG46
GraphRAG3
Ollama4
避坑1
Read more
Loading...