探索GraphRAG：构建高效的知识图谱索引与查询引擎

GraphRAG系统简介

GraphRAG是一个基于图的检索增强生成系统，它通过索引文本数据，然后使用这些索引数据来回答有关文档的问题。系统的核心在于其索引管道和查询引擎，它们共同工作，以提供快速且准确的信息检索服务。

环境准备

在开始之前，请确保你的开发环境中已安装Python 3.10至3.12版本。GraphRAG支持三种安装方式：使用GraphRAG加速器解决方案、从PyPI安装或直接从源代码使用。

快速开始

推荐使用解决方案加速器包开始，它提供了与Azure资源配合使用的端到端用户体验。

顶层模块概览

• 索引管道：负责将文本数据转换为图结构的索引。
• 查询引擎：使用索引数据回答关于文档的问题。

  安装GraphRAG

  获取示例数据集

  首先，我们需要准备一个示例数据集。以查尔斯·狄更斯的《圣诞颂歌》为例，可以通过以下命令下载文本文件：

  curl https://www.gutenberg.org/cache/epub/24022/pg24022.txt > ./ragtest/input/book.txt
  

  设置工作区变量

  接下来，配置必要的环境变量。GraphRAG提供了graphrag.index --init命令来初始化工作区，创建.env和settings.yaml文件。

  python -m graphrag.index --init --root ./ragtest
  

  配置OpenAI和Azure OpenAI

  根据你是使用OpenAI还是Azure OpenAI，你需要在.env文件中更新GRAPHRAG_API_KEY的值，并在settings.yaml中设置相应的配置。

  运行索引管道

  使用以下命令启动索引管道：

  python -m graphrag.index --root ./ragtest
  

  这个过程可能需要一些时间，具体取决于输入数据的大小、使用的模型以及文本块的大小。

  使用查询引擎

  一旦索引管道完成，你就可以使用查询引擎来提出问题了。

  全局搜索示例

  使用全局搜索来询问一个高层次的问题：

  python -m graphrag.query \
  --root ./ragtest \
  --method global \
  "What are the top themes in this story?"
  

  局部搜索示例

  使用局部搜索来询问关于特定角色的更具体的问题：

  python -m graphrag.query \
  --root ./ragtest \
  --method local \
  "Who is Scrooge, and what are his main relationships?"
  

  结语

  GraphRAG系统是一个强大的工具，它可以帮助我们从复杂的数据集中快速提取有价值的信息。本文只是一个开始，更多关于GraphRAG的高级功能和最佳实践，请参阅官方文档。

  参考资料

  • GraphRAG官方文档