Created
Aug 8, 2024 06:59 AM
Favorite
Favorite
Priority
URL
https://mp.weixin.qq.com/s/QQnVMLH6Kk5RMQlJepyFnw
备注
推荐
类型
点击上方蓝字关注我们
notion image
随着AI技术的飞速发展，搜索引擎领域也迎来了新的变革。继 OpenAI 发布 SearchGPT 之后，国内也涌现出一批优秀的AI搜索引擎，其中，由中科大和上海人工智能实验室联合研发的 MindSearch（思·索）尤为引人注目。这款开源AI搜索引擎，不仅性能媲美Perplexity.ai Pro，更重要的是，它跳脱了传统搜索引擎的窠臼，不再仅仅依赖关键词匹配，而是模拟人类的思维过程，深度理解用户的搜索意图，并提供更精准、更全面的搜索结果。这款开源AI搜索引擎的出现，无疑为我们打开了一扇通往未来搜索引擎的大门。

MindSearch vs 传统搜索引擎：一场思维方式的革新

试想一下，当你想要了解“量子计算的应用”时，传统的搜索引擎会提供给你什么？大概率是大量关于量子计算基本概念的网页，需要你花费大量时间自行筛选出关于应用的内容。而 MindSearch 则截然不同，它会像人类一样思考，分析你的问题，并直接呈现量子计算在各个领域的应用案例和深入分析，让你快速精准地获取所需信息。这种革命性的改变源于 MindSearch 独特的多智能体框架。它不再仅仅关注关键词，而是会分析问题的上下文，并结合知识图谱等技术，深度理解用户的搜索意图，提供更精准、更全面的搜索结果。MindSearch的优势：深度、广度、准确性兼备相比于传统的搜索引擎，MindSearch 的优势在于：
  • 深度知识探索： MindSearch 能够浏览数百个网页，提供更广泛、更深层次的答案，帮助用户深入了解某个主题。
  • 透明的解决方案路径： MindSearch 会展示其思考路径和搜索关键词等详细信息，提高了搜索结果的可信度和可用性。
  • 多种用户界面： MindSearch 提供React、Gradio、Streamlit和本地调试等多种用户界面，方便用户根据自己的需求进行选择。
  • 动态图构建： MindSearch 能够将用户查询分解为图中的子问题节点，并根据WebSearcher的搜索结果逐步扩展图，实现更灵活的搜索策略。

MindSearch vs 其他AI搜索引擎：更深度、更透明、更开放

与 ChatGPT-Web、Perplexity.ai（Pro）等 AI 搜索引擎相比，MindSearch 在深度、透明度和开放性方面更胜一筹：
  • 更深度： MindSearch 的多智能体框架能够进行更深层次的推理和分析，提供更深入的知识探索。
  • 更透明： MindSearch 会展示其思考路径和搜索关键词等详细信息，提高了搜索结果的可信度和可用性。
  • 更开放： MindSearch 是开源的，这意味着开发者可以参与贡献，共同推动其发展，这对于 AI 搜索引擎技术的进步和生态建设具有重要意义。
为了更直观地展现 MindSearch 的优势，我们用 100 个由人类专家精心设计的现实问题，对 ChatGPT-Web、Perplexity.ai（Pro）和 MindSearch 的表现进行了评估，并由 5 位专家进行评分，结果如下:
notion image

MindSearch的“思考”之道：多智能体框架，模拟人类认知

MindSearch 的核心竞争力在于其创新的多智能体框架，它包含 WebPlanner 和 WebSearcher 两个关键组件，分别扮演着“思考者”和“执行者”的角色，就如同人类大脑中多个功能区域协同工作。
notion image

突破传统搜索引擎的局限，WebPlanner 赋予 MindSearch “思考”的能力

传统的搜索引擎，就像一个只会机械地执行命令的“机器人”，只能根据用户输入的关键词进行匹配，无法理解用户的深层需求。而 MindSearch 的 WebPlanner 则更像一位经验丰富的“侦探”，它能够将用户提出的复杂问题分解成多个子问题，并构建一张清晰的“搜索地图”——有向无环图（DAG），来引导搜索引擎找到最佳答案。WebPlanner 如何像人类一样思考？
  • 理解逻辑关系，构建“搜索地图”： WebPlanner 能够理解用户问题中各个关键词之间的逻辑关系，并将这些关系转化为 DAG 图中的节点和边。每个节点代表一个独立的搜索任务，而边则代表节点之间的逻辑和推理关系。通过构建 DAG 图，WebPlanner 能够清晰地展现解决问题的思路，并引导搜索引擎沿着正确的路径前进。
  • 利用 LLM 的代码能力，动态调整搜索策略： WebPlanner 不仅能够构建静态的 DAG 图，还能够根据搜索结果动态调整搜索策略。它利用大型语言模型 (LLM) 强大的代码生成能力，编写代码来与 DAG 图进行交互，例如添加新的节点或边。这样，WebPlanner 就可以根据新的信息不断完善搜索策略，确保最终找到最优解。
  • 并行处理，提高搜索效率： 由于 DAG 图中的节点之间存在依赖关系，WebPlanner 可以将这些节点分配给 WebSearcher 并行处理，从而大大提高信息收集的速度。
WebPlanner 的工作流程：
  1. 接收用户问题： WebPlanner 接收用户提出的问题。
  1. 构建初始 DAG 图： WebPlanner 根据对问题的理解，构建初始的 DAG 图，并将起始节点设置为用户的问题。
  1. 启动 WebSearcher 进行搜索： WebPlanner 启动 WebSearcher，根据 DAG 图中的节点进行搜索。
  1. 根据搜索结果，动态调整 DAG 图： WebPlanner 根据 WebSearcher 返回的搜索结果，动态调整 DAG 图，例如添加新的节点或边。
  1. 重复步骤 3 和 4，直到找到最终答案： WebPlanner 不断重复步骤 3 和 4，直到找到最终答案。
  1. 添加结束节点，输出最终答案： 找到最终答案后，WebPlanner 将添加结束节点，并将最终答案输出给用户。
WebPlanner 就像 MindSearch 的“大脑”，它能够像人类一样思考，理解用户的搜索意图，并制定最佳的搜索策略，从而帮助用户更快、更准确地找到所需的信息。
notion image
如果说 WebPlanner 是 MindSearch 的“大脑”，负责思考和制定搜索策略，那么 WebSearcher 就像它的“千里眼”，能够在互联网的汪洋大海中精准锁定关键信息，为用户提供最 relevant 的答案。

海量信息，如何高效检索？WebSearcher 的分层检索策略

面对互联网上浩如烟海的信息，即使是强大的大型语言模型 (LLM) 也无法一下子处理完所有的页面。为了解决这个问题，MindSearch 的研发团队设计了一种巧妙的策略——分层检索，并将其应用于 WebSearcher。WebSearcher 的工作流程：
  1. 接收 WebPlanner 分配的任务： WebSearcher 接收 WebPlanner 分配的搜索任务，例如搜索“量子计算的应用”。
  1. 生成多个类似的搜索问题： 为了扩大搜索范围，WebSearcher 会根据 WebPlanner 分配的任务，生成多个类似的搜索问题，例如“量子计算的应用场景”、“量子计算的实际应用案例”等。
  1. 调用多个搜索引擎 API： WebSearcher 会调用多个搜索引擎的 API，例如 Google、Bing 和 DuckDuckGo，并使用生成的多个搜索问题进行查询。
  1. 获取关键信息： WebSearcher 会从搜索引擎返回的结果中获取关键信息，例如网页链接、标题和摘要等。
  1. 筛选重要网页： WebSearcher 会根据关键信息，筛选出最重要的网页，例如排名靠前、内容相关的网页。
  1. 深度阅读，提炼关键信息： WebSearcher 会深度阅读筛选出来的重要网页，并提炼出关键信息。
  1. 汇总信息，返回给 WebPlanner： WebSearcher 将提炼出来的关键信息汇总，并返回给 WebPlanner。
WebSearcher 的分层检索策略，就像一位经验丰富的“情报员”，先进行广泛的调查，收集大量的线索，然后再进行精细的分析，筛选出最有价值的信息。WebSearcher 的优势：
  • 高效检索： 分层检索策略能够帮助 WebSearcher 快速锁定关键信息，避免在海量信息中迷失方向。
  • 全面覆盖： 通过调用多个搜索引擎 API，WebSearcher 能够覆盖更广泛的信息来源，确保搜索结果的全面性。
  • 精准筛选： WebSearcher 能够根据关键信息，精准筛选出最重要的网页，避免浪费时间阅读 irrelevant 的内容。
WebSearcher 是 MindSearch 的“千里眼”，它能够精准锁定关键信息，为用户提供最 relevant 的答案。它与 WebPlanner 密切配合，共同构成了 MindSearch 的核心竞争力，使其能够像人类一样思考，深度理解用户的搜索意图，并提供更精准、更全面的搜索结果。
notion image
notion image

MindSearch的“超能力”：3分钟“翻阅”300页，效率远超人类专家！

MindSearch的效率令人惊叹！它能够在短短3分钟内完成300多页信息的搜集和整合，这可是人类专家需要花费3小时才能完成的工作！这意味着，你可以更快地获取所需信息，节省宝贵的时间和精力。试想一下，当你需要了解某个领域的最新研究成果时，MindSearch能够迅速帮你搜集整理数百篇论文，并提炼出关键信息，让你在短时间内掌握该领域的最新动态。

MindSearch的“魅力”：深度知识探索，开启智能搜索新时代！

MindSearch不仅能够快速找到你所需的信息，更能够帮助你深入探索某个主题，了解其背后的知识体系。它就像一位博学的导师，带领你进入知识的殿堂，开启智能搜索新时代！例如，当你想要了解“量子计算”这个领域时，MindSearch不仅会为你提供相关的网页链接，还会帮你梳理量子计算的发展历程、核心概念、应用领域以及未来发展趋势，让你对量子计算有一个全面的了解。

MindSearch的“开放”：开源共享，共创AI搜索新未来！

MindSearch已开源，这意味着开发者可以参与贡献，共同推动其发展。这种开放的姿态，不仅体现了研发团队的自信，也为AI搜索引擎的未来发展指明了方向。我们相信，在开源社区的共同努力下，MindSearch将会不断进化，解决当前存在的局限性，例如信息幻觉和搜索引擎偏见等问题。同时，MindSearch也将探索更多信息源，为用户提供更全面、更可靠的搜索体验。

MindSearch的未来：无限可能，值得期待！

MindSearch的出现，预示着AI搜索引擎将进入一个全新的时代。它不再仅仅是信息的搬运工，而是能够真正理解用户需求，并提供个性化、智能化的搜索体验。我们有理由相信，在未来，MindSearch将会成为我们探索知识、获取信息的重要工具，引领我们进入一个更加智能化的未来！

MindSearch的意义：不止于搜索，更在于思考

MindSearch的出现，不仅仅是一款新的搜索引擎的诞生，更是一场关于“思考”的革命。它让我们看到了AI的无限可能，也让我们对未来充满了期待。让我们一起期待MindSearch在未来的发展，期待它为我们带来更多惊喜！

MindSearch快速部署

值得一提的是，MindSearch 已于 7 月初正式开源！上海人工智能实验室慷慨地分享了搭载 MindSearch 架构的 InternLM2.5-7B-Chat 模型及完整的前后端代码，为广大开发者和研究者提供了宝贵的学习和实践机会。零距离体验 MindSearch 的魅力：
  • 在线 Demo： 无需下载安装，点击链接即可体验 MindSearch 的强大功能：https://mindsearch.openxlab.org.cn/
技术爱好者：本地部署，定制专属 MindSearch！
  • 开源代码：https://github.com/InternLM/mindsearch
  • 基于智能体框架 Lagent，MindSearch 的本地部署也非常简单：
1、在 GitHub 下载 MindSearch 仓库。2、启动服务：

总结

MindSearch 是一款极具潜力的开源 AI 搜索引擎，它模拟了人类的思维过程，实现了深度知识探索，为用户带来了更精准、更全面的搜索体验。相信在未来，MindSearch 将会在 AI 搜索领域发挥更大的作用，引领搜索引擎进入一个全新的智能化时代。
附录：
  • 🌐 项目主页：https://mindsearch.netlify.app
  • 📃 技术报告：https://arxiv.org/abs/2407.20183
  • 💻 项目体验：https://mindsearch.openxlab.org.cn
  • 🐍 开源代码：https://github.com/InternLM/mindsearch
如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。
RAG框架6
AI搜索引擎1
MindSearch1
RAG框架 · 目录
上一篇从“一本正经地胡说八道”到“更懂你”：Graph RAG 如何让 AI 真正拥有知识？
Loading...