在AI领域，大型语言模型（LLM）已经展现出了强大的语言理解和生成能力，但其知识通常是固定的，无法实时更新。尽管检索增强生成（RAG）技术能帮助模型获取最新信息，但传统搜索引擎的横向搜索方式限制了对信息的深度挖掘。为了解决这一问题，阿里和东南大学共同研发了WebWalker，一个多智能体框架，专注于模拟人类的网络浏览和搜索行为，让LLM能够自动点击链接、阅读网页、理解信息，最终给出更精准、更深层次的答案。

一、WebWalker的核心功能

1.1 多智能体协作

WebWalker通过explorer-critic范式模拟人类网页导航，包含两个智能体：

• 探测代理（explorer agent）：模拟人在网页中点击按钮跳转页面的过程。

• 裁判代理（critic agent）：负责存储搜索过程中的信息，在探测代理点击的过程中，保存对查询有用的信息，并判断何时停止探索。

这种多智能体协作模式让WebWalker能够系统性地遍历网页，挖掘隐藏的信息。

1.2 垂直搜索能力

WebWalker能够深入多个网页，系统性地揭露隐藏在其中的信息，找到传统搜索引擎无法揭示的深层次信息。它不仅能够横向搜索，还能纵向挖掘页面内容，提升复杂问题的处理能力。

1.3 RAG二维探索能力

WebWalker结合了横向搜索和纵向页面挖掘，通过多智能体协作实现更智能的信息检索。这种二维探索能力让WebWalker在处理复杂问题时表现出色，能够更精准地定位和提取信息。

二、实验结果

WebWalker在多个基准测试中表现出色，尤其是在处理复杂问题和多跳推理任务时。即使是最先进的模型（如GPT-4O）在WebWalkerQA任务中也表现较差，这表明WebWalker在深度信息挖掘方面具有显著优势。