mcp-rquest

一个提供高级 HTTP 请求能力的 Model Context Protocol (MCP) 服务器，适用于 Claude 和其他大型语言模型 (LLMs)。基于 rquest 构建，该服务器通过准确的 TLS/JA3/JA4 指纹实现真实的浏览器模拟，使模型能够更自然地与网站互动并绕过常见的反机器人措施。它还支持将 PDF 和 HTML 文档转换为 Markdown 格式，以便 LLM 更容易处理。

功能

• 完整的 HTTP 方法：支持 GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS 和 TRACE
• 浏览器指纹识别：准确的 TLS、JA3/JA4 和 HTTP/2 浏览器指纹
• 内容处理：
  • 自动处理大响应，并进行 token 计数
  • 将 HTML 转换为 Markdown 格式，以更好地被 LLM 处理
  • 使用 Marker 库将 PDF 转换为 Markdown 格式
  • 在系统临时目录中安全存储响应
• 身份验证支持：基本认证、Bearer 认证和自定义认证方法
• 请求定制：
  • 标头、cookie、重定向
  • 表单数据、JSON 数据载荷、multipart/form-data
  • 查询参数
• SSL 安全：使用 BoringSSL 进行安全连接，并具有真实的浏览器指纹

可用工具

• HTTP 请求工具：

  • http_get - 执行带有可选参数的 GET 请求
  • http_post - 通过 POST 请求提交数据
  • http_put - 使用 PUT 请求更新资源
  • http_delete - 使用 DELETE 请求删除资源
  • http_patch - 部分更新资源
  • http_head - 仅从资源中检索标头
  • http_options - 检索资源的选项
  • http_trace - 诊断请求跟踪

• 响应处理工具：

  • get_stored_response - 检索存储的大响应，可选择按行范围
  • get_stored_response_with_markdown - 将 HTML 或 PDF 响应转换为 Markdown 格式，以便 LLM 更好地处理
  • get_model_state - 获取当前 PDF 模型加载过程的状态
  • restart_model_loading - 如果 PDF 模型加载失败或卡住，则重新启动加载过程

PDF 支持

mcp-rquest 现在支持将 PDF 转换为 Markdown 格式，允许您下载 PDF 文件并将其转换为易于 LLM 处理的 Markdown 格式：

1. 自动PDF检测：根据内容类型自动检测PDF文件
2. 无缝转换：get_stored_response_with_markdown工具同时适用于HTML和PDF文件
3. 高质量转换：使用Marker库实现精确的PDF到Markdown转换
4. 优化性能：在安装包时预先下载模型，以避免请求处理过程中的延迟

安装

使用uv（推荐）

当使用uv时不需要特定的安装步骤。我们将使用uvx直接运行_mcp-rquest_。

使用pip

或者您也可以通过pip安装mcp-rquest：

pip install mcp-rquest

安装完成后，您可以使用以下命令作为脚本运行：

python -m mcp_rquest

配置

为Claude.app配置

添加到您的Claude设置中：

使用uvx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "uvx",
      "args": ["mcp-rquest"]
    }
  }
}

使用pip：

{
  "mcpServers": {
    "http-rquest": {
      "command": "python",
      "args": ["-m", "mcp_rquest"]
    }
  }
}

使用pipx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "pipx",
      "args": ["run", "mcp-rquest"]
    }
  }
}

浏览器模拟

mcp-rquest利用rquest强大的浏览器模拟功能提供真实的浏览器指纹，这有助于绕过机器人检测并访问通常只有标准浏览器才能访问的内容。支持的浏览器指纹包括：

• Chrome（多个版本）
• Firefox
• Safari（包括iOS和iPad版本）
• Edge
• OkHttp

这确保了通过mcp-rquest发送的请求看起来像是合法的浏览器流量而不是机器人请求。

开发

设置开发环境

1. 克隆仓库
2. 使用uv创建虚拟环境：

   uv venv
   

3. 激活虚拟环境：

   # Unix/macOS
   source .venv/bin/activate
   # Windows
   .venv\Scripts\activate
   

4. 安装开发依赖项：

   uv pip install -e ".[dev]"
   

致谢

• 该项目基于rquest，它提供了具有浏览器指纹功能的高级HTTP客户端。
• rquest基于reqwest的一个分支。