mcp-rquest

一个提供高级HTTP请求能力的Model Context Protocol (MCP) 服务器，适用于Claude和其他大型语言模型（LLMs）。该服务器基于rquest构建，能够实现真实的浏览器模拟，并具有准确的TLS/JA3/JA4指纹，使模型可以更自然地与网站交互并绕过常见的反机器人措施。它还支持将PDF和HTML文档转换为Markdown格式，以便LLMs更容易处理。

功能

• 完整的HTTP方法：支持GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS和TRACE
• 浏览器指纹：准确的TLS、JA3/JA4和HTTP/2浏览器指纹
• 内容处理：
  • 自动处理带有标记计数的大响应
  • HTML到Markdown转换，以更好地进行LLM处理
  • 使用Marker库将PDF转换为Markdown
  • 在系统临时目录中安全存储响应
• 认证支持：基本认证、Bearer认证和自定义认证方法
• 请求定制：
  • 标头、Cookies、重定向
  • 表单数据、JSON负载、multipart/form-data
  • 查询参数
• SSL安全：使用BoringSSL进行安全连接，并具有真实的浏览器指纹

可用工具

• HTTP请求工具：

  • http_get - 执行带有可选参数的GET请求
  • http_post - 通过POST请求提交数据
  • http_put - 使用PUT请求更新资源
  • http_delete - 使用DELETE请求删除资源
  • http_patch - 部分更新资源
  • http_head - 仅从资源检索标头
  • http_options - 检索资源的选项
  • http_trace - 诊断请求跟踪

• 响应处理工具：

  • get_stored_response - 检索存储的大响应，可选择按行范围
  • get_stored_response_with_markdown - 将HTML或PDF响应转换为Markdown格式，以便更好地进行LLM处理
  • get_model_state - 获取PDF模型加载过程的当前状态
  • restart_model_loading - 如果PDF模型加载失败或卡住，则重新启动加载过程

PDF支持

mcp-rquest现在支持PDF到Markdown的转换，允许您下载PDF文件并将其转换为易于LLM处理的Markdown格式：

1. 自动PDF检测：根据内容类型自动检测PDF文件
2. 无缝转换：同一个get_stored_response_with_markdown工具既适用于HTML文件也适用于PDF文件
3. 高质量转换：使用Marker库进行精确的PDF到Markdown转换
4. 优化性能：在包安装期间预先下载模型，以避免请求处理时的延迟

安装

使用uv（推荐）

当使用uv时，无需特定安装。我们将使用uvx直接运行_mcp-rquest_。

使用pip

或者，您可以通过pip安装mcp-rquest：

pip install mcp-rquest

安装后，您可以使用以下命令作为脚本运行：

python -m mcp_rquest

配置

配置Claude.app

添加到您的Claude设置中：

使用uvx：

{

  "mcpServers": {

    "http-rquest": {

      "command": "uvx",

      "args": ["mcp-rquest"]

    }

  }

}

使用pip：

{

  "mcpServers": {

    "http-rquest": {

      "command": "python",

      "args": ["-m", "mcp_rquest"]

    }

  }

}

使用pipx：

{

  "mcpServers": {

    "http-rquest": {

      "command": "pipx",

      "args": ["run", "mcp-rquest"]

    }

  }

}

浏览器模拟

mcp-rquest利用rquest强大的浏览器模拟功能，提供真实的浏览器指纹，这有助于绕过机器人检测并访问通常只有标准浏览器才能访问的内容。支持的浏览器指纹包括：

• Chrome（多个版本）
• Firefox
• Safari（包括iOS和iPad版本）
• Edge
• OkHttp这确保了通过 mcp-request 发送的请求看起来像是合法的浏览器流量，而不是机器人请求。

开发

设置开发环境

1. 克隆仓库

2. 使用 uv 创建虚拟环境：

   
   uv venv
   
   

3. 激活虚拟环境：

   
   # Unix/macOS
   
   source .venv/bin/activate
   
   # Windows
   
   .venv\Scripts\activate
   
   

4. 安装开发依赖项：

   
   uv pip install -e ".[dev]"
   
   

致谢

• 本项目基于 rquest 构建，它提供了具有浏览器指纹识别功能的高级 HTTP 客户端。
• rquest 基于 reqwest 的一个分支。