Skrape MCP 服务器

使用 skrape.ai 将任何网页转换为干净、适合 LLM 的 Markdown。非常适合将网页内容输入到 LLM 中。

此 MCP 服务器提供了一个简单的接口，通过 skrape.ai API 将网页转换为结构化、干净的 Markdown 格式。它旨在与 Claude 桌面版、其他 LLM 和兼容 MCP 的应用程序无缝协作。

为什么使用 Skrape 进行 LLM 集成？

• 干净、结构化的输出：生成格式良好的 Markdown，非常适合 LLM 使用
• 降噪：自动移除广告、导航菜单和其他无关内容
• 一致的格式：确保无论来源如何，网页内容都具有一致的结构
• JavaScript 支持：通过在转换前渲染 JavaScript 来处理动态内容
• LLM 优化：非常适合将网页内容输入到 Claude、GPT 和其他 LLM 模型中

功能

工具

• get_markdown - 将任何网页转换为适合 LLM 的 Markdown
  • 接受任意输入 URL 和可选参数
  • 返回干净、结构化的 Markdown，优化用于 LLM 消费
  • 支持 JavaScript 渲染以处理动态内容
  • 可选 JSON 响应格式，适用于高级集成

安装

通过 Smithery 安装

要通过 Smithery 自动安装 Skrape MCP 服务器以供 Claude 桌面版使用：

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手动安装

1. 从 skrape.ai 获取您的 API 密钥

2. 安装依赖项：

npm install

1. 构建服务器：

npm run build

1. 将服务器配置添加到 Claude 桌面版：

在 MacOS 上：

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

在 Windows 上：

notepad %APPDATA%/Claude/claude_desktop_config.json

添加此配置（用您的路径和 API 密钥替换）：

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      },
    }
  }
}

与 LLM 一起使用

以下是与 Claude 或其他 LLM 模型一起使用服务器的方法：

1. 首先，确保在您的 LLM 应用程序中正确配置了服务器
2. 然后，您可以请求 ALLMI 获取并处理任何网页：

Convert this webpage to markdown: https://example.com

Claude will use the MCP tool like this:
<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "options": {
    "renderJs": true
  }
}
</arguments>
</use_mcp_tool>

结果的 Markdown 将是干净、结构化的，并且准备好进行 LLM 处理。

高级选项

get_markdown 工具接受以下参数：

• url（必需）：要转换的任何网页 URL
• returnJson（可选）：设置为 true 以获取完整的 JSON 响应而不是仅获取 Markdown
• options（可选）：附加的抓取选项
  • renderJs：是否在抓取之前渲染 JavaScript（默认值：true）

包含所有选项的示例：

<use_mcp_tool>
<server_name>skrape</server_name>
<tool_name>get_markdown</tool_name>
<arguments>
{
  "url": "https://example.com",
  "returnJson": true,
  "options": {
    "renderJs": false
  }
}
</arguments>
</use_mcp_tool>

开发

对于带有自动重建的开发：

npm run watch

调试

由于 MCP 服务器通过 stdio 通信，调试可能会很困难。我们建议使用 MCP Inspector：

npm run inspector

Inspector 将提供一个 URL，以便您在浏览器中访问调试工具。