多格式抓取工具

@zcaceres/fetch-mcp
0 Stars 645 次浏览 zcaceres 更新于 2026-08-23

提供了以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。

MCP 服务配置

复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用

{
  "mcpServers": {
    "fetch": {
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ],
      "command": "node"
    }
  }
}

可用工具 (4 个)

该服务在 MCP 协议中暴露的工具,AI 可按需调用

fetch_html 2 个参数 需填 1 项

Fetch a website and return the content as HTML

必填参数:url

fetch_markdown 2 个参数 需填 1 项

Fetch a website and return the content as Markdown

必填参数:url

fetch_txt 2 个参数 需填 1 项

Fetch a website, return the content as plain text (no HTML)

必填参数:url

fetch_json 2 个参数 需填 1 项

Fetch a JSON file from a URL

必填参数:url

服务介绍

Fetch MCP 服务器

fetch mcp logo

此MCP服务器提供以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。

组件

工具

  • fetch_html

    • 获取一个网站并以HTML格式返回内容
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回网页的原始HTML内容
  • fetch_json

    • 从URL获取一个JSON文件
    • 输入:
      • url (字符串, 必需): 要获取的JSON的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回解析后的JSON内容
  • fetch_txt

    • 获取一个网站并以纯文本格式(无HTML)返回内容
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回去除了HTML标签、脚本和样式的网页文本内容
  • fetch_markdown

    • 获取一个网站并以Markdown格式返回内容
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回转换为Markdown格式的网页内容

资源

该服务器不提供任何持久化资源。它被设计为按需获取和转换网页内容。

开始使用

  1. 克隆仓库
  2. 安装依赖: npm install
  3. 构建服务器: npm run build

使用

要使用服务器,可以直接运行:

npm start

这将启动在标准输入输出上运行的Fetch MCP Server。

与桌面应用程序集成

要将此服务器与桌面应用程序集成,请在您的应用程序服务器配置中添加以下内容:

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

特性

  • 使用现代的fetch API获取网页内容
  • 支持请求中的自定义头部
  • 提供多种格式的内容:HTML、JSON、纯文本和Markdown
  • 使用JSDOM进行HTML解析和文本提取
  • 使用TurndownService进行HTML到Markdown的转换

开发

  • 运行 npm run dev 以监视模式启动TypeScript编译器
  • 使用 npm test 运行测试套件

许可证

该项目采用MIT许可证。

相关 MCP 服务