自动化抓取

@tokenizin/mcp-npx-fetch
1 Stars 588 次浏览 tokenizin 更新于 2026-08-23

提供了以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。

MCP 服务配置

复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用

{
  "mcpServers": {
    "fetch": {
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ],
      "command": "node"
    }
  }
}

服务介绍

Fetch MCP 服务器

此MCP服务器提供了以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。

组件

工具

  • fetch_html

    • 获取一个网站并将其内容作为HTML返回
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回网页的原始HTML内容
  • fetch_json

    • 从URL获取JSON文件
    • 输入:
      • url (字符串, 必需): 要获取的JSON的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回解析后的JSON内容
  • fetch_txt

    • 获取一个网站并将其内容作为纯文本返回(无HTML)
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回去除了HTML标签、脚本和样式的网页文本内容
  • fetch_markdown

    • 获取一个网站并将其内容转换为Markdown格式返回
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头
    • 返回已转换为Markdown格式的网页内容

资源

该服务器不提供任何持久性资源。它被设计为按需获取并转换网页内容。

开始使用

  1. 克隆仓库
  2. 安装依赖: npm install
  3. 构建服务器: npm run build

使用方法

要使用该服务器,可以直接运行:

npm start

这将启动在标准输入输出上运行的Fetch MCP服务器。

与桌面应用程序集成使用

要将此服务器与桌面应用程序集成,请在应用程序的服务器配置中添加以下内容:

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

特性

  • 使用现代的fetch API获取网页内容
  • 支持请求中的自定义头部
  • 提供多种格式的内容:HTML、JSON、纯文本和Markdown
  • 使用JSDOM进行HTML解析和文本提取
  • 使用TurndownService进行HTML到Markdown的转换

开发

  • 运行 npm run dev 启动TypeScript编译器的监视模式
  • 使用 npm test 运行测试套件

许可证

该项目根据MIT许可证授权。

相关 MCP 服务