网抓器

@goswamig/fetch-mcp
0 Stars 157 次浏览 goswamig 更新于 2026-08-23

提供了以各种格式(包括HTML、JSON、纯文本和Markdown)获取网络内容的功能,并支持自定义标题。

MCP 服务配置

复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用

{
  "mcpServers": {
    "fetch": {
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ],
      "command": "node"
    }
  }
}

服务介绍

Fetch MCP 服务器

smithery 徽章

fetch mcp 标志

此MCP服务器提供以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。

组件

工具

  • fetch_html

    • 获取一个网站并返回其内容为HTML
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头信息
    • 返回网页的原始HTML内容
  • fetch_json

    • 从URL获取一个JSON文件
    • 输入:
      • url (字符串, 必需): 要获取的JSON的URL
      • headers (对象, 可选): 请求中包含的自定义头信息
    • 返回解析后的JSON内容
  • fetch_txt

    • 获取一个网站并返回其内容为纯文本(无HTML)
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头信息
    • 返回移除了HTML标签、脚本和样式的网页文本内容
  • fetch_markdown

    • 获取一个网站并返回其内容为Markdown
    • 输入:
      • url (字符串, 必需): 要获取的网站的URL
      • headers (对象, 可选): 请求中包含的自定义头信息
    • 返回转换为Markdown格式的网页内容

资源

该服务器不提供任何持久性资源。它被设计为按需获取和转换网页内容。

开始使用

  1. 克隆仓库
  2. 安装依赖: npm install
  3. 构建服务器: npm run build

通过Smithery安装

要通过Smithery自动为Claude Desktop安装fetch-mcp:

npx -y @smithery/cli install @goswamig/fetch-mcp --client claude

使用方法

要使用服务器,可以直接运行它:

npm start

这将启动在标准输入输出上运行的Fetch MCP服务器。

与桌面应用程序集成使用

要将此服务器与桌面应用程序集成,请在应用程序的服务器配置中添加以下内容:

{
  "mcpServers": {
    "fetch": {
      "command": "node",
      "args": [
        "{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
      ]
    }
  }
}

特性

  • 使用现代fetch API获取网页内容
  • 支持请求时的自定义头部
  • 提供多种格式的内容:HTML、JSON、纯文本和Markdown
  • 使用JSDOM进行HTML解析和文本提取
  • 使用TurndownService进行HTML到Markdown的转换

开发

  • 运行 npm run dev 以在监视模式下启动TypeScript编译器
  • 使用 npm test 运行测试套件

许可证

该项目根据MIT许可证授权。