自动化抓取
提供了以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。
MCP 服务配置
复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用
{
"mcpServers": {
"fetch": {
"args": [
"{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
],
"command": "node"
}
}
}
服务介绍
Fetch MCP 服务器
此MCP服务器提供了以多种格式(包括HTML、JSON、纯文本和Markdown)获取网页内容的功能。
组件
工具
-
fetch_html
- 获取一个网站并将其内容作为HTML返回
- 输入:
url(字符串, 必需): 要获取的网站的URLheaders(对象, 可选): 请求中包含的自定义头
- 返回网页的原始HTML内容
-
fetch_json
- 从URL获取JSON文件
- 输入:
url(字符串, 必需): 要获取的JSON的URLheaders(对象, 可选): 请求中包含的自定义头
- 返回解析后的JSON内容
-
fetch_txt
- 获取一个网站并将其内容作为纯文本返回(无HTML)
- 输入:
url(字符串, 必需): 要获取的网站的URLheaders(对象, 可选): 请求中包含的自定义头
- 返回去除了HTML标签、脚本和样式的网页文本内容
-
fetch_markdown
- 获取一个网站并将其内容转换为Markdown格式返回
- 输入:
url(字符串, 必需): 要获取的网站的URLheaders(对象, 可选): 请求中包含的自定义头
- 返回已转换为Markdown格式的网页内容
资源
该服务器不提供任何持久性资源。它被设计为按需获取并转换网页内容。
开始使用
- 克隆仓库
- 安装依赖:
npm install - 构建服务器:
npm run build
使用方法
要使用该服务器,可以直接运行:
npm start
这将启动在标准输入输出上运行的Fetch MCP服务器。
与桌面应用程序集成使用
要将此服务器与桌面应用程序集成,请在应用程序的服务器配置中添加以下内容:
{
"mcpServers": {
"fetch": {
"command": "node",
"args": [
"{ABSOLUTE PATH TO FILE HERE}/dist/index.js"
]
}
}
}
特性
- 使用现代的fetch API获取网页内容
- 支持请求中的自定义头部
- 提供多种格式的内容:HTML、JSON、纯文本和Markdown
- 使用JSDOM进行HTML解析和文本提取
- 使用TurndownService进行HTML到Markdown的转换
开发
- 运行
npm run dev启动TypeScript编译器的监视模式 - 使用
npm test运行测试套件
许可证
该项目根据MIT许可证授权。