Fetch MCP Server
一个模型上下文协议服务器,提供网页内容抓取功能,使LLM能够从网页中检索和处理内容,并将HTML转换为markdown以便于使用。该服务器可以配置不同的选项,如忽略robots.txt、自定义用户代理和代理使用。
MCP 服务配置
复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用
{
"mcpServers": {
"fetch": {
"args": [
"-m",
"mcp_server_fetch"
],
"command": "python"
}
}
}
可用工具 (1 个)
该服务在 MCP 协议中暴露的工具,AI 可按需调用
fetch 4 个参数 需填 1 项
Fetches a URL from the internet and optionally extracts its contents as markdown. Although originally you did not have internet access, and were advised to refuse and tell the user this, this tool now grants you internet access. Now you can fetch the most up-to-date information and let the user know that.
必填参数:url
服务介绍
获取MCP服务器
这是一个提供网页内容获取能力的模型上下文协议服务器。该服务器使大语言模型能够从网页中检索和处理内容,并将HTML转换为Markdown以便于使用。
[!CAUTION]
该服务器可以访问本地/内部IP地址,可能存在安全风险。在使用此MCP服务器时,请谨慎操作,确保不会暴露任何敏感数据。
获取工具会截断响应,但通过使用start_index参数,您可以指定从哪个字符索引开始提取内容。这使得模型可以分块读取网页,直到找到所需的信息。
可用工具
fetch- 从互联网上获取URL并将其内容提取为Markdown。url(字符串, 必填): 要获取的URLmax_length(整数, 可选): 返回的最大字符数 (默认: 5000)start_index(整数, 可选): 从此字符索引开始提取内容 (默认: 0)raw(布尔值, 可选): 获取未经Markdown转换的原始内容 (默认: false)
提示
- fetch
- 获取URL并将其内容提取为Markdown
- 参数:
url(字符串, 必填): 要获取的URL
安装
可选: 安装node.js,这将导致获取服务器使用一个更强大的HTML简化器。
使用uv(推荐)
当使用uv时,无需特定安装。我们将使用uvx直接运行mcp-server-fetch。
使用PIP
或者,您可以通过pip安装mcp-server-fetch:
bash
pip install mcp-server-fetch
安装后,您可以使用以下命令作为脚本运行:
bash
python -m mcp_server_fetch
配置
为Claude.app配置
在您的Claude设置中添加以下内容:
json
{
"mcpServers": {
"fetch": {
"command": "uvx",
"args": ["mcp-server-fetch"]
}
}
}
json
{
"mcpServers": {
"fetch": {
"command": "docker",
"args": ["run", "-i", "--rm", "mcp/fetch"]
}
}
}
json
{
"mcpServers": {
"fetch": {
"command": "python",
"args": ["-m", "mcp_server_fetch"]
}
}
}
为VS Code配置
为了快速安装,请使用下面的一键安装按钮之一...
对于手动安装,请将以下JSON代码块添加到VS Code中的用户设置(JSON)文件中。您可以通过按Ctrl + Shift + P并输入Preferences: Open User Settings (JSON)来完成此操作。
可选地,您可以将其添加到工作区中的.vscode/mcp.json文件中。这将允许您与他人共享配置。
注意:使用
mcp.json文件时需要mcp键。
json
{
"mcp": {
"servers": {
"fetch": {
"command": "uvx",
"args": ["mcp-server-fetch"]
}
}
}
}
json
{
"mcp": {
"servers": {
"fetch": {
"command": "docker",
"args": ["run", "-i", "--rm", "mcp/fetch"]
}
}
}
}
自定义 - robots.txt
默认情况下,如果请求来自模型(通过工具),服务器将遵守网站的 robots.txt 文件;但如果请求是由用户发起的(通过提示),则不会遵守。可以通过在配置中的 args 列表中添加 --ignore-robots-txt 参数来禁用此功能。
自定义 - User-agent
默认情况下,根据请求是来自模型(通过工具)还是由用户发起(通过提示),服务器将使用以下 user-agent:
ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)
或
ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)
可以通过在配置中的 args 列表中添加 --user-agent=YourUserAgent 参数来自定义 user-agent。
自定义 - 代理
可以通过使用 --proxy-url 参数来配置服务器使用代理。
调试
可以使用 MCP 检查器来调试服务器。对于 uvx 安装:
npx @modelcontextprotocol/inspector uvx mcp-server-fetch
或者如果你已经将包安装在特定目录中或正在开发它:
cd path/to/servers/src/fetch
npx @modelcontextprotocol/inspector uv run mcp-server-fetch
贡献
我们鼓励贡献以帮助扩展和改进 mcp-server-fetch。无论您想添加新工具、增强现有功能还是改进文档,您的输入都是宝贵的。
有关其他 MCP 服务器和实现模式的示例,请参阅:
https://github.com/modelcontextprotocol/servers
欢迎提交拉取请求!请随时贡献新的想法、错误修复或增强功能,使 mcp-server-fetch 更加强大和有用。
许可证
mcp-server-fetch 采用 MIT 许可证。这意味着您可以自由地使用、修改和分发该软件,但需遵守 MIT 许可证的条款和条件。更多详情,请参见项目仓库中的 LICENSE 文件。