BeautifulSoup4 网页浏览器
使用BeautifulSoup4启用网页浏览功能
MCP 服务配置
复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用
{
"mcpServers": {
"web-browser-mcp-server": {
"args": [
"--directory",
"path/to/cloned/web-browser-mcp-server",
"run",
"web-browser-mcp-server"
],
"command": "uv",
"env": {
"REQUEST_TIMEOUT": "30"
}
}
}
}
该服务需要配置环境变量:REQUEST_TIMEOUT
可用工具 (1 个)
该服务在 MCP 协议中暴露的工具,AI 可按需调用
browse_webpage 2 个参数 需填 1 项
Extract content from a webpage with optional CSS selectors for specific elements
必填参数:url
服务介绍
✨ 特性
🌐 通过简单的MCP接口,使AI助手能够浏览和从网页中提取内容。
Web Browser MCP Server通过消息控制协议(MCP)为AI模型提供了浏览网站、提取内容以及理解网页的能力。它支持使用CSS选择器进行智能内容提取,并具备强大的错误处理功能。
✨ 核心特性
- 🎯 智能内容提取:使用CSS选择器精确获取所需内容
- ⚡ 闪电般快速:采用异步处理以实现最佳性能
- 📊 丰富的元数据:捕获标题、链接和结构化内容
- 🛡️ 稳健且可靠:内置错误处理和超时管理
- 🌍 跨平台:在任何运行Python的地方都可工作
🚀 快速开始
通过Smithery安装
要通过Smithery自动为Claude Desktop安装Web Browser Server:
npx -y @smithery/cli install web-browser-mcp-server --client claude
手动安装
使用uv安装:
uv tool install web-browser-mcp-server
开发环境:
# Clone and set up development environment
git clone https://github.com/blazickjp/web-browser-mcp-server.git
cd web-browser-mcp-server
# Create and activate virtual environment
uv venv
source .venv/bin/activate
# Install with test dependencies
uv pip install -e ".[test]"
🔌 MCP集成
将此配置添加到您的MCP客户端配置文件中:
{
"mcpServers": {
"web-browser-mcp-server": {
"command": "uv",
"args": [
"tool",
"run",
"web-browser-mcp-server"
],
"env": {
"REQUEST_TIMEOUT": "30"
}
}
}
}
开发环境:
{
"mcpServers": {
"web-browser-mcp-server": {
"command": "uv",
"args": [
"--directory",
"path/to/cloned/web-browser-mcp-server",
"run",
"web-browser-mcp-server"
],
"env": {
"REQUEST_TIMEOUT": "30"
}
}
}
}
💡 可用工具
服务器提供了一个强大的网页浏览工具:
browse_webpage
使用可选的CSS选择器浏览并从网页中提取内容:
# Basic webpage fetch
result = await call_tool("browse_webpage", {
"url": "https://example.com"
})
# Target specific content with CSS selectors
result = await call_tool("browse_webpage", {
"url": "https://example.com",
"selectors": {
"headlines": "h1, h2",
"main_content": "article.content",
"navigation": "nav a"
}
})
⚙️ 配置
通过环境变量进行配置:
| 变量 | 目的 | 默认值 |
|---|---|---|
REQUEST_TIMEOUT |
网页请求超时时间(秒) | 30 |
🧪 测试
运行测试套件:
python -m pytest
📄 许可证
本项目依据MIT许可证发布。详情请参见LICENSE文件。
由Pear Labs团队用心制作