oloStep 内容抓取服务器
在谷歌搜索、独立网站上查找并抓取其内容。快速且成本效益高。⚡️
MCP 服务配置
复制以下 JSON 到 OPClaw 或其他 MCP 客户端的配置文件中即可使用
{
"mcpServers": {
"mcp-server-olostep": {
"args": [
"-y",
"olostep-mcp"
],
"command": "npx",
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
该服务需要配置环境变量:OLOSTEP_API_KEY
服务介绍
Olostep MCP 服务器
一个与 Olostep 集成的模型上下文协议 (MCP) 服务器实现,用于网页抓取、内容提取和搜索功能。要设置 Olostep MCP 服务器,您需要拥有一个 API 密钥。您可以通过在 Olostep 网站上注册来获取 API 密钥。
功能
- 以整洁的 markdown 格式提取网页内容
- 提取结构化数据的 Google 搜索结果
- 发现和映射网站 URL
- 针对特定国家/地区的请求路由以获取地理定向内容
- 对于 JavaScript 密集型网站可配置的等待时间
- 全面的错误处理和报告
- 简单的 API 密钥配置
安装
使用 npx 运行
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
手动安装
npm install -g olostep-mcp
在 Claude Desktop 上运行
将以下内容添加到您的 claude_desktop_config.json 文件中:
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
或者,您可以使用 Smithery CLI 通过在设备终端中运行以下代码进行安装:
npx -y @smithery/cli install @olostep/olostep-mcp-server --client claude
在 Windsurf 上运行
将以下内容添加到您的 ./codeium/windsurf/model_config.json 文件中:
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}
在 Cursor 上运行
要配置 Cursor 中的 Olostep MCP:
- 打开 Cursor 设置
- 转到功能 > MCP 服务器
- 单击“+ 添加新的 MCP 服务器”
- 输入以下信息:
- 名称:“olostep-mcp”(或您喜欢的名称)
- 类型:“command”
- 命令:
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
将 your-api-key 替换为您的 Olostep API 密钥。
配置
环境变量
OLOSTEP_API_KEY: 您的 Olostep API 密钥(必需)
可用工具
1. 获取网页内容 (get_webpage_content)
以支持 JavaScript 渲染的方式检索干净的 markdown 格式的网页内容。
{
"name": "get_webpage_content",
"arguments": {
"url_to_scrape": "https://example.com",
"wait_before_scraping": 1000,
"country": "US"
}
}
参数:
url_to_scrape: 要抓取的网页的 URL(必需)wait_before_scraping: 开始抓取前等待的时间(毫秒)(默认:0)country: 加载请求的居住国(例如,US, CA, GB)(可选)
响应:
{
"content": [
{
"type": "text",
"text": "# Example Website\n\nThis is the markdown content of the webpage..."
}
]
}
2. 获取网站 URL (get_website_urls)
从网站搜索并检索相关的 URL,并按查询的相关性排序。
{
"name": "get_website_urls",
"arguments": {
"url": "https://example.com",
"search_query": "your search term"
}
}
参数:
url: 要映射的网站的 URL(必需)search_query: 用于根据相关性排序 URL 的搜索查询(必需)
响应:
{
"content": [
{
"type": "text",
"text": "Found 42 URLs matching your query:\n\nhttps://example.com/page1\nhttps://example.com/page2\n..."
}
]
}
3. Google 搜索 (google_search)
从 Google 搜索结果中检索结构化数据。
{
"name": "google_search",
"arguments": {
"query": "your search query",
"country": "US"
}
}
参数:
query: 要执行的搜索查询(必需)country: 用于本地化结果的国家代码(例如,US, GB)(默认:"US")
响应包括:
- 包含标题、链接和摘要的自然搜索结果
- 当可用时的知识图谱数据
- 相关问题(人们也问)
- 相关搜索
- 丰富的摘要和其他结构化数据
错误处理
该服务器提供了强大的错误处理机制:
- 详细的API问题错误信息
- 网络错误报告
- 认证失败处理
- 速率限制信息
示例错误响应:
{
"isError": true,
"content": [
{
"type": "text",
"text": "Olostep API Error: 401 Unauthorized. Details: {\"error\":\"Invalid API key\"}"
}
]
}
许可证
ISC 许可证