阿特拉MCP评估服务
Atla MCP服务器为LLM提供了与Atla API交互的标准接口,以进行最先进的LLMJ评估。
服务介绍
Atla MCP 服务器
一个MCP服务器实现,为LLM提供与Atla API交互的标准接口,以进行最先进的LLMJ评估。
可用工具
evaluate_llm_response: 使用给定的评估标准来评估LLM对提示的响应。该函数在后台使用Atla评估模型返回一个字典,其中包含模型响应的分数和对该响应的文字评论。evaluate_llm_response_on_multiple_criteria: 使用_多个_评估标准来评估LLM对提示的响应。该函数在后台使用Atla评估模型返回一个字典列表,每个字典都包含给定标准下的评估分数和评论。
使用方法
安装
我们建议使用
uv来管理Python环境。安装说明请参见这里。
- 克隆仓库:
git clone https://github.com/atla-ai/atla-mcp-server.git
cd atla-mcp-server
- 创建并激活虚拟环境:
uv venv
source .venv/bin/activate
- 根据您的需求安装依赖项:
# Basic installation
uv pip install -e .
# Installation with development tools (recommended)
uv pip install -e ".[dev]"
pre-commit install
- 将您的
ATLA_API_KEY添加到环境中:
export ATLA_API_KEY=<your-atla-api-key>
连接到服务器
安装完服务器后,您可以使用任何MCP客户端连接到它。
在此处,我们提供了连接至一些常见MCP客户端的具体指南。
注意:
- 如果您遇到
uv相关的问题,可能需要传入uv可执行文件的完整路径。您可以通过在终端运行which uv找到它。path/to/atla-mcp-server是指向atla-mcp-server目录的路径,即步骤1中克隆的仓库路径。
遇到问题或需要帮助连接其他客户端?随时可以提出问题或联系我们!
OpenAI Agents SDK
关于如何使用OpenAI Agents SDK与MCP服务器配合使用的更多详情,请参考官方文档。
- 安装OpenAI Agents SDK:
pip install openai-agents
- 使用OpenAI Agents SDK连接到服务器:
import os
from agents import Agent
from agents.mcp import MCPServerStdio
async with MCPServerStdio(
params={
"command": "uv",
"args": ["run", "--directory", "/path/to/atla-mcp-server", "atla-mcp-server"],
"env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
}
) as atla_mcp_server:
...
Claude 桌面版
关于如何在Claude桌面版中配置MCP服务器的更多详情,请参考官方MCP快速入门指南。
- 在您的
claude_desktop_config.json文件中添加以下内容:
{
"mcpServers": {
"atla-mcp-server": {
"command": "uv",
"args": [
"--directory",
"/path/to/atla-mcp-server",
"run",
"atla-mcp-server"
],
"env": {
"ATLA_API_KEY": "<your-atla-api-key>"
}
}
}
}
- 重启Claude桌面版以应用更改。
你现在应该在可用的 MCP 工具列表中看到来自 atla-mcp-server 的选项。
Cursor
有关在 Cursor 中配置 MCP 服务器的更多详细信息,请参阅官方文档。
- 将以下内容添加到你的
.cursor/mcp.json文件中:
{
"mcpServers": {
"atla-mcp-server": {
"command": "uv",
"args": [
"--directory",
"/path/to/atla-mcp-server",
"run",
"atla-mcp-server"
],
"env": {
"ATLA_API_KEY": "<your-atla-api-key>"
}
}
}
}
你现在应该在可用的 MCP 服务器列表中看到 atla-mcp-server。
运行服务器
如果你正在使用 MCP 客户端,通常不需要本地运行服务器。
本地运行服务器对于开发和调试非常有用。安装后,你可以通过几种方式运行服务器:
- 使用
uv run(推荐):
cd path/to/atla-mcp-server
uv run atla-mcp-server
- 直接使用 Python:
cd path/to/atla-mcp-server
python -m atla_mcp_server
- 使用 MCP Inspector:
cd path/to/atla-mcp-server
uv run mcp dev src/atla_mcp_server/debug.py
所有方法都将启动带有 stdio 传输的 MCP 服务器,准备好接受来自 MCP 客户端的连接。MCP Inspector 将提供一个用于测试和调试 MCP 服务器的 Web 界面。
贡献
欢迎贡献!请参阅 CONTRIBUTING.md 文件了解详情。
许可证
本项目根据 MIT 许可证发布。详见 LICENSE 文件。