阿特拉MCP评估服务

@atla-ai/atla-mcp-server
0 Stars 356 次浏览 atla-ai 更新于 2026-08-23

Atla MCP服务器为LLM提供了与Atla API交互的标准接口,以进行最先进的LLMJ评估。

该服务暂未提供标准配置,请参考 README 手动接入

服务介绍

Atla MCP 服务器

一个MCP服务器实现,为LLM提供与Atla API交互的标准接口,以进行最先进的LLMJ评估。

更多关于Atla的信息请参阅这里。更多关于模型上下文协议的信息请参阅这里

可用工具

  • evaluate_llm_response: 使用给定的评估标准来评估LLM对提示的响应。该函数在后台使用Atla评估模型返回一个字典,其中包含模型响应的分数和对该响应的文字评论。
  • evaluate_llm_response_on_multiple_criteria: 使用_多个_评估标准来评估LLM对提示的响应。该函数在后台使用Atla评估模型返回一个字典列表,每个字典都包含给定标准下的评估分数和评论。

使用方法

要使用MCP服务器,您需要一个Atla API密钥。您可以在这里找到您的现有API密钥或在这里创建一个新的。

安装

我们建议使用uv来管理Python环境。安装说明请参见这里

  1. 克隆仓库:
git clone https://github.com/atla-ai/atla-mcp-server.git
cd atla-mcp-server
  1. 创建并激活虚拟环境:
uv venv
source .venv/bin/activate
  1. 根据您的需求安装依赖项:
# Basic installation
uv pip install -e .
# Installation with development tools (recommended)
uv pip install -e ".[dev]"
pre-commit install
  1. 将您的ATLA_API_KEY添加到环境中:
export ATLA_API_KEY=<your-atla-api-key>

连接到服务器

安装完服务器后,您可以使用任何MCP客户端连接到它。

在此处,我们提供了连接至一些常见MCP客户端的具体指南。

注意:

  • 如果您遇到uv相关的问题,可能需要传入uv可执行文件的完整路径。您可以通过在终端运行which uv找到它。
  • path/to/atla-mcp-server是指向atla-mcp-server目录的路径,即步骤1中克隆的仓库路径。

遇到问题或需要帮助连接其他客户端?随时可以提出问题或联系我们

OpenAI Agents SDK

关于如何使用OpenAI Agents SDK与MCP服务器配合使用的更多详情,请参考官方文档

  1. 安装OpenAI Agents SDK:
pip install openai-agents
  1. 使用OpenAI Agents SDK连接到服务器:
import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uv",
            "args": ["run", "--directory", "/path/to/atla-mcp-server", "atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude 桌面版

关于如何在Claude桌面版中配置MCP服务器的更多详情,请参考官方MCP快速入门指南

  1. 在您的claude_desktop_config.json文件中添加以下内容:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/atla-mcp-server",
        "run",
        "atla-mcp-server"
      ],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}
  1. 重启Claude桌面版以应用更改。

你现在应该在可用的 MCP 工具列表中看到来自 atla-mcp-server 的选项。

Cursor

有关在 Cursor 中配置 MCP 服务器的更多详细信息,请参阅官方文档

  1. 将以下内容添加到你的 .cursor/mcp.json 文件中:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/atla-mcp-server",
        "run",
        "atla-mcp-server"
      ],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

你现在应该在可用的 MCP 服务器列表中看到 atla-mcp-server

运行服务器

如果你正在使用 MCP 客户端,通常不需要本地运行服务器。

本地运行服务器对于开发和调试非常有用。安装后,你可以通过几种方式运行服务器:

  1. 使用 uv run(推荐):
cd path/to/atla-mcp-server
uv run atla-mcp-server
  1. 直接使用 Python:
cd path/to/atla-mcp-server
python -m atla_mcp_server
  1. 使用 MCP Inspector
cd path/to/atla-mcp-server
uv run mcp dev src/atla_mcp_server/debug.py

所有方法都将启动带有 stdio 传输的 MCP 服务器,准备好接受来自 MCP 客户端的连接。MCP Inspector 将提供一个用于测试和调试 MCP 服务器的 Web 界面。

贡献

欢迎贡献!请参阅 CONTRIBUTING.md 文件了解详情。

许可证

本项目根据 MIT 许可证发布。详见 LICENSE 文件。

相关 MCP 服务