MCP-vLLM基准测试工具

@Eliovp-BV/mcp-vllm-benchmark
0 Stars 25 次浏览 Eliovp-BV 更新于 2026-08-23

一种交互式工具，通过 MCP 启用用户对 vLLM 端点进行基准测试，允许使用可自定义参数对 LLM 模型进行性能测试。

该服务暂未提供标准配置，请参考 README 手动接入

服务介绍

MCP vLLM 基准测试工具

这是关于如何使用MCP交互式地对vLLM进行基准测试的概念验证。

我们对于基准测试并不陌生，可以阅读我们的博客：

对vLLM进行基准测试

这只是利用MCP探索可能性的一个尝试。

使用方法

  1. 克隆仓库
  2. 将其添加到您的MCP服务器中：
{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

之后，您可以像这样发起请求：

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

待办事项：

  • 由于vllm的一些随机输出，它可能会显示找到了一些无效的json。我还没有深入研究这个问题。
查看源码 项目主页