跳转至

开始之前

选择你的路径

本内容提供两种格式:

路径 描述 最适合
实验 动手实践、自主学习,包含详细的分步说明 独自学习材料的个人学习者
演示 演示就绪格式,包含 ACME 公司业务场景 讲师、演示者或跟随现场演示的人员

两条路径涵盖相同的 5 个模块,但背景不同:

  • 实验:专注于按自己的节奏学习 vLLM Playground 功能
  • 演示:以业务为中心的叙述,展示 ACME 公司如何用 AI 改造客户支持

时间和日程

📚 实验路径(90 分钟)

自主学习,动手实践,包含详细的分步说明。

模块 主题 时长
模块 1 vLLM Playground 快速入门 18 分钟
模块 2 高级推理:结构化输出 18 分钟
模块 3 高级推理:工具调用 18 分钟
模块 4 高级推理:MCP 集成 18 分钟
模块 5 性能测试 18 分钟

🎬 演示路径(45 分钟)

演示就绪格式,适用于现场演示。

模块 主题 时长
模块 1 vLLM Playground 快速入门 8 分钟
模块 2 高级推理:结构化输出 10 分钟
模块 3 高级推理:工具调用 10 分钟
模块 4 高级推理:MCP 集成 10 分钟
模块 5 性能测试 7 分钟

快速入门(20-36 分钟)

如果时间有限,请专注于以下模块:

路径 模块 时长
实验 模块 1 + 模块 5 36 分钟
演示 模块 1 + 模块 5 15 分钟

技术要求

软件版本

组件 版本
vLLM Playground v0.1.1+
vLLM v0.11.0+
Podman 4.0+(或 Docker)
Python 3.10+(MCP 需要)
NVIDIA GPU CUDA 支持
Web 浏览器 Chrome、Firefox、Safari、Edge

环境访问

安装 vLLM Playground 后,你将可以访问:

资源 URL
vLLM Playground Web UI http://localhost:7860
vLLM API 端点 http://localhost:8000

环境设置

快速设置

# 1. 安装 vLLM Playground
pip install vllm-playground

# 2. 拉取 GPU 容器镜像(约 10GB)
vllm-playground pull

# 3. 启动 playground
vllm-playground

# 4. 在浏览器中打开 http://localhost:7860

包含内容

组件 状态
vLLM Playground CLI ✅ 通过 pip 安装
Podman/Docker ⚠️ 需要(单独安装)
NVIDIA GPU 驱动 ⚠️ GPU 模式需要
Python 3.10+ ⚠️ MCP 支持需要

可选包

以下包可安装以获得额外功能:

安装命令 用途
MCP Client pip install mcppip install vllm-playground[mcp] 模块 4 需要
GuideLLM pip install guidellmpip install vllm-playground[benchmark] 模块 5 需要

预安装所有内容

一次性安装所有可选依赖:

pip install vllm-playground[mcp,benchmark]

设置验证

运行以下命令验证你的环境:

# 验证 vLLM Playground 安装
vllm-playground --help

# 验证 Podman(或使用 'docker version')
podman version

# 验证 GPU 可用性(如果使用 GPU)
nvidia-smi

# 检查 Python 版本(用于 MCP)
python3 --version

# 验证 MCP 安装(可选 - 用于模块 4)
python3 -c "import mcp; print('MCP installed successfully')"

# 验证 GuideLLM 安装(可选 - 用于模块 5)
guidellm --help

故障排除指南

常见设置问题

问题 解决方案
vllm-playground: command not found 验证安装路径是否在 PATH 中,或使用 pip install vllm-playground 重新安装
运行 Podman 时 Permission denied 确保配置了 rootless Podman,或使用 sudo
NVIDIA driver not found 或 GPU 未检测到 安装 NVIDIA 驱动并使用 nvidia-smi 验证
容器镜像拉取失败 检查网络连接和容器仓库访问
端口 7860 已被占用 运行 vllm-playground stop 或使用 --port 指定不同端口

实验期间支持

# 检查 vLLM Playground 日志
vllm-playground status

# 查看容器日志
podman logs vllm-service

# 如需重启
vllm-playground stop
vllm-playground

后续资源

实验后

额外学习路径

级别 重点领域
中级 探索不同的模型架构及其工具调用能力
高级 在 OpenShift/Kubernetes 上部署 vLLM Playground 以实现企业规模
生产 为你的特定用例实现自定义 MCP 服务器

作者和贡献者

主要作者:Michael Yang
最后更新:2026 年 1 月
实验版本:1.0

反馈和问题


准备开始?

选择你的学习路径: