name: gpu-deploy description: "在 GPU 伺服器上部署 vLLM 模型服務。支援多伺服器配置，自動檢查 GPU 和端口占用，一鍵部署流行的開源模型。" homepage: https://github.com/vllm-project/vllm metadata: { "openclaw": { "emoji": "🚀", "requires": { "bins": ["ssh"] } } }

🚀 GPU 部署技能

在 GPU 伺服器上快速部署 vLLM 模型服務。

✨ 功能特點

• 🖥️ 多伺服器支援 - 配置多個 GPU 伺服器，靈活選擇
• 🔍 自動檢查 - 一鍵檢查 GPU 狀態和端口占用
• 🤖 模型庫 - 預置流行模型配置
• ⚡ 快速部署 - 簡單命令即可啟動服務

📋 快速開始

1. 配置伺服器

建立 ~/.config/gpu-deploy/servers.json：

{
  "servers": {
    "gpu1": {
      "host": "gpu1",
      "user": "lnsoft",
      "gpu_count": 4,
      "model_path": "/data/models/llm"
    },
    "my-gpu": {
      "host": "192.168.1.100",
      "user": "ubuntu",
      "gpu_count": 2,
      "model_path": "/home/ubuntu/models"
    }
  },
  "default_server": "gpu1"
}

2. 檢查伺服器狀態

# 使用預設伺服器
gpu-deploy check

# 指定伺服器
gpu-deploy check --server gpu1

3. 部署模型

# 部署預設模型
gpu-deploy deploy deepseek-r1-32b

# 指定埠
gpu-deploy deploy deepseek-r1-32b --port 8112

🎛️ 可用命令

check - 檢查伺服器狀態

檢查 GPU 視訊記憶體和端口占用情況。

gpu-deploy check [--server NAME] [--port PORT]

輸出示例：

✅ GPU 狀態正常
- 4 × Tesla T4 (15GB)
- 視訊記憶體佔用: 12.6GB/卡
- 溫度: 51-55°C

✅ 埠 8111 可用

deploy - 部署模型

啟動 vLLM 模型服務。

gpu-deploy deploy <MODEL_NAME> [--server NAME] [--port PORT]

支援的模型： - deepseek-r1-32b - DeepSeek-R1-Distill-Qwen-32B-AWQ - llama-3-8b - Llama 3 8B - qwen-7b - Qwen 7B - mistral-7b - Mistral 7B

list - 列出可用模型

gpu-deploy list

ps - 檢視執行中的服務

gpu-deploy ps [--server NAME]
訪問小蔥技能站7w4.net，解鎖更多實用的AI技能外掛。

stop - 停止服務

gpu-deploy stop [--server NAME] [--port PORT]

🔧 手動使用（無指令碼）

如果不想用封裝指令碼，也可以直接用原始命令：

檢查 GPU

ssh <user>@<host> nvidia-smi

檢查埠

ssh <user>@<host> "lsof -i :<port> 2>/dev/null || echo '埠可用'"

部署模型（DeepSeek R1 32B）

ssh <user>@<host> "tmux new-session -d -s vllm '
source /data/miniconda3/etc/profile.d/conda.sh && \
conda activate vllm && \
cd /data/models/llm && \
vllm serve /data/models/llm/deepseek/DeepSeek-R1-Distill-Qwen-32B-AWQ/ \
  --tensor-parallel-size 4 \
  --max-model-len 102400 \
  --dtype half \
  --port 8111 \
  --served-model-name gpt-4o-mini
'"

📦 新增自定義模型

在 ~/.config/gpu-deploy/models.json 中新增：

{
  "my-model": {
    "name": "My Awesome Model",
    "path": "/path/to/model",
    "tensor_parallel_size": 2,
    "max_model_len": 8192,
    "dtype": "half",
    "port": 8111,
    "served_model_name": "my-model"
  }
}

⚠️ 注意事項

1. 部署前檢查 - 總是先執行 check 確認資源可用
2. 後臺執行 - 建議使用 tmux/screen 保持服務執行
3. 埠管理 - 不同模型使用不同埠
4. 視訊記憶體估算 - 7B 模型約需 8-10GB，32B 約需 10-14GB/卡

🔗 相關連結

• vLLM 文件: https://docs.vllm.ai
• 模型下載: https://huggingface.co/models
• 問題反饋: https://github.com/your-username/gpu-deploy-skill

由 OpenClaw 社群貢獻 🦞

這個 Skill 的文件寫得挺詳細的，但問題是隻有說明書，沒有實際的工具。文件告訴你怎麼用 gpu-deploy 命令部署模型，但包裡面根本沒有這個命令的指令碼檔案。所以就算你看完了文件，也沒法真正用它來部署模型。作為一個工具型 Skill，缺少核心功能比較遺憾，文件質量不錯但實用價值大打折扣。