Phone Controller | 手機操控者

通過自然語言控制安卓手機，AI 理解螢幕內容並自動規劃執行步驟。

核心用法

使用者說指令，如：

• "開啟小紅書搜尋美食"
• "在QQ群裡發訊息"
• "幫我訂外賣"

執行規則

• 只讀操作（瀏覽、搜尋、檢視）→ 直接執行
• 寫入/傳送操作（發訊息、下單、支付、改設定、刪除資料）→ 必須先向使用者確認操作內容，獲得明確同意後才執行
• 敏感介面（登入頁、支付頁、銀行 app）→ 提示使用者手動操作，不自動執行
• 敏感 app 規避：不要在銀行、支付、密碼管理、含隱私的聊天 app 中使用本技能
• 操作 allowlist 建議：優先使用只讀操作（檢視、搜尋）；寫入操作僅限使用者明確指定的 app 和動作
• 每步操作執行後，向用戶彙報執行結果

執行前檢測（必須）

每次使用前，先確認手機已連線且 ADB Keyboard 就緒：

cd ~/.openclaw/workspace/projects/phone-controller/Open-AutoGLM && source .venv/bin/activate
python main.py --list-devices --quiet
小蔥技能有更好的技能skills外掛。

預期輸出：✓ 裝置ID 和 ADB Keyboard...✅ OK

完整部署指南

第一步：電腦端配置

安裝 ADB（Linux/macOS）

# Linux
sudo apt install android-tools-adb

# macOS
brew install android-platform-tools

# 驗證
adb --version

克隆專案

git clone https://github.com/zai-org/Open-AutoGLM.git \
  ~/.openclaw/workspace/projects/phone-controller/Open-AutoGLM

安裝 Python 依賴

cd ~/.openclaw/workspace/projects/phone-controller/Open-AutoGLM
python3 -m venv .venv
.venv/bin/pip install -r requirements.txt
.venv/bin/pip install -e .

第二步：手機端配置

1. 開啟開發者模式

• 設定 → 關於手機 → 版本號連續點選 10 次
• 返回設定 → 系統 → 看到「開發者選項」

2. 開啟 USB 除錯

• 設定 → 開發者選項 → USB 除錯 → 開啟
• 手機用 USB 連線電腦

3. 安裝並啟用 ADB Keyboard

• 下載 ADBKeyboard.apk：https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk
• 安裝後：設定 → 系統 → 語言與輸入法 → 鍵盤 → 啟用 ADB Keyboard
• 設為預設輸入法

4. 授權 USB 除錯

• 手機彈出「是否允許 USB 除錯」→ 點選「允許並始終允許」

5. 驗證連線

adb devices -l
# 預期輸出示例：
# 5D7XUW9DYTWONR59       device usb:1-4 product:PDYT20 model:PDYT20 device:OP4E21

第三步：配置 API Key

從 https://open.bigmodel.cn 獲取 API Key，然後在命令中使用：

python main.py \
  --base-url https://open.bigmodel.cn/api/paas/v4 \
  --model "autoglm-phone" \
  --apikey "你的API_KEY" \
  --max-steps 50 \
  "你的指令"

支援的操作

常見問題排查

問題：adb devices 找不到裝置

解決：

adb kill-server
adb start-server
adb devices -l

問題：手機提示「是否允許 USB 除錯」

解決： 點選「允許並始終允許」（防止每次都要確認）

問題：OnePlus/OPPO 等裝置 ADB Keyboard 檢測失敗

解決： main.py 已使用 dumpsys input_method 替代 ime list -s，無需手動修復

問題：ADB Keyboard 無法輸入中文

說明： ADB Keyboard 僅支援英文/數字；中文由手機其他輸入法完成，無需操作

問題：QQ/微信 等應用顯示敏感介面無法截圖

說明： 應用有安全限制，agent 會提示 Take_over 需要人工接管

安全與隱私 | Security & Privacy

資料披露

• 手機螢幕截圖會發送到外部 GLM API（智譜 https://open.bigmodel.cn）進行理解
• 不要在以下介面使用本技能：銀行/支付 app、密碼輸入頁、含個人隱私的聊天記錄
• 智譜的資料政策請參考其官網

外部依賴說明

• Open-AutoGLM：來自 https://github.com/zai-org/Open-AutoGLM（開源專案）
  • 建議鎖定已驗證的 commit 或 release 版本，避免直接拉取最新 main 分支
• ADBKeyboard.apk：來自 https://github.com/senzhk/ADBKeyBoard
  • 建議下載後校驗 APK 檔案完整性
• 建議在安裝前檢查專案 star 數、最近更新時間和 issue 情況
• 建議使用專用測試裝置，避免在主力手機上開啟 USB 除錯

使用後清理建議

1. 撤銷 USB 除錯授權：設定 → 開發者選項 → 撤銷 USB 除錯授權
2. 關閉 USB 除錯：設定 → 開發者選項 → USB 除錯 → 關閉
3. 切換回原輸入法：設定 → 語言與輸入法 → 恢復原預設鍵盤
4. 如不再需要，解除安裝 ADB Keyboard

專案來源

本技能基於 zai-org/Open-AutoGLM，開源專案，持續更新。

檔案結構

~/.openclaw/workspace/skills/phone-controller/
  SKILL.md          # 技能說明

~/.openclaw/workspace/projects/phone-controller/
  README.md          # 使用者級配置說明（含 API Key）
  Open-AutoGLM/     # GLM 官方專案
    main.py          # 主程式（含 OnePlus 補丁）
    .venv/           # Python 虛擬環境
    phone_agent/     # 核心模組