Excel髒資料快速清洗模板

👤 Felix0530 📦 v1.0.3 ⭐ 4.8 ⬇️ 127 下載
📊 資料分析 免費

📖 技能介紹


name: excel-cleanup-quickstart display_name: Excel髒資料快速清洗模板 version: 1.0.3 category: 辦公效率 tags: - Excel清洗 - 表格去重 - 資料整理 - 空值填充 - 辦公資料 - 清洗報告 author: Felix trigger: - Excel資料清洗 - 表格去重 - 幫我清洗表格 - 填補空值 - 表格資料整理 - 整理髒Excel - 表格格式統一 - 列拆分處理


Excel髒資料快速清洗模板

適用場景

收到同事/客戶發來的"慘不忍睹"表格:重複行、空值、前後空格、大小寫混亂、日期與手機號格式五花八門,人工整理一小時起步。本技能按「清洗配置 + 原始表格」一次性完成去重、補空、格式統一與列拆分,並輸出清洗報告(每一步改了多少行),讓資料可追溯、結果可複核。

核心能力

  1. 去重:整行去重 / 按關鍵列(如手機號、訂單號)去重,dedup_keep 控制保留首條或末條,並記錄被刪條數。
  2. 空值處理:按列配置填充策略——固定值、上一行沿用(向下填充)、列均值(數值列)、標記 【缺失】
  3. 格式統一:去首尾空格、全形轉半形、大小寫規整、日期統一為 YYYY-MM-DD、手機號去分隔符校驗 11 位。

    7w4.net小蔥技能站,你的AI助手技能庫。

  4. 列拆分:按分隔符將一列拆為多列(如"省-市-區"拆三列),超出目標列數部分自動截斷告警。
  5. 清洗報告:逐條列出操作、影響行數、缺失率統計、丟棄/存疑資料清單,方便發給資料提供方核對。

輸入規範

向用戶收集(任一缺失則主動引導補充,不臆測):

  • 原始表格:貼上表格文本 / CSV 內容 / Excel 截圖轉錄(列名 + 資料行)
  • 關鍵列:按哪一列判定重複(不提供則整行去重)
  • 空值策略:每列缺失時怎麼處理(不提供則預設標記 【缺失】
  • 格式要求:需要統一的列(日期列、手機號列、需去空格的文本列)
  • 拆分需求:是否需要把某列按分隔符拆開(可空)

引導話術:「把表格內容發我(直接貼上就行),並告訴我:①按哪列去重(如手機號)②空值怎麼補 ③哪些列要統一格式。我給你清洗好的表格 + 一份清洗報告。」

處理流程

  1. 將使用者貼上的表格解析為「列名 + 資料行」,與清洗要求一起整理為 JSON(結構見 references/input_template.md)。
  2. 呼叫 scripts/clean_table.py 執行確定性清洗: python scripts/clean_table.py --input table.json # 指定輸出/格式 python scripts/clean_table.py --input table.json --output 清洗結果.md --format both table.json 結構見 references/input_template.md
  3. 輸出清洗後的表格(markdown + CSV 兩種格式)與清洗報告,存疑資料單列提示使用者人工複核。

指令碼引數

引數 說明
table.json(位置引數)或 --input JSON 輸入;二者二選一,預設讀 stdin(編碼自動 utf-8-sig/gbk 兜底)
--output 寫入檔案;預設列印到 stdout
--format markdown / csv / both(預設 both)
--selftest 執行內建自檢(無需輸入),退出碼 0/4

輸出格式

== 清洗報告 ==
原始資料:58 行 × 5 列
① 格式統一:手機號列去分隔符,2 條非 11 位已標記存疑(先規整再去重,避免同號不同寫法漏判)
② 去重(按 手機號):刪除 6 行重複
③ 空值填充:部門列 3 處 → 向下沿用;金額列 2 處 → 列均值 1520.5
④ 拆列:地址 → 省/市/區 3 列
⑤ 資料概覽:清洗後 52 行 × 7 列,空白單元格 3 個(缺失率 0.8%);各列缺失數:部門 3
清洗後:52 行 × 7 列

== 存疑資料(請人工複核)==
| 行號 | 列 | 原值 | 問題 |
|---|---|---|---|
| 17 | 手機號 | 1380013 | 位數不足 |

== 清洗後表格(markdown)==
| 姓名 | 手機號 | ... |
...

== 清洗後表格(CSV,可直接另存為 .csv 匯入 Excel)==
姓名,手機號,...

邊緣用例(v1.0.3 已覆蓋)

  • --format csv → 僅輸出 CSV,不夾雜 markdown 表格
  • dedup_keeplast → 去重時保留末條;取值非法(非 first/last)→ 回退 first 並告警
  • 空行輸入(rows 為空)→ 正常輸出 0 行報告,不報錯
  • 整列缺失(全空列)→ 缺失率統計正確(計空白 + 標記 【缺失】 兩者)
  • 去重鍵為空的行 → 按空字串參與判重,不誤刪其他行
  • 拆列段數超出目標列數 → 多餘部分截斷並告警,不撐破錶格
  • 資料超過 2000 行 → 截斷前 2000 行處理並提示

異常處理

  • 表格解析失敗(列數不齊)→ 指出第幾行列數異常,請使用者補齊或確認刪除。
  • 數值列均值填充遇到非數值 → 該列回退為標記 【缺失】 並在報告說明。
  • 關鍵列不存在 → 列出現有列名請使用者重選。
  • 輸入 JSON 結構非法(columns/rows 非陣列、非物件)→ 明確報錯並給出退出碼 2/3。

自檢

修改指令碼後先跑一遍,確認無迴歸:

python scripts/clean_table.py --selftest

適用限制與免責宣告

  • 本技能處理的是使用者貼上的表格文本;.xlsx 原檔案請先複製資料區域或轉存 CSV。
  • 清洗規則是通用規範,業務特殊口徑(如"重複但要保留最新一條")請在輸入中顯式說明。
  • 清洗結果供效率參考,重要資料(財務、合規)請以清洗報告核對後再使用。

🤖 AI 評測

這個工具質量不錯,處理表格資料很實用,能一次性完成去重、填充、格式統一併輸出清洗報告,對各種邊界情況考慮得比較周全。不足之處是使用者需要手動配置引數,沒有圖形介面操作,而且不支援直接讀取 Excel 檔案,只能貼上文本或 JSON 資料。

📊 多維度評分

適應性4.7
規範性4.6
有效性4.7
可靠性4.8
可信度5

📁 包含檔案 (5 個)

📄 SKILL.md 5.6 KB
📄 examples/example_input.json 893 B
📄 examples/example_output.md 1.9 KB
📄 references/input_template.md 1.6 KB
📄 scripts/clean_table.py 16.4 KB