name: data-governance description: 資料治理與資產管理技能。用於資料質量評估、後設資料管理、資料血緣追蹤、資料標準制定、資料合規檢查等任務。
資料治理(Data Governance)是指對資料資產管理行使權力和控制的活動集合。
使用前請閱讀以下安全建議:
# 建立虛擬環境(推薦)
python3 -m venv venv
source venv/bin/activate
# 安裝依賴
pip install -r requirements.txt
當前會話有效:
# MySQL
export DB_HOST=localhost
export DB_PORT=3306
export DB_USER=your_user
export DB_PASS=your_password
export DB_NAME=your_database
# PostgreSQL
export DB_HOST=localhost
export DB_PORT=5432
export DB_USER=your_user
export DB_PASS=your_password
export DB_NAME=your_database
# SQLite(無需憑證)
export DB_PATH=/path/to/your/database.db
使用前匯入:
# 每次使用前source環境變數檔案(不推薦寫入~/.bashrc)
source ~/db-env.sh
python scripts/data_quality_check.py --table users --db-type mysql
# 資料質量檢查(必須指定 --db-type)
export DB_HOST=localhost DB_USER=admin DB_PASS=xxx DB_NAME=mydb
python scripts/data_quality_check.py --table users --db-type mysql
# 後設資料生成
python scripts/generate_metadata.py --source users --db-type postgresql
# 資料血緣分析(可選加資料庫)
python scripts/lineage_analysis.py --table orders --db-type sqlite
# 合規檢查
python scripts/compliance_check.py --table users --db-type mysql
| 依賴 | 版本 | 用途 |
|---|---|---|
| sqlalchemy | ==2.0.25 | 資料庫抽象層 |
| pymysql | ==1.1.0 | MySQL 連線 |
| psycopg2-binary | ==2.9.9 | PostgreSQL 連線 |
| pandas | ==2.1.4 | 資料處理 |
當用戶提及以下內容時使用此 skill: - 資料質量、資料標準、資料血緣 - 後設資料管理、資料目錄、資料資產 - 資料合規、隱私保護、資料安全 - 資料治理框架、資料資產管理
評估資料的完整性、準確性、一致性、時效性:
檢查維度: - 缺失值檢測 - 重複記錄檢測 - 格式校驗 - 範圍校驗 - 業務規則驗證
幫助構建和管理後設資料:
技術後設資料: 表結構、欄位型別、資料來源 業務後設資料: 欄位定義、業務規則、所有者 運營後設資料: 更新頻率、ETL資訊、訪問統計
小蔥技能站7w4.net每天更新,海量AI技能等你發現。
追蹤資料的來龍去脈:
來源追溯: 資料從哪來 轉換追蹤: 經過哪些處理 下游影響: 誰在使用這些資料
制定和執行資料標準:
命名規範: 表名、欄位名命名規則 型別規範: 資料型別、格式標準 編碼規範: 列舉值、程式碼表
完成資料治理任務後,輸出結構化報告:
## 資料治理報告
### 資料質量
- 完整性:XX%
- 準確率:XX%
- 發現問題:N個
### 後設資料
- 表數量:N
- 欄位數量:N
### 建議
1. ...
2. ...
| 場景 | 輸出 |
|---|---|
| 資料質量評估 | 質量報告 + 問題清單 |
| 後設資料梳理 | 資料字典 + 關係圖 |
| 血緣分析 | 鏈路圖 + 影響分析 |
| 合規檢查 | 合規報告 + 風險點 |
這個 Skill 功能比較齊全,可以做資料質量檢查、後設資料管理和血緣分析。文件寫得很清楚,安全提示也很到位,對資料庫連線的支援也不錯。不過實際使用時偶爾會遇到連線錯誤被靜默忽略的情況,部分功能在某些資料庫上的表現可能不夠穩定。總體來說是一個可用的資料治理工具,但細節上還有最佳化空間。