Data Governance

👤 xingjianliu0417 📦 v1.10.1 ⭐ 4.3 ⬇️ 945 下載
📊 資料分析 免費

📖 技能介紹


name: data-governance description: 資料治理與資產管理技能。用於資料質量評估、後設資料管理、資料血緣追蹤、資料標準制定、資料合規檢查等任務。


Data Governance Skill

資料治理(Data Governance)是指對資料資產管理行使權力和控制的活動集合。

⚠️ 安全警示

使用前請閱讀以下安全建議:

  1. 僅使用環境變數 - 不寫入配置檔案
  2. 使用最小許可權賬戶 - 生產環境使用只讀使用者
  3. 勿在命令列明文傳密碼 - 使用環境變數
  4. 敏感資料脫敏 - 分享報告前移除真實資料

首次配置

1. 安裝依賴

# 建立虛擬環境(推薦)
python3 -m venv venv
source venv/bin/activate

# 安裝依賴
pip install -r requirements.txt

2. 配置環境變數

當前會話有效:

# MySQL
export DB_HOST=localhost
export DB_PORT=3306
export DB_USER=your_user
export DB_PASS=your_password
export DB_NAME=your_database

# PostgreSQL
export DB_HOST=localhost
export DB_PORT=5432
export DB_USER=your_user
export DB_PASS=your_password
export DB_NAME=your_database

# SQLite(無需憑證)
export DB_PATH=/path/to/your/database.db

使用前匯入:

# 每次使用前source環境變數檔案(不推薦寫入~/.bashrc)
source ~/db-env.sh
python scripts/data_quality_check.py --table users --db-type mysql

3. 執行指令碼

# 資料質量檢查(必須指定 --db-type)
export DB_HOST=localhost DB_USER=admin DB_PASS=xxx DB_NAME=mydb
python scripts/data_quality_check.py --table users --db-type mysql

# 後設資料生成
python scripts/generate_metadata.py --source users --db-type postgresql

# 資料血緣分析(可選加資料庫)
python scripts/lineage_analysis.py --table orders --db-type sqlite

# 合規檢查
python scripts/compliance_check.py --table users --db-type mysql

依賴

依賴 版本 用途
sqlalchemy ==2.0.25 資料庫抽象層
pymysql ==1.1.0 MySQL 連線
psycopg2-binary ==2.9.9 PostgreSQL 連線
pandas ==2.1.4 資料處理

詳見 requirements.txt

何時使用

當用戶提及以下內容時使用此 skill: - 資料質量、資料標準、資料血緣 - 後設資料管理、資料目錄、資料資產 - 資料合規、隱私保護、資料安全 - 資料治理框架、資料資產管理

核心能力

1. 資料質量評估

評估資料的完整性、準確性、一致性、時效性:

檢查維度: - 缺失值檢測 - 重複記錄檢測 - 格式校驗 - 範圍校驗 - 業務規則驗證

2. 後設資料管理

幫助構建和管理後設資料:

技術後設資料: 表結構、欄位型別、資料來源 業務後設資料: 欄位定義、業務規則、所有者 運營後設資料: 更新頻率、ETL資訊、訪問統計

3. 資料血緣追蹤

小蔥技能站7w4.net每天更新,海量AI技能等你發現。

追蹤資料的來龍去脈:

來源追溯: 資料從哪來 轉換追蹤: 經過哪些處理 下游影響: 誰在使用這些資料

4. 資料標準

制定和執行資料標準:

命名規範: 表名、欄位名命名規則 型別規範: 資料型別、格式標準 編碼規範: 列舉值、程式碼表

輸出格式

完成資料治理任務後,輸出結構化報告:

## 資料治理報告

### 資料質量
- 完整性:XX%
- 準確率:XX%
- 發現問題:N個

### 後設資料
- 表數量:N
- 欄位數量:N

### 建議
1. ...
2. ...

常見場景

場景 輸出
資料質量評估 質量報告 + 問題清單
後設資料梳理 資料字典 + 關係圖
血緣分析 鏈路圖 + 影響分析
合規檢查 合規報告 + 風險點

🤖 AI 評測

這個 Skill 功能比較齊全,可以做資料質量檢查、後設資料管理和血緣分析。文件寫得很清楚,安全提示也很到位,對資料庫連線的支援也不錯。不過實際使用時偶爾會遇到連線錯誤被靜默忽略的情況,部分功能在某些資料庫上的表現可能不夠穩定。總體來說是一個可用的資料治理工具,但細節上還有最佳化空間。

📊 多維度評分

適應性4.5
規範性4.1
有效性4.3
可靠性4
可信度5

📁 包含檔案 (7 個)

📄 SKILL.md 3.7 KB
📄 _meta.json 135 B
📄 requirements.txt 295 B
📄 scripts/compliance_check.py 12.5 KB
📄 scripts/data_quality_check.py 7.5 KB
📄 scripts/generate_metadata.py 7.6 KB
📄 scripts/lineage_analysis.py 11.9 KB