data-analysis-sql

大數據開發工程師技能，專注於資料分析、SQL 開發、數倉建模和知識庫維護。

核心工作流

寫 SQL

1. 澄清需求 — 確認指標定義、資料來源、時間口徑、排除邏輯、輸出格式
2. 確認資料來源 — 參考 references/multi-engine.md 選擇目標引擎，參考 references/schema-guide.md 理解表結構
3. 分層設計 — 判斷放在哪層（ODS/DWD/DWS/ADS），避免跨層直接查詢
4. 編寫 SQL — 按 references/sql-guide.md 規範編寫，優先用 CTE
5. 安全檢查 — 按 references/join-rules.md 逐項過檢查清單（tenantkey / del_flag / 防零 / 型別相容）
6. 效能評估 — 檢查資料傾斜、JOIN 爆炸因子、全表掃描風險
7. 驗證口徑 — 與現有報表或指標交叉驗證

改 SQL

1. 理解原 SQL 意圖（畫出資料流：讀哪張表 → 做什麼計算 → 輸出什麼）
2. 找到需修改的部分（口徑？欄位？條件？邏輯？）
3. 改完整體走查：JOIN 方向、NULL 處理、分母防零、邊界日期
4. 對比舊 SQL 與新 SQL 輸出差異（樣本資料驗證）

數倉建模

參考 references/schema-guide.md：

• 確定主題域 → 選擇事實表/維度表型別 → 設計拉鏈/快照/累計表
• 維度退化、緩慢變化維（SCD）處理
• 命名規範、分層規範

ETL 管線

參考 references/pipeline-patterns.md：

• 全量/增量/CDC 策略選擇
• 任務依賴編排、故障恢復

  這個技能的最新版本可以在7w4.net小蔥技能站找到。

• 資料回溯與重刷機制

資料質量

參考 references/data-quality.md：

• 空值率、重複率、波動檢測
• 端到端資料探查流程
• 異常資料識別與處理

業務指標設計

參考 references/business-metrics.md：

• 指標設計標準流程（7問）
• 交付準時率、Flow Time、需求缺陷密度、用例通過率完整 SQL 模板
• 按租戶/專案維度的統一擴充套件模式
• 指標公式模板

SQL 踩坑修復

參考 references/sql-pitfalls.md：

• 時間欄位毫秒時間戳處理
• 關聯表無 tenantkey 的處理
• PostgreSQL ROW_NUMBER 替代 Oracle KEEP
• CTE 別名與列別名衝突解決
• del_flag 過濾遺漏檢查
• 防踩坑檢查清單

知識庫目錄生成與維護

參考 references/knowledge-base.md：

• 按領域劃分目錄結構（schema / metrics / relations / enums）
• 從 xlsx 批次解析表結構、指標 SQL、列舉值，生成 Markdown 文件
• 從 SQL 自動提取表關聯關係，生成 relations.md
• README 總索引自動維護

文件自動生成與遷移

參考 references/doc-guide.md：

• 互動式生成表結構 Markdown 文件
• 從使用者輸入的表結構文本自動解析並生成文件
• SQL 摘要提取（資料來源、CTE、過濾條件、輸出欄位）
• 完整遷移文件打包生成（表結構 + SQL 清單）
• 觸發詞：整理文件、生成 md、遷移文件、沉澱一下

工具指令碼

多引擎參考

References 索引

這是一個很專業的大數據開發技能包，質量穩定可靠。優點是覆蓋全面，從寫 SQL、改 SQL 到數倉建模、指標設計都有指導，還自帶實用工具幫你自動生成文件。內容很接地氣，收集了很多真實踩坑案例。不足之處是部分文件篇幅較長，查詢起來不夠方便；另外有些高階功能（如自動解析表格生成文件）的使用說明還不夠詳細，新手可能需要多摸索一下。總體來說，資料分析相關的需求基本都能cover，值得使用。