2025-01-14

沒什麼組織、一些倏忽即逝有趣或不有趣的想法

• DBT 初探

  • 什麼是 DBT:
    • Data Build Tool (DBT) 是一個開源的資料轉換工具
    • 讓資料分析師和工程師能用 SQL 撰寫資料轉換邏輯
    • 將 SQL 查詢模組化，方便重複使用和維護
    • 提供版本控制、測試、文件等軟體工程實踐
  • DBT 的核心概念:
    • Models: 用 SQL SELECT 語句定義的資料轉換邏輯
    • Sources: 原始資料表的宣告
    • Tests: 確保資料品質的自動化檢查
    • Documentation: 自動產生資料血緣關係圖
    • Macros: 可重複使用的 SQL 程式碼片段
  • 如何使用 DBT:
    • 安裝 DBT CLI 工具
    • 設定資料庫連線
    • 建立 models/ 資料夾存放 SQL 檔案
    • 撰寫 SELECT 語句定義轉換邏輯
    • 執行 dbt run 進行資料轉換
    • 用 dbt test 驗證資料品質
  • 適合的使用情境:
    • 需要建立資料倉儲的 ETL/ELT 流程
    • 有大量重複使用的 SQL 查詢邏輯
    • 想導入資料工程的最佳實踐
    • 需要自動化資料轉換和測試流程
    • 團隊協作開發資料管道

• Astronomer-Cosmos 初探