跳转至

BI 负载

Reference · 速查

本章组织

本章 6 页主题平铺(无子组 · 各主题相对独立):

外部权威:docs/references/bi-workloads/(Kimball 维度建模 · dbt SL / Cube / Materialize / Snowflake Cortex Analyst 文档)。

一句话定位

"湖仓就是数仓"时代——BI 负载从独立数仓迁到 Iceberg/Paimon 之上。本章讲机制和原理(建模 · 物化视图 · 查询加速 · 语义层 · 仪表盘 SLO · BI × LLM)· 不讲端到端场景编排(看 BI on Lake 场景页)。

章节边界

  • 本章(bi-workloads/) · 单点机制:建模范式 · MV 算法 · 加速手段 · 语义层抽象 · SLO 设计 · BI 与 LLM 的结合
  • scenarios/bi-on-lake.md · 端到端场景:完整数据流 · 组件选型 · 运维闭环 · SLO 打法
  • scenarios/text-to-sql-platform.md · Text-to-SQL 作为独立平台场景 · 本章 bi-plus-llm 讲 Text-to-SQL 在 BI 里的位置
  • ai-workloads/ · LLM/Agent 应用通用 · 本章只涉及"LLM 辅助 BI"这一特化
  • query-engines/ · 引擎本身(Trino/Spark/StarRocks)· 本章引用而非重复
  • compare/olap-accelerator-comparison.md · 加速副本产品横比 · 本章讲"为什么要副本"机制 · 不讲 StarRocks vs Doris 细节

TL;DR · BI 负载的六个核心机制

  • OLAP 建模 · 星型/雪花/宽表/Data Vault · 湖仓时代宽表 + 星型混合主导 · SCD + Time Travel 融合
  • 语义层 · 2023+ dbt SL/Cube 主流化 · 2026 成为 LLM × BI 的核心抓手
  • 物化视图 · IVM 算法家族 · Iceberg MV spec 2025-2026 成熟中 · 查询改写机制
  • 查询加速 · Clustering/Sort/Z-order · 二级索引(Puffin/Lance)· 加速副本作为机制
  • 仪表盘 SLO · 并发 × QPS × p95 × 新鲜度的目标→手段映射 · Resource Group · Admission Control
  • BI × LLM · 2026 最大变革 · Semantic Layer 作为 LLM Schema 抓手 · Auto-Narrative · Databricks Genie/Snowflake Cortex/Tableau GPT

本章学习路径

Step 1 · 建模打底(必读) → OLAP 建模 · 理解事实/维度/粒度/SCD · 之后一切的地基

Step 2 · 性能工程查询加速物化视图 · 机制栈 → 仪表盘 SLO · 把机制映射到业务目标

Step 3 · 治理与可扩展语义层 · 指标口径一致性 · 多 BI 消费

Step 4 · 2026 AI 变革BI × LLM · 语义层 × Text-to-SQL × Auto-Insight

Step 5 · 端到端落地BI on Lake 场景 · 把 Step 1-4 的机制组合成一套完整 BI 栈

建模 / 治理

加速 / 优化

  • 物化视图 · IVM 算法家族 · Iceberg MV · StarRocks/Databricks 增量 MV
  • 查询加速 · Zone Maps · Clustering · Z-order · 二级索引 · 加速副本作为机制

工程实践

  • 仪表盘 SLO ⭐ · 并发/延迟/新鲜度目标 → 手段映射
  • BI × LLM ⭐ · 2026 变革 · Text-to-SQL/Auto-Narrative/AI Chart · Databricks Genie · Snowflake Cortex

相关