基于Azure云平台构建实时数据仓库

设计Azure云架构方案实现Azure Delta Lake和Azure Databricks，结合电商网站的流数据，构建实时数据仓库，支持 T+0 报表（如电商订单分析），具以及具体实现的详细步骤和关键PySpark代码。

---

一、架构设计

[电商网站] → [Azure Event Hubs] → [Azure Databricks Streaming] 
               ↓
[Azure Delta Lake] ←→ [Databricks SQL Analytics]
               ↓
         [Power BI/Tableau]

核心组件：

1. 数据摄取层：Azure Event Hubs（支持百万级TPS）
2. 流处理层：Databricks Structured Streaming
3. 存储层：Delta Lake（ACID事务+版本控制）
4. 服务层：Databricks SQL/Spark SQL
5. 可视化层：Power BI

---

二、详细实施步骤

步骤1：环境准备

# 创建Azure资源
az group create --name realtime-dw --location eastus
az eventhubs namespace create --name ecommerce-eh --resource-group realtime-dw
az storage account create --name deltalakedata --resource-group realtime-dw
az databricks workspace create --name ecommerce-db --resource-group realtime-dw

步骤2：模拟实时订单数据流

# Python模拟数据生成（部署在Web服务器）
from azure.eventhub import EventHubProducerClient, EventData
import json, time

order_schema = {
    "order_id": "uuid",
    "user_id": "uuid",
    "product_id": "uuid",
    "amount": "float",
    "event_time": "timestamp"
}

producer = EventHubProducerClient.from_connection_string("")
while True:
    batch = producer.create_batch()
    fake_data = generate_order_data()  # 数据生成函数
    batch.add(EventData(json.dumps(fake_data)))
    producer.send_batch(batch)
    time.sleep(0.1)  # 控制10条/秒速率

步骤3：Databricks流处理作业

# PySpark流处理代码
from pyspark.sql.functions import *
from pyspark.sql.types import *

# 定义订单数据结构
order_schema = StructType([
    StructField("order_id", StringType()),
    StructField("user_id", StringType()),
    StructField("product_id", StringType()),
    StructField("amount", DoubleType()),
    StructField("event_time", TimestampType())
])

# 创建流DataFrame
stream_df = (spark.readStream
  .format("eventhubs")
  .option("eventhubs.connectionString", eh_conf)
  .load()
  .select(from_json(col("body").cast("string"), order_schema).alias("data")
  .select("data.*")
)

# 实时ETL处理
processed_df = (stream_df
  .withColumn("order_date", to_date(col("event_time")))
  .withWatermark("event_time", "10 minutes")
  .groupBy(window("event_time", "1 minute"), "product_id")
  .agg(sum("amount").alias("total_sales"))
)

# 写入Delta Lake
(processed_df.writeStream
  .format("delta")
  .outputMode("append")
  .option("checkpointLocation", "/delta/checkpoints/orders")
  .trigger(processingTime="1 minute")
  .start("/delta/tables/real_time_orders")
)

步骤4：创建Delta表

-- 在Databricks Notebook中执行
CREATE TABLE real_time_orders
USING DELTA
LOCATION '/delta/tables/real_time_orders'

-- 启用自动优化
ALTER TABLE real_time_orders SET TBLPROPERTIES (
  'delta.autoOptimize.optimizeWrite' = 'true',
  'delta.autoOptimize.autoCompact' = 'true'
)

步骤5：实时查询优化

# Z-Order优化（每日调度执行）
spark.sql("OPTIMIZE real_time_orders ZORDER BY (product_id)")

# 动态分区管理
spark.conf.set("spark.databricks.delta.properties.defaults.autoOptimize", "true")

步骤6：实时报表开发

# 创建实时视图
spark.sql("""
CREATE OR REPLACE TEMPORARY VIEW live_orders AS
SELECT 
  window.start as time_window,
  product_id,
  total_sales
FROM real_time_orders
WHERE window.start > current_timestamp() - interval 1 hour
""")

# Power BI直连查询
jdbc_url = "jdbc:spark://:443/default;transportMode=http;ssl=1"
df = (spark.read
  .format("jdbc")
  .option("url", jdbc_url)
  .option("query", "SELECT * FROM live_orders")
  .load()
)

---

三、关键优化技术

1. 流处理优化：

   • 使用withWatermark处理延迟数据
   • 采用Trigger.ProcessingTime控制处理间隔
   • 启用foreachBatch实现复杂Sink逻辑

2. Delta Lake特性：

   # 时间旅行查询示例
   spark.read.format("delta").option("versionAsOf", 10).load("/delta/tables/real_time_orders")
   
   # 数据版本管理
   DESCRIBE HISTORY real_time_orders
   

3. 自动维护作业：

   # 每日维护脚本
   VACUUM real_time_orders RETAIN 168 HOURS
   OPTIMIZE real_time_orders
   

---

四、监控与治理

1. Databricks Cluster监控：

   • 流处理延迟指标
   • Executor资源利用率
   • Structured Streaming作业状态

2. Delta Lake审计：

   SELECT * FROM table_changes('real_time_orders', 0, 10)
   

3. 数据质量检查：

   from databricks import great_expectations as gx
   validator = gx.Validator(spark)
   validator.expect_column_values_to_not_be_null("order_id")
   validator.save_expectation_suite("/Shared/data_checks")
   

---

五、安全设计

1. RBAC权限控制：

   az role assignment create \
     --role "Storage Blob Data Contributor" \
     --assignee <databricks-sp-id> \
     --scope "/subscriptions//resourceGroups/realtime-dw"
   

2. 数据加密：

   spark.conf.set("fs.azure.account.key.deltalakedata.blob.core.windows.net", "")
   

---

该方案可实现：

• 端到端延迟 <1分钟
• 支持每小时百万级订单处理
• 提供分钟级精度的实时报表
• 完整的数据版本追溯能力

实际部署时需根据数据规模调整：Event Hubs吞吐量单位、Databricks集群规格、Delta Lake分区策略等参数。