Architecture en médaillon à partir de tables d’historique CDC

Une fois l'opération terminée, vous disposerez de :

• Une couche bronze fournie par les tables d'historique Change Data Feed de Lakebase en amont (entrée de cette recette)
• Une couche argent avec des vues matérialisées dédupliquées reflétant l'état courant de chaque entité
• Une couche or avec des agrégations et des métriques métier sous forme de vues matérialisées
• Un Lakeflow Spark Declarative Pipeline planifié qui actualise les couches argent et or de manière incrémentielle
• Toutes les couches interrogeables en tant que tables Unity Catalog via SQL, Spark, les outils de BI et Genie

Prerequisites

Ce modèle construit un Lakeflow Spark Declarative Pipeline s'appuyant sur des tables d'historique Lakebase Change Data Feed (CDF) existantes. Vérifiez que ces fonctionnalités du workspace Databricks sont activées avant de commencer.

• Lakeflow Spark Declarative Pipelines (sans serveur) disponibles. Exécutez databricks pipelines list-pipelines --profile <PROFILE> et vérifiez que la commande aboutit (une liste vide est normale). Une erreur de permission ou not enabled signifie que Lakeflow Pipelines n'est pas disponible pour cette identité.
• Accès à Unity Catalog avec un schema de destination accessible en écriture. Exécutez databricks catalogs list --profile <PROFILE> et vérifiez que votre catalogue de destination figure dans la liste. Vous aurez besoin de USE_CATALOG sur le catalogue ainsi que de USE_SCHEMA + CREATE_MATERIALIZED_VIEW sur le schema de destination pour publier les materialized views silver et gold (et de CREATE_TABLE si le pipeline crée également des tables en streaming).
• Tables d'historique CDC bronze déjà présentes dans Unity Catalog. Suivez d'abord le modèle Lakebase Change Data Feed (Autoscaling) afin que les tables lb_<entity>_history existent dans le schema bronze. Ce modèle lit ces tables ; il ne les crée pas.