Analyse des données opérationnelles
Configuration de bout en bout pour analyser les données de bases de données opérationnelles dans le Lakehouse : Unity Catalog avec stockage externe, provisionnement de Lakebase, réplication via Lakebase Change Data Feed (CDF) et pipeline d’architecture en médaillon avec couches silver et gold.
Créer avec l’IA
- Copiez le prompt ci-dessous
- Collez-le dans Cursor, Claude Code, Codex ou tout autre agent de codage
- Votre agent la crée en posant des questions au fil du processus afin que le résultat corresponde exactement à vos attentes
Vous découvrez les modèles ? En savoir plus ici
Un pipeline d'analyse de données opérationnelles de bout en bout : les données transitent d'une base OLTP (Lakebase Postgres) vers Unity Catalog par réplication CDC, sont transformées selon une architecture medallion (couches bronze, silver et gold), puis deviennent exploitables par les dashboards et les consommateurs en aval.
Composants
- Configuration d'Unity Catalog — configurez Unity Catalog avec un stockage S3 externe pour le catalogue et le schéma de destination.
- Créer un projet Lakebase — provisionnez un projet managed Postgres comme source OLTP.
- Change Data Feed (CDF) Lakebase — activez la réplication continue des tables Lakebase vers les tables d'historique Delta d'Unity Catalog.
- Architecture medallion à partir du CDC — construisez les couches silver (état courant) et gold (analytique) à partir des tables d'historique CDC grâce aux Lakeflow Spark Declarative Pipelines.
