Lakebase Change Data Feed : synchroniser Lakebase avec Unity Catalog (autoscaling)
Répliquez les tables Lakebase Autoscaling Postgres dans Unity Catalog sous forme de tables Delta gérées à l’aide de Lakebase Change Data Feed (CDF), avec un historique SCD de type 2 complet.
Créer avec l’IA
- Copiez le prompt ci-dessous
- Collez-le dans Cursor, Claude Code, Codex ou tout autre agent de codage
- Votre agent la crée en posant des questions au fil du processus afin que le résultat corresponde exactement à vos attentes
Vous découvrez les modèles ? En savoir plus ici
Une fois l'opération terminée, vous disposerez de :
- Tables d'historique Delta dans Unity Catalog, avec un suivi complet des modifications pour chaque insertion, mise à jour et suppression
- Réplication CDC continue de Lakebase Autoscaling Postgres vers le lakehouse, sans compute externe
- Données opérationnelles interrogeables depuis Spark SQL, les notebooks, les outils de BI et les pipelines en aval
Prerequisites
Vérifiez que ces fonctionnalités du workspace Databricks sont activées avant de commencer. Lakebase Change Data Feed (CDF, anciennement Lakehouse Sync) est en Public Preview et impose des exigences de workspace plus strictes que la plupart des autres modèles.
- Un workspace sur AWS ou Azure dans une région prenant en charge Lakebase Autoscaling. Change Data Feed est disponible en Public Preview à la fois sur AWS (
*.cloud.databricks.com) et sur Azure (*.azuredatabricks.net). Un administrateur du workspace doit au préalable activer la préversion Lakebase Change Data Feed depuis la page Previews du workspace. - Un projet Lakebase Autoscaling contenant des tables. Exécutez
databricks postgres list-projects --profile <PROFILE>et vérifiez que votre projet Autoscaling apparaît bien. Une erreurnot enabledsignifie que Lakebase n'est pas disponible pour cette identité. Ce modèle ne couvre pas la création de projet — consultez Create a Lakebase Project si vous devez en créer un. - Un accès à Unity Catalog. Exécutez
databricks catalogs list --profile <PROFILE>et vérifiez que le catalogue et le schéma de destination vers lesquels vous souhaitez répliquer sont bien présents. Vous les sélectionnerez au moment d'activer Change Data Feed.
