Configurez Unity Catalog avec un stockage externe

Une fois cette étape terminée, vous disposerez de :

• Un rôle IAM accordant à Databricks l'accès à votre bucket S3
• Un identifiant de stockage (storage credential) et un emplacement externe enregistrés dans Unity Catalog
• Un catalogue Unity Catalog utilisant votre bucket S3 externe comme racine de stockage
• Une infrastructure prête pour les Sync Tables, l'accès inter-comptes ou des stratégies de cycle de vie personnalisées

Prerequisites

Ce modèle crée un catalogue Unity Catalog adossé à un bucket S3 externe et nécessite des privilèges spécifiques à AWS, à la fois dans Databricks et dans AWS IAM.

• Workspace AWS. Ce modèle utilise S3 et IAM ; il ne s'applique pas aux workspaces Azure ou GCP. Vérifiez que l'hôte de votre workspace est *.cloud.databricks.com.
• Unity Catalog activé sur le workspace. Exécutez databricks catalogs list --profile <PROFILE> et vérifiez que la commande aboutit et qu'au moins un catalogue apparaît (par exemple le catalogue par défaut de votre workspace). Une erreur not enabled signifie que le workspace n'est pas rattaché à un metastore Unity Catalog.
• Privilèges sur le metastore pour créer des credentials et des catalogues. Vous avez besoin des privilèges CREATE STORAGE CREDENTIAL, CREATE EXTERNAL LOCATION et CREATE_CATALOG sur le metastore. Si un appel CLI de ce modèle renvoie PERMISSION_DENIED, demandez à votre administrateur de metastore de vous accorder le privilège manquant.
• Un bucket S3 et un rôle IAM dans la même région AWS que votre workspace. Le bucket peut se trouver dans un autre compte AWS : c'est précisément le rôle IAM du storage credential qui permet l'accès entre comptes. Le modèle détaille comment faire pointer un storage credential vers le rôle IAM ; vous devez déjà disposer dans AWS des permissions nécessaires pour créer le rôle et la policy.