Modérateur de contenu

Ce modèle illustre un outil interne de modération de contenu conçu sur Databricks : les auteurs soumettent du contenu destiné à différents canaux (blog d'entreprise, LinkedIn, Twitter, newsletter, communiqués de presse), les modérateurs gèrent les directives propres à chaque canal, et un LLM évalue chaque soumission au regard de ces directives avant qu'un relecteur humain ne tranche.

Flux de données

Le contenu transite par un pipeline de revue reposant sur Lakebase et Model Serving :

1. Les auteurs soumettent du contenu à Lakebase Postgres, en précisant un titre, un corps de texte et une cible de contenu (blog, LinkedIn, etc.).
2. L'évaluation par IA se déclenche automatiquement. Le serveur récupère les directives actives pour la cible de contenu, envoie le contenu accompagné des directives à un Model Serving endpoint, puis enregistre le score de conformité (0-100), les problèmes signalés et les suggestions d'amélioration.
3. Les modérateurs examinent les soumissions depuis une file d'attente qui affiche le score IA en regard de chacune d'elles. Ils les approuvent, les rejettent ou demandent des révisions accompagnées d'un feedback.
4. La gestion des directives permet aux modérateurs de créer et de mettre à jour des règles par cible de contenu. Lorsque les directives évoluent, les modérateurs peuvent réanalyser les soumissions existantes.
5. Les queries SQL Warehouse alimentent le dashboard analytique (nombre de soumissions, taux d'approbation, score de conformité moyen par cible).
6. Un Genie Agent s'appuyant sur les tables de modération de contenu permet de poser des questions en langage naturel sur les performances du contenu.

Éléments à adapter

La configuration et le provisionnement sont documentés dans le fichier README.md du dépôt.

Pour adapter ce modèle à vos besoins :

• Lakebase : faites pointer le fichier databricks.yml de l'application vers vos propres projet, branche et base de données Lakebase.
• SQL Warehouse : définissez l'ID du warehouse utilisé pour les requêtes analytiques.
• Serving Endpoint : définissez le nom du endpoint de model serving pour l'analyse de contenu par IA (par exemple databricks-claude-sonnet-4-6). L'évaluation par IA est facultative : l'application fonctionne sans.
• Genie Agent : créez un Genie Agent sur les tables content_moderation, puis définissez l'ID du space.
• Cibles de contenu : ajustez la liste des cibles dans les routes serveur et les utilitaires client pour qu'elle corresponde aux canaux de contenu de votre organisation.
• Directives : remplacez les directives initiales par les politiques de contenu réelles de votre organisation.
• Données initiales : le script de seed crée 7 directives, 10 exemples de soumissions et 5 revues. Remplacez-les par vos propres données ou utilisez le formulaire de soumission de l'application.