コンテンツモデレーター

このテンプレートは、Databricks 上に構築された社内向けコンテンツモデレーションツールの例です。作成者はチャネル別 (企業ブログ、LinkedIn、Twitter、ニュースレター、プレスリリース) にコンテンツを申請し、モデレーターはチャネルごとのガイドラインを管理します。LLM が各申請をガイドラインに照らしてスコア付けし、最終的な判断は人間のレビュアーが行います。

データフロー

コンテンツは、Lakebase と Model Serving を基盤とするレビュー pipeline を通過します。

1. 作成者がコンテンツを送信します。タイトル、本文、コンテンツターゲット(ブログ、LinkedIn など)を指定して Lakebase Postgres に登録します。
2. AI スコアリングが自動的に実行されます。サーバーはコンテンツターゲットに対応する有効なガイドラインを取得し、コンテンツとガイドラインを Model Serving endpoint に送信して、コンプライアンススコア(0〜100)、指摘された問題点、改善提案を保存します。
3. モデレーターがレビューします。各送信内容に AI スコアが併記されたキューから、承認、却下、または feedback を添えた修正依頼を行います。
4. ガイドライン管理により、モデレーターはコンテンツターゲットごとにルールを作成・更新できます。ガイドラインを変更した場合は、既存の送信内容を再分析できます。
5. SQL Warehouse の クエリ が分析 dashboard(送信件数、承認率、ターゲット別の平均コンプライアンススコア)を支えます。
6. コンテンツモデレーション用テーブルを対象とした Genie Agent により、コンテンツのパフォーマンスについて自然言語で質問できます。

カスタマイズする項目

セットアップとプロビジョニングについては、リポジトリの README.md を参照してください。

このテンプレートを自分の用途に合わせるには、以下を行います。

• Lakebase: アプリの databricks.yml の参照先を、自分の Lakebase project、branch、データベースに変更します。
• SQL Warehouse: 分析クエリ用の warehouse ID を設定します。
• Serving Endpoint: AI コンテンツ分析に使うモデルサービング endpoint 名を設定します (例: databricks-claude-sonnet-4-6) 。AI スコアリングは任意で、設定しなくてもアプリは動作します。
• Genie Agent: content_moderation テーブルを対象とする Genie Agent を作成し、space ID を設定します。
• Content Targets: サーバールートとクライアントユーティリティ内のターゲットリストを、自組織のコンテンツチャネルに合わせて調整します。
• Guidelines: シードのガイドラインを、自組織の実際のコンテンツポリシーに置き換えます。
• Seed Data: シードスクリプトは 7 件のガイドライン、10 件のサンプル投稿、5 件のレビューを作成します。自分のデータに置き換えるか、アプリの Submit フォームを使用してください。