Data Lakehouseとは

Data Lakehouseは、Databricks workspaceの分析層にあたるもので、Unity Catalogで管理され、Lakeflowによってデータが投入されるテーブルとビューで構成されます。Lakeflowは、取り込み、オーケストレーション、パイプライン管理を網羅するDatabricksのデータエンジニアリングサービス群です。AppKitアプリからは、これらのテーブルの読み取り、Lakeflow Jobsのトリガー、テーブルにデータを投入したパイプラインの「最終更新」タイムスタンプの表示が行えます。

Analytics プラグインはSQL warehouseからの読み取りを担当します（分析的な読み取りおよびパイプラインとデータ鮮度を参照）。Jobs プラグインは実行のトリガーと進捗の管理を担当します（Lakeflow Jobsを参照）。

Data Lakehouse を使うべきケース

• 収益、顧客、イベント、モデル出力といったキュレーション済みの分析データを読み取る必要がある場合。
• 数百万行のデータに対するダッシュボード形式の集計やリストビューを表示する場合。
• ユーザー操作をきっかけに、モデルの再学習、ETL、長時間のバックフィルを非同期で実行する場合。

使うべきでない場面

• ユーザーリクエストに対するサブ秒の読み取り（先行入力やオートコンプリートなど）。Lakebase Postgres を直接使うか、UC テーブルを同期テーブルとして Lakebase にレプリケートしてください。
• アプリからのトランザクション書き込み（注文、セッション、監査ログ）。Lakebase Postgres を使ってください。
• ガバナンスされたテーブルに対する自然言語での質問応答。Genie を使ってください。

また、パイプラインの作成、Spark の設定、クラスターのサイジングも対象外です。これらは Databricks workspace 内、または Declarative Automation Bundles を通じて行うデータエンジニアリングの作業です。

出発点となるテンプレートを選ぶ

どのテンプレートも、上記のページで説明した構成をまとめ、そのまま動作するパターンに仕上げたものです。

次のステップ

• 分析的な読み取り — Analytics プラグイン、SQL ファイル、on-behalf-of-user クエリについて。
• Lakeflow Jobs — Jobs プラグイン、runNow、SSE による進捗通知について。
• パイプラインとデータ鮮度 — Analytics プラグインを利用した鮮度シグナルについて。