Databricks の Declarative Automation Bundles を用いた機械学習データセット作成基盤の構築

• DatabricksのDeclarative Automation Bundles(DAB)を活用したデータセット作成基盤を構築
• DABでコード管理・CI/CDを実現し、MosaicML StreamingDataset(MDS)をデータ形式に採用
• Serverless Computeでの依存解決の高速化にwheelhouseを活用し、起動時間を5分から2分に短縮可能。