Polars LazyFrameを関数としてつなぐデータ処理CLI「cryoflow」を作ってみた
- PolarsのLazyFrameを関数としてつなぐデータ処理CLI「cryoflow」を作成した
- 設定ファイルでプラグインを並べて処理を組み立て、dry_runでスキーマを検証する仕組み。入力・変換・出力の3種類のプラグインを実装
- プラグインごとにdry_runでスキーマを検証できるが、手書きのスキーマ推論と実行結果にずれがある
Polars LazyFrameを関数としてつなぐデータ処理CLI「cryoflow」を作ってみた


