フレームワークが動くのを待つな、FSDPを書け — リリース8日後に397B MoEを学習した基盤を全公開
- FSDPを自前で実装することで、巨大MoEモデルを共有クラスタで効率的に学習できる
- FP8対応のmonkey-patch、detach hook、expert選択学習、vLLMへのNCCL重み同期を自前で実装
- フレームワークの依存関係やクラスタ環境との不整合を回避するため、FSDPのコードを自前で管理する
フレームワークが動くのを待つな、FSDPを書け — リリース8日後に397B MoEを学習した基盤を全公開 - Qiita


