Confluent で非構造化データを扱う：Claim Check パターンで作る RAG パイプライン
- Confluentで非構造化データを扱う際、Claim Checkパターンを採用してRAGパイプラインを構築した
- S3にファイルを保存しKafkaにURIを送信するClaim Checkと、Flink SQLのAI_EMBEDDING関数でベクトル化する手法
- Kafkaに送信するメッセージはURIのみで、ファイル本体はS3に保存するためメッセージサイズの制限を回避できる
Confluent で非構造化データを扱う：Claim Check パターンで作る RAG パイプライン - Qiita
