#RAG
RAG(検索拡張生成)の実装と評価に関する記事を集めています。チャンク設計、埋め込みモデル、ベクトル検索、再ランキング、回答品質の測り方など、精度と運用コストの両方に効く論点を3行要約で確認できます。社内文書検索やFAQ作成の検討時に役立つタグです。
@kikuziro /
- RAGに重要タグを付けて検索結果の重みを調整した
- メタデータに「社長」「重要」を付与し、スコアに1.5倍のブーストをかけた
- 重みを付けすぎると関係ない情報も上位に上がってしまうため、適度な調整が必要
@BaspisKawaE /
- AIに調べものをさせるスキルを公開し、GitHubで人気になった
- imozuruは要約させない、引用をたどる、証拠で止めどきを決める、抜き書きを機械で照合する
- AIの答えが物足りないときは手順を見直すことが重要で、原文の照合で信頼性を確保する
@kenimo49 /
- LLM JudgeでRAGの回答を評価する際、もっともらしさスコアで絞り込むのは無作為に選ぶのとほぼ同じ効果
- もっともらしさスコア(0.7以上)で絞った場合の検出率は35.6%、無作為に40%選んだときの期待値34.2%とほぼ同じ
- 0.7というしきい値はモデルとプロンプトの組み合わせによって意味が変わるため、自分の環境で再確認する必要がある
@ko.+ /
- Skillsを持つ単一エージェントがサブエージェント設計より品質で上回ることが多い
- コンテキスト肥大と並列処理、ツール選択の混乱の3条件でサブエージェントを残す
- 評価セットで1つずつテストし、点数が下がった場合のみサブエージェントを残す
@engchina /
- 17形式の文書を元の位置情報でハイライトする仕組みを実装した
- PDFはページbbox、TXTは文字範囲、CSVは構造化recordで位置を保持、それぞれの形式に応じた表示方法を採用
- 解析時に位置情報を保存し、後から該当箇所を正確に表示できるようにする。ただし生成回答の正確性は別問題で、原文を開く機能は利用者の確認用
@Atsushi Kadowaki /
- NVIDIAが長文コンテキストを不要にする手法を発表し、AIエージェントのコストと遅延を削減
- コンテキストを圧縮して必要な情報のみをプロンプトに含め、検索ツールで余分な情報を取得
- 圧縮したコンテキストでコストを最大8.8倍削減できるが、検索の往復で処理時間が増える
@mappy /
- 会則の質問に答えるRAGを構築し、条文単位に切り直すことで正答率が52%から72%に上昇した
- チャンク分割を固定長から条文単位に変更、検索方式にBM25を併用、会則の枠を設定
- ハイブリッド検索や会則の枠の追加は効果が限定的で、ローカルモデルへの移行では正答率が2割に低下した
@kohei /
- GTX 1080で動くローカルLLMがドラえもんの道具選択タスクを実行
- 4〜9Bパラメータモデルを量子化して8GBVRAMに載せ、道具の説明をプロンプトで渡すことで正答率を40%に改善
- 特別ルールや罠のある問題は道具の説明を渡してもほぼ解けず、思考力が試される問題には限界がある
@MURAMASA2470 /
- Bedrock Knowledge Basesで資料を下ごしらえすると誤答率が30%から13%に低下した
- 記事の節で細かく分けて頭に記事名を付けることで検索順位が向上し、言い換えの辞書は調整用質問にのみ効果的
- PDFでは下ごしらえの効果が限定的で、資料の構造によって効果が異なるため自身の資料で比較するべき
@Russell Brandom /
- BoxはNvidiaのNemotron埋め込みシステムを新機能に組み込み、エージェント優先型コンテンツ検索を実現した
- Nemotronの埋め込みメタデータとBoxの既存メタデータ・権限制御を組み合わせ、検索精度と効率を向上
- Nemotronモデルは無料だが、Boxの既存メタデータと権限制御を再現するのは困難で、単純なAPIでは再現できない
@engchina /
- Grok 4.3・4.6・4.7 は RAG で回答能力に差がなく、待ち時間と費用に違いがある
- Grok 4.7 が完了時間中央値が最短で、Grok 4.3 が費用試算が最小
- 実際の資料を用いた評価セットで、待ち時間と費用を考慮した選定が必要
@senna /
- 言語モデルのウォーターマークに言い換え耐性を追加する手法が提案された
- SynthID-Textはトークン選択時の確率分布に偏りをつける、PMarkは生成後の候補文を基準ベクトルで絞り込む
- 言い換え後の文章でも検出可能な仕組みだが、誤検出のリスクがある
@ssfujita /
- Oracle AI Database 26aiのDB RU 23.26.4でGraphRAG機能が利用可能になり、PDFからナレッジグラフを自動生成できるようになった
- DBMS_AI_GRAPHRAGパッケージでエンティティと関係性を抽出し、ベクトル検索とグラフ検索を組み合わせた検索が可能、Graph Studioで可視化も可能
- GraphRAGはエンティティ間の関係性を検索に活用できるが、検索結果はドキュメントの内容や構造に大きく影響するため、ユースケースに応じた検索方式の選択が重要
@kikuziro /
- DecisionRAGは判断モデルを使ってRAGの検索を改善した
- 階層構造で検索を絞り込み、Jevで確からしさを評価する
- 階層データの保守コストと鮮度が回答精度に直結する
@OH-GY /
- RAGは資料検索を一切行わず、作り話の返答をしていた
- 埋め込みモデルが文類似度用で検索用ではなかった、資料の主語が不明で取り違えが起きた
- 資料に主語を明記し、1位と2位の距離の比でしきい値を判断する必要がある
@GitHub OSS /
- DeepTutorは継続的なパーソナライズ学習を提供するエージェントネイティブな学習ワークスペースをリリース
- エージェントハーネス、パートナー、RAGエンジン、マルチエンジン知識の統合、拡張ツールとスキル
- DockerやPyPIでのインストールが可能で、コンテンツワークスペースの設定が必要
@engchina /
- Oracle Autonomous AI Database に Tracing の処理記録を保存する仕組みが公開された
- TRACE_ID、SPAN_ID、PARENT_SPAN_ID で処理のつながりを記録、PLATFORM_TRACE_SPANS テーブルに保存
- 処理の詳細は Trace ID と SQL 実行結果で確認し、時間の棒は親子関係に注意して読むこと
@songchong /
- 資料を毎ターン貼り直すとトークン課金が136%増加し、AGENTS.mdやファイルを使うことで最大63%減らせる
- 1a(毎ターン貼り直す)は1b(参照指示)より Claude Codeで136%、Gemini長文で173%高くなり、AGENTS.mdは1bとほぼ同じ、ファイルは26%〜84%高かった
- AGENTS.mdに共通ルールを、SKILLに特定手順を、ファイルに長文資料を配置し、貼り直しを避けることで費用を抑える
@Busta /
- Advanced RAGの設計でデータの境界をIDで管理し、元データと検索用データを分離することで処理を簡略化した
- データの混在を防ぐためにIDで紐づけ、要約処理をやめ検索用テキストを構造化して生成、会話状態を構造化して保持
- 要約処理を減らすことで登録時間とコストを削減し、検索精度を向上させるための条件はプログラムで処理する
@yuji-arakawa /
- インデータベースAIの仕組みと実装方法を解説し、ベクトル検索・RAG・AIエージェントの実装例を提供
- ベクトル検索によるセマンティックサーチ、埋め込みモデルによるベクトル生成、RAGによる回答生成、NL2SQLによる契約照会
- データベース内にベクトルを保存し、SQLで検索・処理することで、データの鮮度とアクセス制御を維持できる