Scraps 最終更新 2026/11/16 11:01

#RAG

RAG(検索拡張生成)の実装と評価に関する記事を集めています。チャンク設計、埋め込みモデル、ベクトル検索、再ランキング、回答品質の測り方など、精度と運用コストの両方に効く論点を3行要約で確認できます。社内文書検索やFAQ作成の検討時に役立つタグです。

@BaspisKawaE /

あなたのAIはまだ、「ものの調べ方」を知らない。──調査スキルを作ってバズった話

  • AIに調べものをさせるスキルを公開し、GitHubで人気になった
  • imozuruは要約させない、引用をたどる、証拠で止めどきを決める、抜き書きを機械で照合する
  • AIの答えが物足りないときは手順を見直すことが重要で、原文の照合で信頼性を確保する

@kenimo49 /

LLM-as-a-Judgeの節約術、320件測ったらサイコロで選ぶのと同じ

  • LLM JudgeでRAGの回答を評価する際、もっともらしさスコアで絞り込むのは無作為に選ぶのとほぼ同じ効果
  • もっともらしさスコア(0.7以上)で絞った場合の検出率は35.6%、無作為に40%選んだときの期待値34.2%とほぼ同じ
  • 0.7というしきい値はモデルとプロンプトの組み合わせによって意味が変わるため、自分の環境で再確認する必要がある

@ko.+ /

Skills を持つ単一エージェントは、サブエージェント構成より品質で上回ることが多い — Anthropic が示す移行の手順

  • Skillsを持つ単一エージェントがサブエージェント設計より品質で上回ることが多い
  • コンテキスト肥大と並列処理、ツール選択の混乱の3条件でサブエージェントを残す
  • 評価セットで1つずつテストし、点数が下がった場合のみサブエージェントを残す

@engchina /

【Production Ready RAG】PDF・Office・テキストなど17形式で、原文の引用箇所をハイライトしてみた

  • 17形式の文書を元の位置情報でハイライトする仕組みを実装した
  • PDFはページbbox、TXTは文字範囲、CSVは構造化recordで位置を保持、それぞれの形式に応じた表示方法を採用
  • 解析時に位置情報を保存し、後から該当箇所を正確に表示できるようにする。ただし生成回答の正確性は別問題で、原文を開く機能は利用者の確認用

@Atsushi Kadowaki /

NVIDIAの「長文コンテキスト不要」論文

  • NVIDIAが長文コンテキストを不要にする手法を発表し、AIエージェントのコストと遅延を削減
  • コンテキストを圧縮して必要な情報のみをプロンプトに含め、検索ツールで余分な情報を取得
  • 圧縮したコンテキストでコストを最大8.8倍削減できるが、検索の往復で処理時間が増える

@mappy /

少年団の役員向けRAGを作った — 条文単位に切り直しただけで正答52%→72%、ハイブリッド検索は効かなかった

  • 会則の質問に答えるRAGを構築し、条文単位に切り直すことで正答率が52%から72%に上昇した
  • チャンク分割を固定長から条文単位に変更、検索方式にBM25を併用、会則の枠を設定
  • ハイブリッド検索や会則の枠の追加は効果が限定的で、ローカルモデルへの移行では正答率が2割に低下した

@kohei /

古代のグラボ(GTX 1080)でも動くローカルLLMを動かしてみた

  • GTX 1080で動くローカルLLMがドラえもんの道具選択タスクを実行
  • 4〜9Bパラメータモデルを量子化して8GBVRAMに載せ、道具の説明をプロンプトで渡すことで正答率を40%に改善
  • 特別ルールや罠のある問題は道具の説明を渡してもほぼ解けず、思考力が試される問題には限界がある

@MURAMASA2470 /

RAGに入れる資料を「下ごしらえ」したら、誤答率が30%→13%に下がった(Bedrock Knowledge Bases)

  • Bedrock Knowledge Basesで資料を下ごしらえすると誤答率が30%から13%に低下した
  • 記事の節で細かく分けて頭に記事名を付けることで検索順位が向上し、言い換えの辞書は調整用質問にのみ効果的
  • PDFでは下ごしらえの効果が限定的で、資料の構造によって効果が異なるため自身の資料で比較するべき

@Russell Brandom /

Box、NvidiaのNemotronを活用した新エージェント優先型コンテンツ検索システムを導入

  • BoxはNvidiaのNemotron埋め込みシステムを新機能に組み込み、エージェント優先型コンテンツ検索を実現した
  • Nemotronの埋め込みメタデータとBoxの既存メタデータ・権限制御を組み合わせ、検索精度と効率を向上
  • Nemotronモデルは無料だが、Boxの既存メタデータと権限制御を再現するのは困難で、単純なAPIでは再現できない

@ssfujita /

ナレッジグラフを自動生成!?Oracle AI Database 26aiの23.26.4で追加されたGraphRAG機能を試してみた

  • Oracle AI Database 26aiのDB RU 23.26.4でGraphRAG機能が利用可能になり、PDFからナレッジグラフを自動生成できるようになった
  • DBMS_AI_GRAPHRAGパッケージでエンティティと関係性を抽出し、ベクトル検索とグラフ検索を組み合わせた検索が可能、Graph Studioで可視化も可能
  • GraphRAGはエンティティ間の関係性を検索に活用できるが、検索結果はドキュメントの内容や構造に大きく影響するため、ユースケースに応じた検索方式の選択が重要

@OH-GY /

RAGが一度も効いていなかった話

  • RAGは資料検索を一切行わず、作り話の返答をしていた
  • 埋め込みモデルが文類似度用で検索用ではなかった、資料の主語が不明で取り違えが起きた
  • 資料に主語を明記し、1位と2位の距離の比でしきい値を判断する必要がある

@GitHub OSS /

HKUDS/DeepTutor

  • DeepTutorは継続的なパーソナライズ学習を提供するエージェントネイティブな学習ワークスペースをリリース
  • エージェントハーネス、パートナー、RAGエンジン、マルチエンジン知識の統合、拡張ツールとスキル
  • DockerやPyPIでのインストールが可能で、コンテンツワークスペースの設定が必要

@engchina /

Agent と RAG と NL2SQL の処理をたどる Oracle Autonomous AI Database に保存する Tracing の仕組み

  • Oracle Autonomous AI Database に Tracing の処理記録を保存する仕組みが公開された
  • TRACE_ID、SPAN_ID、PARENT_SPAN_ID で処理のつながりを記録、PLATFORM_TRACE_SPANS テーブルに保存
  • 処理の詳細は Trace ID と SQL 実行結果で確認し、時間の棒は親子関係に注意して読むこと

@songchong /

AI に資料を毎回貼るな!ファイル・SKILL・AGENTS.md 活用でトークン課金最大 6 割減? 6 つの方法を試してみた

  • 資料を毎ターン貼り直すとトークン課金が136%増加し、AGENTS.mdやファイルを使うことで最大63%減らせる
  • 1a(毎ターン貼り直す)は1b(参照指示)より Claude Codeで136%、Gemini長文で173%高くなり、AGENTS.mdは1bとほぼ同じ、ファイルは26%〜84%高かった
  • AGENTS.mdに共通ルールを、SKILLに特定手順を、ファイルに長文資料を配置し、貼り直しを避けることで費用を抑える

@Busta /

あの頃のAdvanced RAGは、なぜ遅くて不正確だったのか? 今ならこう設計する

  • Advanced RAGの設計でデータの境界をIDで管理し、元データと検索用データを分離することで処理を簡略化した
  • データの混在を防ぐためにIDで紐づけ、要約処理をやめ検索用テキストを構造化して生成、会話状態を構造化して保持
  • 要約処理を減らすことで登録時間とコストを削減し、検索精度を向上させるための条件はプログラムで処理する

@yuji-arakawa /

はじめてのインデータベースAI~ベクトル検索・RAGからAIエージェントまで~

  • インデータベースAIの仕組みと実装方法を解説し、ベクトル検索・RAG・AIエージェントの実装例を提供
  • ベクトル検索によるセマンティックサーチ、埋め込みモデルによるベクトル生成、RAGによる回答生成、NL2SQLによる契約照会
  • データベース内にベクトルを保存し、SQLで検索・処理することで、データの鮮度とアクセス制御を維持できる