表記ゆれで埋め込みベクトルの類似度はどれだけ変動するのか 【Amazon Titan Embeddings V2】

• #生成AI・LLM
• #RAG
• #機械学習

AIで作成し、掲載基準に基づいて自動選定した要約です。

• AWS Bedrockのamazon.titan-embed-text-v2:0で表記ゆれの類似度を検証した
• アルファベット大小・区切りゆれ、文字種の違い、現場でよく見る表記ゆれ、タイポ・記号ゆれの4カテゴリでcos類似度を計算
• カタカナや英字の違いで類似度が0.048〜0.088と大きく低下し、空白や記号のゆれはタイポより検索に影響大