本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

ノイズの多い検索から意思決定証拠へ:インコンテキスト学習のためのシルバーエビデンス実証

arXiv:2610.32128v1 発表タイプ:新規 要旨:RAGやリトリーバル増強型少人数ショットICLは、意思決定に重要な証拠が長くノイズの多い文脈の中に埋もれている場合、性能が低下することがあります。取得されたパッセージやデモンストレーションには、冗長な情報や注意を逸らす要素が含まれる可能性があります。専門家によってラベル付けされた開発例は、各決定を支えるテキストを特定できるものの、これらのアノテーションは通常、回答側の根拠としてのみ利用され、ノイズの多い検索結果をフィルタリングするための監督信号としては用いられていません。そこで私たちは、生の取得パッセージを生成された目標条件付き証拠要約に置き換えるシルバーエビデンス・デモンストレーションを提案します。各ラベル付き開発例について、LLMは専門家のラベルやゴールドエビデンスにアクセスせずにシルバーエビデンスを生成し、これを専門家のラベルと組み合わせます。

arXiv:2610.32128v1 発表タイプ:新規

要旨:RAGおよび検索拡張型少人数学習(few-shot ICL)は、意思決定に重要な証拠が長くノイズの多い文脈に埋もれている場合、性能が低下することがあります。取得された文脈や実例には、冗長な情報や注意を逸らす要素が含まれる可能性があります。専門家によってラベル付けされた開発用例は、各判断を支えるテキストを特定できるものの、これらのアノテーションは通常、ノイズの多い検索結果をフィルタリングするための監督信号としてではなく、回答側の根拠としてのみ利用されます。そこで私たちは、銀証拠デモンストレーションを提案します。これは、ICLの例において、生の取得文脈を生成された目標条件に基づく証拠要約に置き換える手法です。各ラベル付き開発用例について、LLMは専門家のラベルやゴールド証拠にアクセスせずに銀証拠を生成し、その証拠を専門家のラベルおよび可能な場合はゴールド証拠と組み合わせます。テスト時には、一度の構造化された呼び出しにより、取得文脈から銀証拠を生成し、最終的なラベルと意思決定に必要な証拠を予測します。EI 2.0、SciFact、合成政策検索、およびHICRIC/IMRの各データセットにおいて、当手法は、サイズが同等のゴールドのみのICL(政策についてはラベルのみ)に対して4つのデータセットのうち3つで性能を向上させ、すべてのアノテーション済みデータセットで証拠F1スコアを改善しました。さらに、4つのデータセットすべてにおいて、InstructRAGスタイルのICLよりも高い平均ラベル精度を達成しています。これらの結果は、長くノイズの多いテキストに基づく意思決定において、注意を逸らす文脈を削減しつつ、意思決定に重要なシグナルと専門家の監督を保持するため、デモンストレーション側の取得文脈をコンパクトで目標条件に特化した銀証拠に置き換えることが特に有効であることを示唆しています。

出典

原文を読む ↗

関連テーマ

← すべてのニュースへ