本文へ移動
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.

Perturbation-Based Data Selection for Medical Question Answering

arXiv:2610.33440v1 Announce Type: new Abstract: Selecting a compact training subset is an important step in adapting medical language models from existing question-answering banks. We investigate perturbation-based data selection using two signals derived from Gaussian perturbations of the final-block representation: prediction-change frequency and non-flipping margin contraction. After a shared entropy prefilter, Representation-Sensitivity Prioritization (RSP) combines the signals using automatic root-mean-square scaling, while RSP-Drop ranks candidates by contraction alone. Both selectors use only questions and answer options during selection. We evaluate them with MedGemma-4B on five medical QA datasets at retained-set budgets of 64, 128, and 256 examples. At the primary budget of 128,

1 件の報道arXiv cs.CL ↗

arXiv:2610.33440v1 公告タイプ:新規

要旨:コンパクトな学習サブセットの選定は、既存の質問応答データベースから医療用言語モデルを適応させる際の重要なステップである。本研究では、最終層表現に対するガウスノイズによる摂動から得られる二つの指標——予測変化頻度と非反転マージン収縮——を用いた、摂動ベースのデータ選択手法を検討する。共通のエントロピー前処理を経た後、表現感度優先化(RSP)は自動的な平方平均スケーリングによりこれらの指標を組み合わせる一方、RSP-Dropは収縮のみを基準に候補を順位付けする。両手法とも、選択時には質問と回答選択肢のみを用いる。MedGemma-4Bを用い、保持セットのサンプル数を64、128、256件とする条件下で、5つの医療QAデータセットに対して評価を行った。主要な128件の予算において、RSPおよびRSP-Dropはそれぞれ47.55および48.28のデータセット平均Macro-F1スコアを達成し、これに対しエントロピープールと一致させたランダム選択では45.11であった。各データセットおよび予算ごとに、相対的な性能差が見られる。選択済みセットの事例分析からは、両手法間で交換されるサンプル間に明確なクリーンマージンのプロファイルの違いが明らかになり、また全プールでのアブレーション実験からは、エントロピー前処理が必ずしも一様に有益ではないことが示された。これらの retrospective な結果は、固定された適応プロトコル下における摂動ベース選択の実証的有用性と限界を示している。なお、本評価では同一のバックボーンを用い、訓練ファミリーの重複が文書化されているベンチマークを使用しており、臨床的有効性を立証するものではない。