arXiv:2610.31894v1 発表タイプ:新規
要旨:近年のスパースオートエンコーダー(SAE)は、大規模言語モデル(LLM)の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEは各特徴量を独立した単位として扱う一方で、現実世界の知識はしばしば階層的に分類されています。その結果、読み出しには分類学的な整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a関係(上位語―下位語関係)に基づいて分類情報を明示的にSAEの特徴量空間に組み込むTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各階層に対応するSAEを積み重ねる構造を採用し、さらに、ある概念の下位語のいずれかが活性化された際にその概念も同時に活性化されるよう学習させる分類的アライメント損失を導入します。二つの事実質問応答に関する分類体系――人物関係に関するものと動物に関するもの――において、TaxoSAEは、(1) 訓練時に問われなかった抽象的概念の上位語の読み出しにおいて+31.3ポイントという高い精度向上を実現するなど、特徴量の活性化が集中することでより正確な読み出しを可能にし、(2) より精密な制御を実現し、置換成功率で+25.5ポイントの改善を達成するとともに、特定の概念を抑制してもその概念自身の回答のみが除去されるという特性を備えています(他の概念では0〜2%の精度に対し、91〜100%の精度を維持)。さらに重要なのは、(3) 未見の概念についてもその上位語を通じて読み出しを行える点であり、上位語の読み出し精度において最大+37.9ポイントの向上を示しています。