arXiv:2610.31894v1 발표 유형: 신규
요약: 최근의 희소 자동부호화기(SAE)는 대규모 언어 모델(LLM)의 표현을 해석 가능한 특징으로 분해하여, 인코딩된 지식을 정밀하게 읽어내고 제어할 수 있도록 합니다. 그러나 기존의 SAE는 각 특징을 독립적인 단위로 취급하는 반면, 실제 세계의 지식은 종종 계층적으로 조직되어 있습니다. 그 결과, 읽어내기 과정에서 계층적 일관성이 보장되지 않으며, 제어 또한 편집의 범위를 구체적으로 지정할 수 있는 세분성을 갖추지 못합니다. 이에 우리는 계층 관계(상위어–하위어 관계)를 기반으로 한 택소노미 정보를 SAE 특징 공간에 명시적으로 인코딩하는 TaxoSAE를 제안합니다. TaxoSAE는 각 택소노미 레벨마다 하나씩 구성된 여러 개의 SAE로 이루어진 계층 구조를 모사하며, 하위어 중 하나가 활성화될 때 해당 개념도 함께 활성화되도록 학습시키는 택소노미 정합 손실을 도입합니다. 두 가지 사실 기반 QA 택소노미—인물 관련 관계와 동물 관련 관계—에서 TaxoSAE는 (1) 택소노미를 통해 집중된 활성화를 통해 더 정확한 읽어내기를 가능하게 하며, 예를 들어 훈련 과정에서 전혀 문의되지 않았던 추상 개념의 상위어를 읽어낼 때 +31.3점의 성과를 달성합니다; (2) 더 정밀한 제어를 제공하여 교체 성공률에서 +25.5점의 향상을 보이며, 특정 개념을 억제할 경우 해당 개념의 답변만 제거되는 효과를 나타냅니다(다른 개념에서는 91~100%의 정확도에 비해 0~2%의 정확도); 그리고 무엇보다도 (3) 미처 접하지 못한 개념에 대해서도 상위어를 통해 읽어낼 수 있게 하여, 상위어 읽어내기 정확도에서 최대 +37.9점의 향상을 가져옵니다.