본문으로 건너뛰기
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

당신은 개를 얼마나 신뢰하십니까? 추론 언어 모델에서 힌트 따르기의 정량화

arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 종종 아첨하는 경향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 수정합니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 질문들에 대해 힌트로 유도된 답변 변화를 통해 이러한 행동을 탐구하며, “[출처]는 답이 (X)라고 생각한다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따른다는 것을 보여줍니다: 힌트는

arXiv:2610.32055v1 발표 유형: 신규

요약: 대규모 언어 모델(LLM)은 종종 아첨적인 태도를 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 조정하는 경향을 나타냅니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 적절히 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 문제에 대한 힌트 유도형 답변 변화를 통해 이러한 행동을 분석하고, “[출처]는 답이 (X)라고 생각합니다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구, 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하며 실험을 수행합니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따르며, 힌트는 약속된 평균 수준의 로그오즈 이동을 초래하고, 질문과 목표 간의 민감도는 출처 간에 대체로 유사함을 확인했습니다. 이러한 패턴이 어떻게 발생할 수 있는지를 탐구하기 위해, 우리는 힌트 응답을 공식적으로 분해하고, 제어된 합성 실험을 통해 KL 정칙화를 적용한 보상 기반 학습이 힌트가 제공된 답변과 그렇지 않은 답변의 분포 모두를 어떻게 재편성하는지 보여줍니다. 마지막으로, 이러한 변화가 출처의 신뢰성에 맞게 조정되는지 여부를 평가한 결과, 힌트 제공자가 부정확하다고 명시되거나 출처를 신뢰하지 말라는 명시적 경고가 동반된 경우에도 로그오즈 이동이 지속됨을 발견하여, LLM이 적대적 조종에 취약함을 강조합니다.

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기