研究は、多言語評価における「大規模モデルが審判を務める」手法の効果が、審判モデルの選択に極めて依存することを明らかにした
2026年10月24日付のarXivに掲載された多言語に関する実証研究によると、現在主流のプロンプト戦略(たとえばチェーン・オブ・シンキングやキャラクター設定)は、LLM-as-a-Judgeのシナリオにおいてモデル間・言語間で移転性を有していないことが明らかになった。また、審判モデルの選択がプロンプト戦略そのものよりもはるかに大きな影響を及ぼしており、さらには戦略の効果が異なる審判モデル間で方向性が逆転することすらあるという。
AI 自動翻訳
arXiv cs.CL
