要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的モードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは新たな発見ではなく単なる意味の重複となり、稀ではあるがより優れた解が表面化しにくくなるため、自己進化や継続的な学習の維持が困難になる。多くの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの固有の能力として組み込むものではない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対して多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー・キュレーションと、(ii) 特殊トークンの摂動を異なる出力をサンプリングするための暗黙的なシグナルへと変換する確率的埋め込み変調を組み合わせる。理論的分析により、本メカニズムの安定性が示されている。WritingPromptsおよびBookMIAにおける実験では、PRISMは品質と多様性の境界を一段と押し広げ、二つのオープンウェイトモデルファミリーにおいて、最も強力またはそれに近い意味的多様性を維持しつつ、すべてのモデル–ベンチマーク設定で最高水準の生成品質を達成した。さらに、数学およびコード系のベンチマークにおいてもサンプリング効率を向上させている。推論に留まらず、PRISMは強化学習の基盤としてもより強固な土台を提供し、多様な展開を維持するとともに、RL訓練中にしばしば観察される多様性の崩壊を緩和する。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。