本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

改ざんされた機械学習:大規模言語モデルによる機械学習研究の評価

arXiv:2610.32114v1 公表タイプ:新規 要旨:AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…

arXiv:2610.32114v1 公表タイプ:新規

要旨:AIのアライメントに関する進展を加速するための一つのアプローチは、アライメント研究そのものの一部を自動化することである。そのためには、公開された機械学習論文から再構築された実験提案と、意図された主張を支持するかどうかを評価するという、監督が困難な研究タスクにおいても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは1,858組の項目ペアからなるベンチマークであり、各ペアは、公開された機械学習論文から再構築された実験提案と、目的とした方法論的欠陥を意図的に導入した最小限の編集を施した対照案で構成されている。モデルは、提示順序のいずれにおいても、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルを用いた人間による検証研究では、項目の86%が妥当であると推定される(95%信頼区間:81〜91%)。最先端のモデルは偶然以上の性能を示すものの、依然として信頼できる水準には遠く及ばない(Opus 5の正答率は77.9%)。また、提示順序に極めて敏感であり、より具体的で透明性が高く、あるいは慣例的な設計に偏る傾向が見られる。

出典

原文を読む ↗

関連テーマ

← すべてのニュースへ