arXiv:2610.32114v1 公表タイプ:新規
要旨:AIのアライメントに関する進展を加速するための一つのアプローチは、アライメント研究そのものの一部を自動化することである。そのためには、公開された機械学習論文から再構築された実験提案と、意図された主張を支持するかどうかを評価するという、監督が困難な研究タスクにおいても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは1,858組の項目ペアからなるベンチマークであり、各ペアは、公開された機械学習論文から再構築された実験提案と、目的とした方法論的欠陥を意図的に導入した最小限の編集を施した対照案で構成されている。モデルは、提示順序のいずれにおいても、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルを用いた人間による検証研究では、項目の86%が妥当であると推定される(95%信頼区間:81〜91%)。最先端のモデルは偶然以上の性能を示すものの、依然として信頼できる水準には遠く及ばない(Opus 5の正答率は77.9%)。また、提示順序に極めて敏感であり、より具体的で透明性が高く、あるいは慣例的な設計に偏る傾向が見られる。