Bayes for CCAP

Yarkoni (2022) の generalizability crisis （一般化可能性の危機）論文

1. 論文の主題と問題提起

心理学の理論や仮説の多くは定性的な（言葉による）ものだが、その評価は推測統計の手順に依存している。 Yarkone は、言葉による仮説と統計的な表現が同じ観察対象を指していない場合が多く、両者の間に深刻なズレがあることを指摘。 この不一致により、心理学が深刻な「一般化可能性の危機（Generalizability crisis）」に陥っていると主張。

2. 固定効果と変量効果の誤用（モデルの過小指定）

心理学で最も広く使われている線形混合モデルにおいて、研究者は通常「被験者」を「変量効果（ランダム効果）」として扱い、未知の被験者集団へ結果を一般化しようとしている。 しかし、刺激（使用する単語や画像など）、課題の種類、実験者、研究施設といった、本来なら一般化の対象に含めたい他の多くの変動要因に対しては同じ処理を行わず、「固定効果」として扱ってしまっている。

この未測定の分散を無視した不十分なモデルは、実際には特定の極めて狭い条件下でしか成り立たない結果であるにもかかわらず、偽陽性率（False-positive rates）を劇的にインフレさせる。 その結果、統計的な裏付けが全くないにもかかわらず、研究者が言葉の上で壮大で普遍的な結論を導き出してしまうという問題を引き起こしている。

3. 「再現性の危機」への疑問

心理学では「再現性の危機」が大きな話題となっているが、Yarkoni は「一般化可能性」こそが論理的に先行するより重要な懸念事項であると主張している。 そもそも極めて限定的な文脈でしか成立しない実験デザインを大規模に直接再現できたとしても、情報としての価値はほとんどなく、無駄な労力に終わるリスクがあると警告している。

4. 改善に向けた解決策

著者は、この危機に対処するための3つの大きな方向性を提案：

  1. 別のことをする（Do something else）: 複雑で変動性の高い事象から意味のある一般化可能な結論を引き出すのが難しい場合、学問的なアプローチ自体から降りる（別のキャリアを追求する）のも合理的な選択である。
  2. 定性的分析を受け入れる（Embrace qualitative analysis）: 無意味な推測統計に頼るのをやめ、研究の性質が本来は定性的なものであることを認め、記述統計と定性的な考察に限定するアプローチ。

  3. より良い基準を採用する（Adopt better standards）: 定量的な研究を続ける研究者に向けた具体的な改善策。

    • より保守的な推論を行う: 実際のデータと統計モデルが支持する範囲内に結論を留め、過剰な一般化（推測）を避ける 。
    • 記述的研究を重視する: 単純化された因果関係の証明に固執せず、事象の関係性を丁寧に記述する研究を評価する 。
    • より広範な統計モデルを使用する: 刺激やタスク、実験者などの要因もモデルに組み込み、変量効果として処理する 。
    • 変動を考慮した実験設計: ノイズを排除するために統制しすぎるのではなく、自然な変動や多様な文脈を意図的に組み込んだ実験をデザインする 。
    • 点推定より分散の推定を強調する: 効果の有無だけでなく、異なる要因間でどの程度のばらつき（分散）があるかを定量化することに重点を置く 。
    • 実用的な予測力に焦点を当てる: 理論的な説明よりも、機械学習で行われるような交差検証（クロスバリデーション）等を用いて、現実世界での客観的な予測性能を高めることに注力する 。
Project CCAP