パスワードを忘れた? アカウント作成
12580816 story
サイエンス

再現実験の結果をギャンブル的に予測する実験 15

ストーリー by hylom
科学はギャンブル……ではないが 部門より
あるAnonymous Coward 曰く、

科学の世界では、調査結果からある物事を推定したり、実験結果から理論の正当性を推定するということが広く行われている。しかし、査読付き論文誌に掲載されている論文でも、そのような推定の半分は偽陽性、つまり本来は正しくないのに正しいという結果が出たものだという。この偽陽性を取り除く最良の方法は、別の研究室で再現実験を行うことなのだがこのような再現実験をやりたがる研究者は少ない。

そこで、そのような推定結果の正しさを推定するため、「集合知」の力を使うという手法が提案されたそうだ。この手法は、再現実験の結果を先物取引で利用される「予測市場」的なシステムを使用して予測するというもの(ScienceAAASSlashdotPNAS掲載論文)。

論文では、科学者や心理学者から構成される50人の「トレーダー」および「オンライン予測市場サービス」が予想した結果と、実際の再現実験結果を比較したという。「オンライン予測市場サービス」とあるが、実際にはその結果が正しいか、それとも間違っているかを賭けるというギャンブル的なもののようだ。参加者には実際にその結果に応じた賞金が提供されたという。

その結果、「トレーダー」は71%が再現に成功すると見込み、予測市場サービスは58%が成功すると見込んだ。実際には正常に再現できた実験はわずか39%。予測市場サービスの方が的中率は高いが、両方とも楽観的だったようだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2015年11月13日 18時34分 (#2916946)

    この研究結果が正常に再現できる可能性も4割弱なんだろうな。

  • by Anonymous Coward on 2015年11月13日 19時23分 (#2916968)

    「トレーダー」は71%が再現に成功すると見込み、
    予測市場サービスは58%が成功すると見込んだ。
    実際には正常に再現できた実験はわずか39%。

    実験/研究を束にして考えるんではなくて、
    一件一件の研究で、それぞれトレーダーや予測市場サービスの何割が
    再現実験に成功すると考えて、その割合と実際の再現実験の成否には
    相関がみられるのか?というのを調べるもんでないの?こういう場合。

  • by Anonymous Coward on 2015年11月13日 20時35分 (#2917000)

    2008年に米国の主要科学誌3誌に掲載された100件の心理学/社会科学論文について
    実験結果の再現を試みた。すると、元の論文と同じ結果が再現できたのは39%にすぎなかったという。
    http://www.itmedia.co.jp/news/articles/1508/28/news128.html [itmedia.co.jp]

    医学生物学論文の70%以上が、再現できない
    http://www.natureasia.com/ja-jp/ndigest/v10/n11/%E5%8C%BB%E5%AD%A6%E7%... [natureasia.com]

    今回の記事にある、再現率39%というのは、結構リアリティのある数字みたいですね。

    心理学/社会科学論文の再現率が低いというのはかなり話題になった気がしますが、
    それよりも医学生物学論文の再現率の方が低いというのは頭に入れておいた方が良い気がします。

  • by Anonymous Coward on 2015年11月13日 21時58分 (#2917048)

    怪しいパラメータを指摘したり
    未解決な要素を抽出したり
    チーム構成員の過去実績をバラしたり
    んで、丁半博打だけど偏る可能性のある予想か講釈の最終章を壱ドル程度で売ると。

typodupeerror

コンピュータは旧約聖書の神に似ている、規則は多く、慈悲は無い -- Joseph Campbell

読み込み中...