再現実験の結果をギャンブル的に予測する実験 15
ストーリー by hylom
科学はギャンブル……ではないが 部門より
科学はギャンブル……ではないが 部門より
あるAnonymous Coward 曰く、
科学の世界では、調査結果からある物事を推定したり、実験結果から理論の正当性を推定するということが広く行われている。しかし、査読付き論文誌に掲載されている論文でも、そのような推定の半分は偽陽性、つまり本来は正しくないのに正しいという結果が出たものだという。この偽陽性を取り除く最良の方法は、別の研究室で再現実験を行うことなのだがこのような再現実験をやりたがる研究者は少ない。
そこで、そのような推定結果の正しさを推定するため、「集合知」の力を使うという手法が提案されたそうだ。この手法は、再現実験の結果を先物取引で利用される「予測市場」的なシステムを使用して予測するというもの(ScienceAAAS、Slashdot、PNAS掲載論文)。
論文では、科学者や心理学者から構成される50人の「トレーダー」および「オンライン予測市場サービス」が予想した結果と、実際の再現実験結果を比較したという。「オンライン予測市場サービス」とあるが、実際にはその結果が正しいか、それとも間違っているかを賭けるというギャンブル的なもののようだ。参加者には実際にその結果に応じた賞金が提供されたという。
その結果、「トレーダー」は71%が再現に成功すると見込み、予測市場サービスは58%が成功すると見込んだ。実際には正常に再現できた実験はわずか39%。予測市場サービスの方が的中率は高いが、両方とも楽観的だったようだ。
ということは (スコア:1)
この研究結果が正常に再現できる可能性も4割弱なんだろうな。
市場による推定が正しいかどうかを推定する市場による推定が正しいかどうかを推定する市場による推定が正し (スコア:0)
無限地獄
Re: (スコア:0)
Stack Overflow !!
そんなどんぶり勘定な調べ方でいいのか (スコア:0)
「トレーダー」は71%が再現に成功すると見込み、
予測市場サービスは58%が成功すると見込んだ。
実際には正常に再現できた実験はわずか39%。
実験/研究を束にして考えるんではなくて、
一件一件の研究で、それぞれトレーダーや予測市場サービスの何割が
再現実験に成功すると考えて、その割合と実際の再現実験の成否には
相関がみられるのか?というのを調べるもんでないの?こういう場合。
結構リアリティのある数字 (スコア:0)
今回の記事にある、再現率39%というのは、結構リアリティのある数字みたいですね。
心理学/社会科学論文の再現率が低いというのはかなり話題になった気がしますが、
それよりも医学生物学論文の再現率の方が低いというのは頭に入れておいた方が良い気がします。
Re:結構リアリティのある数字 (スコア:1)
生き物が対象の研究は対象の個体差の影響があるのでサンプル数次第になりますからね。
信頼性はサンプル数とサンプルの多様性による。
//サンプル数1の意見です
Re:結構リアリティのある数字 (スコア:1)
社会科学の再現性研究なんてあったかなと思ってみてみたら記事が間違ってますね。
主要科学誌では無く主要心理学誌の100の実験の再現率が39%という話です。
http://www.sciencemag.org/content/349/6251/aac4716 [sciencemag.org]
社会科学でもラボ実験に限定したら再現率低くなりそうですが、実験データを使った研究は少数派なので医学生物学心理学ほどの結果にはならないはずです。
ボックスで講釈する予想屋を用意できてからが本番 (スコア:0)
怪しいパラメータを指摘したり
未解決な要素を抽出したり
チーム構成員の過去実績をバラしたり
んで、丁半博打だけど偏る可能性のある予想か講釈の最終章を壱ドル程度で売ると。
Re:再現出来ない事は=誤りではない (スコア:1)
ただ、再現できる知識の集約が論文には求められるわけで、当座その論文は誤り(事実として実現できてもその論文にそってできない)でいいと思います。
# むろん、なんでも完璧に記載はできないので、再現性がイマイチな実験のがスタートで、いろいろ試行錯誤で周辺知識も積立てなきゃいけない類の知識ってのもあるでしょうけども
M-FalconSky (暑いか寒い)
Re: (スコア:0)
というか、こういうサービスに加担するひとの動機って、
「『再現できなかった』って結果が出たら面白いよねwww」
ってバイアスがかかってそう。
Re: (スコア:0)
予測が当たると利益が発生するので皆さん真剣に予測するのでは?
Re: (スコア:0)
真面目な研究者も「『再現できなかった』って結果が出たら面白い」って言うんじゃねーかな。
間違った内容の論文は共有されている知識ベースから排除したいし、
正しいけど再現できないなら欠落した情報の発見につながりうる。
そういうのって研究者的には面白い(興味深い)事だと思うんだ。
野次馬根性でボロボロじゃねーかって笑うのとは似て非なる心理。
# あ、いやでも間違ってた系でその原理が明らか(初歩的)だと
# ボロクソにけなして笑う人もいるかな。逆にぶちきれる人も。
Re: (スコア:0)
Οβοκαταさん乙.
Re: (スコア:0)
物理でも良くありますね。
薄膜蒸着の世界だと同じ型のチャンバーに同じシークエンスで蒸着しても同じ物が出来ない事があるというのは良く知られています。中華鍋みたいにそれまでの履歴がこびりついているんですね。なので再現取るのが難しい時があります。
イスラエルのHEMTの電子速度の世界記録持ってるグループは20年間チャンバーを空けていないという話も聞いたことが有ります。一度開けると再現が取れなくなるとかなんとか。